当时，蒲山公李密参与杨玄感反叛，兵败逃亡。李勣与浚仪人王伯当知道李密天下英雄，一同劝说翟让奉李密为主，以收买人心，扩大影响。
隋朝令王世充讨伐李密，李勣多次拒战，以奇计在洛水两岸几次大败王世充，李密因此封他为东海郡公。当时河南、山东大水，饥民遍地，隋朝赈给不周，每天饿死数万人。李勣向李密进言：“天下大乱，本是为饥。如果我们攻陷黎阳国仓，大事可成啊。”李密听计，派李勣带五千人自愿武渡huáng河掩袭黎阳仓隋朝守军，当日攻克，开仓招民众随便领粮，十天之间，就招募到兵士二十多万人。一年多后，宇文化及江都弑隋炀帝，越王杨侗即位于东京洛阳，赦免李密诸人，封魏国公，拜太尉。隋廷又授李勣右武侯大将军，命他们一同讨伐宇文化及。李勣守黎阳仓城，宇文化及率军四面攻城，形式危急，李勣从城中向往挖地道，忽然现身城外，大败宇文化及，解围而去。
讲李勣，不得不jiāo待李密。李密为人，身先士卒，躬服俭素，号令严整，每战所得金宝都赐与手下将士，因此非常受人爱戴。在与隋军的jiāo战过程中，威信日隆，号为魏公，他让祖君彦所作的《讨隋炀帝檄文》千古流传，辞采壮烈。后来李密与翟让之间产生矛盾，两人手下都劝他们先下手为qiáng，其间原委，皆是由争权夺利而起，不是简单的“地主阶级yīn谋家杀害农民起义军领神”那么简单，而且翟让为人简单粗bào，其兄翟宽与属下又数次侮rǔ李密手下兵士，逐渐结怨。李密最后在众人劝说下决定除去翟让，趁宴请机会斩杀翟氏兄弟。由于李勣当时是翟让属下，也被乱兵刀砍剑劈，遭受重创，李密见到后马上制止士兵的杀戮，李勣免于一死。翟让另外的大将单雄信等人叩首求命，李密都释而不杀。李密后来又多次打败隋军，最盛时有众三十余万，各地割据的首领都派使请他为称帝，李连渊也不得不上书推戴，肉麻地称“天生蒸民，必有司牧，当今为牧，非子而谁？老夫年余知命，愿不及此，欣戴大弟，攀鳞附翼……”屡战屡胜之际，李密军士有粮而无饷银，军士渐怨，几次反败于王世充。其间李密手下有人谋叛王世充，李密本想将计就计，趁王世充半渡洛水时出兵一举击灭。岂料天意弄人，王世充发军时，李密的侦察兵都没有发觉，等整军将战时，王世充军队已经全军渡河上岸。李密见大事已去，不得不率小股人马逃遁。本来李密想去黎阳李勣处，有人劝他：“杀翟让之时，李勣被乱兵砍伤差点死掉，他能不记仇吗？现在投奔他，靠得住吗？”最后，不得已之下，李密与王伯当投靠李渊。
当时李勣全统李密旧境，东至于大海，南至于长江，西至汝州，东至魏郡，一时间未有所属。不过李勣是真义士，他对长史郭孝恪说：“魏公（李密）已归大唐，如果我自己上表向唐主献地，是自邀功劳而彰主公败绩，还是把土地人口军人数目造册，总启魏公，让魏公自献。于是派使臣上表。唐高祖李渊听说李勣有使人来忙召见，一见只有给李密的信，很感奇怪。使人详细道明原委，高祖大喜，认为李勣“感德推功，实纯臣也！”马上下诏封李勣黎阳总管、莱国公，不久又加右武侯大将军，赐姓李氏，并封其父李盖为王，为李盖固辞，于是封为舒国公。下诏遣李勣部统河南、山东之兵以拒王世充。
李密归唐后，从前在信中对自己亲热过份的“老哥”李渊相待甚薄，只拜光禄卿的散官。不久，唐朝听说李密降于王世充的旧将纷纷离心，就派李密前往黎阳招降旧部。心怀怨望的李密行至洮阳，高祖李渊又派人召还他，疑惧之下，李密决定反唐。王伯当一直劝他不要反唐，但见李密意决，就横下心，说：“义士之立世，不以存亡易心。我一直受您厚恩，期待以性命相投。您不听我劝告，我肯定会和您一道起事，生死以之，但是恐怕结果也不会好啊。”隋唐之际，英雄辈出，男儿义气相应，很是感人，诚为我中国人作人的样板。唐将史万宝、盛彦师早有准备，伏兵山谷，横击李密及王伯当等人，众人皆被杀。李密时年才三十七岁。虽然《旧唐书》称他“狂哉李密，始乱终逆”，但字里行间也不得不佩服此人的倜傥奇才和爱人下士的仁德大度。
李勣听说李密被诛，上表请唐朝容许他收葬故主，唐庭诏许。李密服重孝，与从前僚属旧臣将士隆重地把李密安葬于黎山之南，坟高七仞，以君礼葬之，朝野闻讯都赞叹他的忠义。
不久，窦建德军擒斩弑隋炀帝的宇文化及，乘胜又大败李勣，并以其父李盖为人质，令李勣仍守黎阳。转年，李密趁机又归唐，有人劝窦建德杀掉李盖，可建德也是位磊落大夫，表示说“李密忠臣，各为其主”，派人送李盖归唐。后来就一帆风顺。李密协同李世民连平王世充、窦建德、刘黑闼、徐圆朗、辅公袥等人，功勋赫赫。其间，还有一个插曲可述。单雄信投王世充后，极受宠遇，也很卖命。李世民攻洛阳时，有一次与单雄信相遇，雄信号为“飞将”，艺高胆大，援枪直刺李世民，好几次差点追及把这位秦王捅落马下。（此事可见尉迟敬德传。有逸史记载李勣当时在旁，对单雄信这位老哥们说“此秦王也”，“雄信惶惧遂退”，这肯定是小说家语，绝不可信，以单雄信性格，他肯定会枪挑李世民向王世充报功。王世充投降后，李世民把与唐军苦战的十几名大将列入处决名单，李勣泣请，以自己家财爵位换这位老哥们一命，由于先前差点被单雄信杀掉，李世民坚执不允。李勣无奈，与单雄信诀于大狱。单雄信埋怨他，“我固知汝不办事”。李勣大哭，用刀从腿上割下一块肉给单雄信吃掉，说“本来想随仁兄一起死，但谁来照顾你的家人呢。此肉随兄入地下，以表我拳拳真情。”单雄信死后，李密如家人般照顾他的妻子儿女，确是千古义气的典范。
贞观十五年，拜李勣为兵部尚书，还未赴京上任，薛延陀部又侵扰李思摩部落。李勣获唐廷委任为朔州行军总管，率轻骑三千追薛延陀于青山，大败敌师，斩名王一人，俘五万多人。（薛延陀部为匈奴别种，为铁勒族，对唐朝时叛时附）。回朝后，李勣遇bào疾，药方上讲治此病胡须灰可以做药引。唐太宗听说后，自剪胡须，为李勣和药。儒家礼仪，身体发肤受之父母，一般人都不会轻易损伤，何况九五天子，亲剪“龙须”为臣子做药引，诚为千古美谈。（明太祖朱元璋把大便晒gān后也分赐臣下，还得让臣下谢恩大赞这种烘gān的“huáng龙汤”，显然就是bàonüè王八蛋所为，是朱家天子的一贯作风，同唐太宗此举相去十万八千里）。李勣叩首见血以谢，感动得一塌糊涂。太宗说：“吾为社稷计耳，不烦深谢！”不久，君臣宴饮，太宗醺然对李勣 讲：“朕将以太子托付于您。您往年不负李密，今日必不会负朕。”李勣雪涕，誓以必死。俄而沉醉，太宗亲解御衣为这位勋臣盖上以免着凉，如此宠遇，古今罕有。
贞观十八年，李勣跟从太宗伐高丽，攻破辽东、白崖等数城。贞观二十年，又率军大破薛延陀部，平定碛北。