因为武士彟也知李渊出身关陇世家豪族，祖上为北周八柱国之一，封为唐国公。隋朝建立，李渊又与隋室有了密切关系，他的生母与文帝的独孤后是同胞姐妹，文帝非常喜爱这个仪表不凡的姨甥，自幼养在宫中。成*人后受封谯、陇刺史。炀帝登基后，再封殿前少监、卫尉少卿。炀帝征辽，命李渊督运粮草，十分依重于他。礼部尚书杨玄感密谋起兵反隋，被李渊现后向炀帝告密，再度立功。炀帝便派李渊镇守弘仕郡（治所在今甘肃合水），并令关右（即关西，函谷关以西地区）谷部军队都听李渊指挥。
李渊率兵去关西，途经太原地区，就屈尊到武士彟家里住了一宿，武士彟有此奇遇，自然百般迎合，李渊十分开心，表示交下了武士彟这个朋友[《陈寅恪先生文集》，第276277页，台北：里仁书局，1982年版。]。
然而，炀帝的穷凶极恶，使大臣和地方离心离德，许多劝谏的大臣被一一杀死，使炀帝更加猜忌，弄得人人自危。一天，炀帝忽召李渊来见，李渊装病多日不敢成行。炀帝问李渊的外甥女、妃子王氏：“你舅父为何还不来？”王妃回答：“舅父生病不能骑马。”炀帝冷冷地说：“该不是死了吧”
李渊闻讯十分害怕，他深知炀帝的癖好，便寻找许多好鹰、好犬和骏马进献，便立即受到炀帝的好评。大业十一年（615年）四月，炀帝巡游山西，驻驾汾阳宫，便提升李渊为山西、河东抚慰使。此时，河津地区生毋端儿农民起义，炀帝令李渊前往镇压。李渊残酷镇压了这股农民起义军，他一个人就开弓射杀七十多人，还把尸体堆成“京观”，供人参观，以炫耀功劳，随后又打败降州（今山西闻喜东北）柴保昌义军，受降数万人。炀帝果然下旨嘉奖，提升他为右骁卫军、太原道安抚大使、太原留守。
其时，隋朝已处于风雨飘摇之际，各地军阀自立旗号，纷纷起兵叛隋，农民起义军更如燎原之火，处处燃烧。武士彟看到隋朝气数已尽，便找到任太原留守的李渊，劝他起兵，并送给他自己写的《兵书典要》，为之谋画。李渊收下了他的兵书，但却向武士彟说：“幸勿多言，兵书禁物，尚能将来，深识雅意，当同富贵可。”[《旧唐书》，卷58，《武士彟传》。]意思是说，兵书是禁品，说这话要谨慎，如果有我做皇帝的那一天，当同享富贵。事后用他做个“行军司铠”（管理军装的小军职）。
其实，李渊久有起兵反隋之心。早在大业九年，李渊为征辽军督运军粮，路过河北涿州时就曾与宇文士及“夜中密论起兵时事”。同年，杨玄感反隋，李渊向炀帝告密，好友窦抚说：“杨玄感算个啥啊，他不过为你开个头罢了你的名字早已写在图箓上了（即天子图箓，迷信的天命说），这是上天安排的啊”李渊假装严肃地回答：“可不能随便乱说，祸事大啦”[《旧唐书》，卷61，《窦抚传》。]在河津一带镇压毋端儿起义军时，副帅夏侯端劝他起兵，李渊点头同意，告诉他等待更好的时机。
但是，随军作战的李世民却沉不住气了，他见父亲终日饮酒、聊天，若无其事。