便找人疏通晋阳宫副监裴寂， 让裴寂劝说李渊起兵。裴寂得了李世民数百万钱， 便邀李渊到**喝酒，趁机说：“二郎（指李世民）已决定起兵了，如今天下大乱，如果守小节，城外的义军都能把你杀死；如果举义兵，一事实上可以成功，形势摆在这里，就看您的态度了”[《旧唐书》，卷57，《裴寂传》。]李渊仍然假装不知情，回答说：“啊呀，老2真有这种想法吗？事情既然已经这样了，只能顺从他的意思了”
老谋深算的李渊认为此时起兵仍有困难，晋中的粮秣充足，他早已让武士彟等富商大贾积存下了。但是，兵源却只有数千人，而太原副留守王威和高君雅是炀帝的亲信，是派来监视李渊的，他们也有权控制军队，要招兵也必须通过他们。
这时，突厥突然进兵马邑，李渊派高君雅领兵和马邑太守王仁恭一起抵抗，因兵力不足被突厥打败。李渊担心炀帝降罪，李世民再次劝父亲起兵，说：“如今主上无道，晋阳城外都是战场，上有严刑，下有盗贼，危亡在即啊，只有举起义旗才能转危为安”[《资治通鉴》，卷183，《高祖纪上》。]李渊仍故意大惊失色的说：“你怎么这么胆大妄为，再胡说我可要拿你问罪了”一边的裴寂笑着向李世民说：“你观察时局这么准确，办事又这么认真，你父亲哪里忍心啊”第二天李世民仍和父亲长谈，劝他快点准备起兵。李渊假装无奈，叹口气说：“我一认想你的话，也有道理。如今破家亡身由你，仁家为国也由你了”
恰在此时，炀帝下旨饬斥李渊，并派人前来逮捕李渊和王仁恭，而率兵作战失败的高君雅却未受责怪。世民、裴寂等打算当即起事，李渊认为，炀帝此时还不致于杀他，即使起事兵力不足一样会战败被杀，于是使随使者前往杨州，被关进了监狱。炀帝确无杀他之意，虽关监狱，并不问罪，行同儿戏。李世民和裴寂前往杨州探望，他们在狱中商定起兵计划。
没几天，炀帝赦免了李渊和王仁恭，官复原职。李渊出狱后向李世民等人说：“炀帝不杀我，是上天给咱们机会啊，可不能违背天意”于是，以李渊为，组成了起兵集团，包括李世民、裴寂、刘文静等人。他们返回山西，踏踏实实的准备起兵了。
回晋后李渊让刘文静伪造敕书，说炀帝要征太原、西河、雁门、马邑四郡2o岁至5o岁的百姓，一个不许留，全数玄涿州集中，去进攻高句丽。伪敕书下达后，四郡百姓一下子乱了营，反抗隋朝的火焰被点燃起来。
李渊正寻找借口招兵，正好鹰杨府校尉刘武周杀死马邑太守王仁恭起兵，占据了汾阳恭。李渊以讨伐刘武周为名，公开招兵买马，王威、高君雅只好听之任之。李渊派李世民、刘文静、长孙顺德、刘弘基分别去各地招兵，不到十天就招了一万多人，集中在兴国寺训练。并派人去河东让儿子建成和元吉、去长安让女婿柴绍迅赶赴太原。
李渊又要进一步剥夺王威和高君雅的兵权，让王威任太原郡丞，不必再管军务；让高君雅任高阳守备，负责该城的巡城和守城器械。
李渊的行动很