590年，即灭陈的第二年，下诏以晋王杨广为扬州总管，镇江都。大概也正是此刻，杨广迷恋上了这处江南水乡，最后死也死在此地。
杨坚与皇后独孤氏有五个儿子，即太子杨勇、晋王杨广、秦王杨俊、蜀王杨秀、汉王杨谅，几个人确实是同父同母的“真兄弟”。杨坚管教儿子也很严，秦王杨俊好佛喜色，在并州总管任上奢侈违制，被杨坚召回免官。大臣们认为处罚过重，杨坚回答：“我不仅是五儿之父，也是兆民之父。如果按你们意思，gān嘛不为皇帝儿子特定一部法律呢？”坚持对杨俊的处罚。
隋文帝皇后独孤氏十四岁就嫁给杨坚，发誓生死同一，杨坚也发誓不与别的女人生孩子。独孤皇后本性俭约，不好华丽。又好读书，识达古今，言事论人都和隋文帝想得一样，宫中称为二圣。她为人又非常仁爱，每次听说大理寺斩决犯人都为之流泪。但此人有一个毛病，就是天性奇妒。叛臣尉迟迥有个孙女非常美貌，杨坚于仁寿宫偷偷临幸。独孤氏趁皇帝上朝，派人杀掉这个美貌女孩。杨坚又悲又怒，单骑从御花园中抢出，直入荒山三十多里。两个大臣追上，拦马苦谏。杨坚叹息：“我贵为天子，不得自由！”驻马良久，半夜才回宫。可以说隋文帝是中国历史上级别最高、最出名的怕老婆汉子。独孤氏不仅对丈夫防护甚严，对儿子也要求他们学她和杨坚一样从一而终。她为杨勇挑选的妃子元氏很受杨勇冷落，多年不得召见，突发心脏病而死。杨勇宠爱云妃、高妃和成妃等人，并和这几个妇人生下一大堆孩子，独孤皇后非常生气，不断派人伺察自己这个儿子，访探他的举动，还不断在文帝耳边chuī风，指摘杨勇的过失。太子杨勇虽然有些好色、奢侈，但为人宽厚，率意任情，没有矫饰假装的性格，常常优礼士人，宽接大臣。
晋王杨广一直觊觎太子宝位。得知父皇、母后对杨勇猜阻之意已生，更加矫饰伪装，平日只和正妻萧妃住在一起，后庭有宫人怀孕都把胎儿打掉不令外人知晓，独孤皇后因此十分喜爱杨广的“忠贞不二”。其实这位晋王绝对是个好色坯子，攻灭隋国后，他马上想把陈叔宝妃子张丽华弄到手，其手下大臣高颍先入建康，不仅没有按他意思把美人送上，还说“从前姜太公蒙面斩妲已，今天怎能留下张丽华这个祸水。”下令斩美人于青溪。杨广由此十分仇恨高颍，继位后不久就借故杀了这位功臣。但当晋王时的杨广十分谦虚自抑，史载：“晋王（杨）广美姿仪，性敏慧，沉深严重；好学，善属文，敬接朝士，礼极卑屈；由是声名籍甚，冠于诸王。”依此，青年时代的杨广真是一个有华有实的美男子。一次与军队观猎遇上大雨，左右进上雨衣，杨广说：“士兵们都淋得透湿，gān吗我自己一个人要穿雨衣呢。”命左右拿走，仍冒大雨立马观览，将士们感动得一塌糊涂。文帝有一次去他家里观瞧，早有准备的杨广随文皇四处查看，只见殿内乐器灰尘满布，绞弦断绝，一看就知多久不用，老皇帝就认定三儿子不好声jì歌舞，是“又红又专”的好苗子，和那位连铠甲都以金玉装饰的太子杨勇形成鲜明对比。
杨广暗中派遣和他关系亲密的大臣宇文述、杨素等人在杨坚夫妇面前百般构毁太子杨勇。太子本性直率，不知矫饰，容易发怒，形于言表，隋文帝渐有废杨勇之意。杨广当上杨州总管后，借入朝还镇的机会与母后独孤氏道别，装出十分依依不舍、万分可怜的样子，伏地流泪不止。独孤后也泣然涕下。杨广趁此机会大倒“苦水”：“儿臣非常看重兄弟情谊，不知哪里得罪太子，一直想杀掉我。每想到我自己不知哪天被毒死害死，真是恐惧得不得了。”独孤后闻言大怒：“杨勇太过分，我给他娶的元妃他一点也不爱念，专宠云妃，还下毒毒死元妃（其实是心脏病发而亡）。我现在活着他还这样对待你，哪天我死了我不知怎样害你们兄弟呢。等你父皇驾崩以后，想到你们兄弟得向那个云妃小妖jīng拜跪称臣，为娘我真是心如刀绞！”杨广闻言再拜，呜咽不止。独孤后也抱持着儿子大哭。由此，独孤皇后已经下了废掉杨勇的决心，日夜不停在杨坚面前说杨勇坏话，老皇上最终也下定决心。
公元600年，冬十月，杨坚派人召杨勇入殿。心力jiāo瘁的太子闻命大惊，问使者：“不是要杀掉我吧？”进宫后，发现父皇戎服陈兵，百官肃立，杨坚开金口，废掉太子杨勇，押回东宫看管。立晋王杨广为太子，并命杨广负责看押杨勇。一番苦心，终未白废，杨广终于由晋王成为皇储。
杨勇被囚于府内，常常上书诉冤，杨广命人把书信全部销毁，不许上闻。杨勇爬到树顶大声叫屈，希望老皇上听见能亲自讯问。杨广的心腹大臣杨素趁机上奏说杨勇得了神经病，不能治愈。杨坚听信此议，就没有再给杨勇诉冤进见的机会。
602年八月，皇后独孤氏病逝。太子杨广进宫拜见父皇时哀恸气绝，装出万分悲痛的样子。回宫以后，他饮食欢笑，一如常日。为了表示思母过哀，饮食不思，杨广对外声称每天只吃两勺米，在灵前嚎哭跪伏，私下派人jīng制猪鱼肉脯，装在竹管里以蜡封口藏于袖中，瞧见没人就吃上几口这特制的“压缩gān粮”，继续演戏。
独孤皇后死后，压抑一辈子的老皇帝终于有机会一畅其情，天天搂着宣华夫人陈氏和容华夫人蔡氏大搞天地一家chūn。老房子起火，没两年就淘虚了龙体，疾病大生。杨广作为皇太子入居大宝殿，杨素等大臣入内殿侍疾。杨广不放心父亲弥留之际会发生什么变化，秘派人问杨素内宫父皇的病状。杨素把老皇帝的病情一五一十写明，封上信口回送杨广。送信的宫人转了几道手，误以为是送给皇帝的上奏，呈给杨坚。病危的杨坚见信后又恨又悔。忽见陈夫人进来时神色慌张，就问缘由。陈夫人回答：“太子无礼！”原来是陈美人出去更衣时，差点被杨广qiángjian。老皇帝闻言，一口气上不来差点气死，大叫：“畜生何足付大事！独孤皇后误我！”就召唤身边的大臣杨述、元严说：“呼我儿来见！”两人以为是召杨广，老皇帝忙说：“是杨勇！”杨素知道这事，马上告知杨广事急，又矫诏逮捕杨述和元严，命杨广心腹张衡入侍，禁止宫内一切人员出入。“俄而上崩。”可见老皇帝不是善终。陈夫人得知宫内变起，老皇帝升天，正吓得浑身颤抖，杨广派人送来一个huáng金小盒。本以为是毒药，打开后发现是几枚同心结。“其夜，太子蒸焉”。上yín曰蒸，下yín曰报。老爹尸体还未凉透，杨广已经把小妈给用了。
罪在当时 功用千秋——大运河的开凿
公元604年年底，杨广刚当上新皇不远离，就派人赐死故太子杨勇，以衣带绞杀亲哥哥于旧太子宫。接着，亲弟弟杨谅又在并州造反，炀帝派大臣杨素统兵平定，逮捕杨谅至京师后绝其属籍，幽禁而死，并把杨谅部下吏民二十多万家判以流刑。同年，当了十五年亡国俘虏的陈后主叔宝病死，善终于家，隋朝追赠大将军、长城县公，杨广给陈叔宝的谥号恰恰是“炀”。根据谥法，好内怠政曰炀，好内远礼曰炀，去礼远众曰炀，逆天nüè民曰炀。这真是中国历史上最大的黑色幽默之一，十四年后，即大业十四年三月，杨广自己被宇文化及缢杀，死后的谥号也是同一个“炀”字，而且他这个隋炀帝要比先他而善终的“陈炀公”有名的多，后者的谥号几乎不为人知，只以“陈后主”知名。