作为具有鲜卑血统的杨氏家族的长子，“普六茹·地伐”（杨勇的鲜卑名字）最鲜明地继承了胡人的天性。史称这个比杨广大两岁的王子“性宽厚”，才智尚可，品质不恶，然而毫无政治敏感和政治才华。他“率意任情，无矫饰之行”。父亲崇尚节俭，他却大手大脚，不惜代价，四处淘弄国内最好的猎鹰、宝石和马鞍。《隋书·炀帝纪》载，杨勇的父母都是极重门第之人，母亲独孤氏尤其对“生活作风”问题看得很重，他却正眼也不看父母为他娶的正妻，跑出去和那个妖媚的工匠之女云氏野合生子；父亲敏感多疑，他却公然和社会上的豪侠流氓来往，甚至允许他们身带刀剑出入宫廷……每当听到太子的什么“丑闻”，杨坚都会下意识地想起远在江都的次子：太子如果能赶上老二一半，他也就放心了。
平心而论，除了这些不谨之处而外，杨勇并无什么显著的过失。然而，从这些小过，可以看出此人心智粗疏，以至于他找卜者算父亲死日的事都能传到隋文帝耳中。如果登基，此人也必是一个昏庸之主。
杨广早就知道，杨勇很难把这个太子做得一帆风顺。储君这一职位其实乃天下至难居之地。在太子达到可以接班的年龄之后，皇帝的长寿就是对太子利益的损害，储权与皇权的矛盾不可避免地在皇帝和太子之间形成一种微妙的心理影响，这就是古往今来接班人没有几个有好下场的原因。杨广深知这种心理影响对父亲的作用。这头老狮子是在一系列的yīn谋中登上皇位的，他不但具有普通人所不具有的铁腕、果断，更具有寻常政治人物所没有的对yīn谋的敏感，《资治通鉴》称其“猜忌苛察，乃至子弟，皆如仇敌”。在这样的人面前当太子，没有特殊的天分，一定会翻船。
果然，在太子二十岁左右时，发生了这样一件意味深长的事：那一年冬至，大臣照例要给皇帝行礼。考虑到与日渐年长的皇太子搞好关系的必要，许多大臣从皇宫出来后，又纷纷赶到太子东宫，于是形成了不约而同、百官毕集的场面。
正在休息的杨坚突然听到东宫中隐隐传来朝乐之声，不禁十分奇怪，立刻命人出去问是怎么回事。
太监回报：“太子见百官毕集，就令左右盛张乐舞，接受朝贺。”
本来喜气洋洋的杨坚立刻面如冰霜——这是礼法所不允许的。他那颗对权力异常敏感的心立刻紧缩起来，脑海里马上浮现出一系列不祥的词汇：“勾结”、“攀附”、“政变”、“bī宫”。他知道，即使太子没有不臣之心，然而难保没有小人，如同当初劝他夺北周帝位一样，琢磨皇帝的宝座。
《隋书·列传第十》说，由此之后，皇帝对太子“恩宠渐衰”，对太子的不满屡屡现于辞色。皇帝召集身边的重臣，与他们探讨更换太子的可能性。虽然这一想法被大臣们劝阻，但皇帝的内心已经被帝国高层悉知。
消息很快传到了晋王府，杨广知道在这种形势下他要做的是什么：一个是一如既往地用出色的表现来做老大的反衬；另一个是看准时机，对杨勇这块摇摇欲坠的石头轻轻加上一把力。
这两方面，他都做得很成功。在统一江南之后，杨广就任江南总管。他以极大的热情投入工作中，整整十年间没有好好休息过。他的统治手腕也非常高明。他放弃了歧视南人的高压统治，从尊重南方文化、尊重和延揽南方jīng英人物入手，稳定江南人心。在他不遗余力地广搜英异之下，南朝几乎所有知名人物都成了晋王府的常客。他主动学习南方方言，尽力资助文化事业，很快赢得了江南上层的人心。在他治理的十年间，占帝国半壁江山的南方经济迅速复苏，社会安定，百姓安居，一次叛乱也没有发生。《隋书·炀帝纪》载，南方士人这样称赞他：“允文允武，多才多艺。戎衣而笼关塞，朝服而扫江湖……继稷下之绝轨，弘泗上之沦风。”
晋王的个人生活也十分检饬。他的节俭在诸王之间是出了名的。人们来到晋王府，见不到古物珍玩，见不到鲜姬美妾，上上下下衣着都很朴素。因为无暇留心丝竹，所以王府里的乐器上都蒙了一层厚厚的灰尘。
据《资治通鉴》卷一百七十九所载，皇上及皇后每次派遣太监宫女们到杨广府中办事，无论地位高低，杨广都必与萧妃在门口迎接，为设美馔，申以厚礼，所以这些婢仆无不称其仁孝。这种连今天每个科级小官僚都jīng通的政治技巧，杨广夫妇当然会使得滴水不漏。他虽然远在江南，却借不多的进京机会，用人际能力和金钱在朝臣中构筑了牢固而秘密的人际关系网。通过这个网络，他在南方所受到的称颂声传达到杨坚耳朵里时被放大了数倍。在帝国政治高层，越来越多的人开始认为，像杨广这样条件出色的皇子历史上少见。如果是这个皇子接杨坚的班，大隋天下会更有保障。而在南方不断传来对杨广的赞颂之声的同时，杨坚与杨勇的父子关系却形成了恶性循环。因为感觉到自己的失宠，杨勇情急之下，错招频出。他不断派人去打探父亲的消息，窥测父亲的行止，然而由于行事不谨，探子居然被隋文帝抓住。据《隋书·列传第十》记载，隋文帝气愤地说：“朕在仁寿宫居住，与东宫相隔甚远，然而我身边发生纤介小事，东宫必知，疾于驿马，我怪之甚久，今天才知道是怎么回事！”由于提防太子篡位，皇帝增加了数倍警卫，晚上睡觉怕不安全，居然从后殿移到了前殿。事情发展到这个程度，许多大臣都预感到，杨勇确实没有什么希望了。
得知这个消息，杨广知道自己的机会来了。他找了个借口，进京面圣，和母亲独孤氏进行了一次密谈。在密谈中，他说，长兄杨勇不知何故，近来频频挑他的错，甚至屡次扬言要除掉他。前一段，晋王府潜进一个刺客，刚刚跳入王府就被抓住了，虽然百般拷打也不吐口，但是他猜测可能是太子派来的。
杨广知道他的这番话会起什么作用。独孤后当晚就把杨广的话告诉了杨坚，并且指出，杨勇与云氏野合所生的孩子很有可能不是杨家的骨血。如果杨勇继了位，杨家的基业最后就要传给这个不明不白的孩子……
杨坚是中国历史上少有的怕老婆的皇帝，皇后的“枕边风”对帝国政治来讲，常常是一场台风。
五
在野史传说中，还有另一个广为流传的故事。它被创作出来，主要是为了表现杨广的心机有多深，同时又冷漠无情。《资治通鉴》记载，在被立为太子之后的第三年，皇后独孤氏驾崩。太子杨广在皇帝及宫人面前悲痛欲绝，好像活不下去的样子，背地里却饮食言笑如常。每天他表面上只吃素米，实际上却偷偷命人取鲜肉肥鱼放在竹筒中，以蜡封口，裹在衣服里送进来。
确实，为了皇位，杨广是老谋深算的。一定程度的“矫饰”，是政治家必备的素质之一。然而，“母死不悲”的传闻无论如何都不合常理。从现存资料及传世诗文看，杨广是一个非常重感情的人。他在文字中表现出的对朋友、对亲人的缱绻情深，相当动人。更何况，他又是独孤后最喜欢的孩子，母子感情非常融洽，从未有失和的记载。杨广之所以被立为太子，独孤后的“枕边风”起到的作用是相当关键的。杨坚晚年，猜忌心日益朝变态的方向发展。在如履薄冰的太子位上，母后是比父皇还要坚固的保护伞。以人子之常理推之，杨广此时不可能不哀痛于心，从小锦衣玉食的他，何至于在此时突然馋起大鱼大肉来？