任命元帅后，肃宗做的第一件事是“算计”李泌。一天，他和李泌出外行军，士兵们指着他们两个窃窃私语：“衣huáng者，圣人也。衣白者，山人也。”皇帝穿的衣服的颜色是huáng色的，而李泌作为隐士，穿的是白衣。古时着白衣者为平民，所以老百姓又称为白丁、白衣或白身。在现在的小说或电视中，白衣人往往都是天人一般，相貌英俊、玉树临风、气质高雅……例子就不举了，实在太多。李泌歪打正着的穿起了白衣服，正符合现代人们的审美，只是李泌本人相貌如何，没记，估计也就是一般般——往往长相好的要记下来，长的奇丑无比的也要记下来，长的没什么特点的……既然没特点，也就不必记了。然而士兵们的话，看来是多少有些对李泌不恭，至少他身为“山人”，和皇帝在一起是有点不大协调。肃宗听说后，就把这些话告诉了李泌，并且说：“艰难之际，不敢相屈以官，且衣紫袍以绝群疑。”我不敢违背阁下的意志委以官职，但既然有人说闲话，那你就该暂时穿上紫衣，免得别人猜疑。不经意间，肃宗给李泌准备多时的紫衣派上了用场。唐时三品以上服紫，一二品当然都是朝廷里的高官。李泌不得已，只好接受了紫衣，等他换上紫袍后，入宫去谢恩，肃宗哈哈一笑，说：“既服此，岂可无名称！”官服都穿上了，哪能没有相应的官职呢！于是就从怀中掏出诏敕开始宣读，任命李泌为待谋军国、元帅府行军长史。以“yīn谋论”的角度来看，这大概是肃宗定下的诡计，至于他有没有串通士兵来帮忙，那就不得而知了，或者是借题发挥，总之，觉得这个时候的肃宗倒很有些可爱，就像《三国演义》里给侄儿刘琦出主意骗诸葛亮上阁楼下不来的刘备一样。李泌仍然坚辞不受，肃宗说：“我不敢qiáng任你为宰相，只是现下是艰难时期，你暂时就担任一下吧，等叛贼平定后，就任凭你行归隐之高志。”既然皇帝这么说了，李泌也只好接受。李泌青少年时曾经向往的“一步登天”，现在真正的实现了，只不过而立之后的李泌，对此的心态却是异常平和，宠rǔ不惊。
肃宗在宫中设置元帅府，广平和李泌轮流值班，一个入宫，另一个就留在府中，反之亦然。李泌又对肃宗说：“诸将畏惧陛下天威，向陛下陈述军务大事时，有时难免会拘束无法都说出来，一旦出现哪怕很小的差错，都将会召致很大的损失。请陛下允许我先与广平王商议，等商量好了再向陛下报告，可以执行的就命令执行，不可行的就加以否决。”肃宗同意，此后每日每夜各地不断呈上来的奏疏，肃宗让都先送到元帅府去，由李泌批阅，如果有紧急的事情或者烽火战报，李泌就重封，隔门传进宫中，其余不重要的事情就等到天亮后再奏报。肃宗对此十分放心，把宫门的钥匙和符契全部jiāo给广平和李泌掌管。
然而就在这时，贼心不死的阿史那从礼又引诱九姓府与六州诸部胡人总计数万人，聚集在经略军的北边，准备侵略朔方，肃宗只好又让朔方节度使郭子仪到天德军去发兵讨伐。jiāo战中，左武锋使仆固怀恩的儿子仆固玢另率一军与胡人jiāo战，不料却战败了，只好投降，没过多久自己逃了回来，仆固怀恩认为这是十分有伤家族面子的事，大骂了一通仆固玢之后，狠心杀掉了自己的儿子。于是“将士股栗”——也难怪呢，就算我们现在听起来也觉得有些可怕。历史上不乏拿自己儿子开刀的统帅，但大部分是做做样子，真正忍心下手的却不多见，何况就算真生气，其手下部将难道不求情么？有了别人的求情，往往也就“免去死罪，打多少大板，以观后效”。岳飞也只是让人打了一通岳云，而仆固怀恩居然说杀就杀，难道他自己就不能心疼么？不是啊，后来仆固怀恩被bī造反的时候给当时的唐代宗上书，就是流着眼泪写到了自己为了不废军法将仆固玚杀掉的事情。说残bào也好，说铁面无私也好，仆固怀恩这么做之后，将士们谁敢不拼命？所以作战时都奋勇争先，以一当百，一下子打败了同罗军——看来士气很重要啊，哪怕是被bī无奈不得不去好好打，也十分管用。
这件事过后不久，在李泌的劝说下，肃宗决定离开灵武。不能不说突厥阿史那从礼的几次进攻是促成肃宗这一决定的因素，因为唐主要是想一心对付安禄山，现在朔方这又有个屡战屡败而又屡败屡战的阿史那从礼，实在让人郁闷。这里插一句，此后不久，南诏乘机攻陷了越郡的会同军，占领了清溪关，寻传、骠国等国都归降了南诏。南诏后来被郑氏取代，最后段氏终于把南诏搞定，建立了大理。相信喜欢看金庸武侠小说的人对大理都不陌生，只不过大理的皇帝可不是什么武林高手，什么一阳指、六脉神剑，都是编出来的。李泌是这样劝肃宗的，他说：“不如先暂时到彭原，等西北征兵到的时候，再前往扶风接应他们，那时丝帛等物品也运到了，可以供应军队。”九月十七日这一天，肃宗从灵武动身出发。
走了八天，九日二十五日，肃宗一行到达顺化。这时韦见素等人也从成都赶到，奉上玉玺和玉册，肃宗不肯接受，并说：“比以中原未靖，权总百官，岂敢乘危，遽为传袭！”我只是因为近来中原有动乱，才暂时管理一下百官，怎能够乘机传袭皇位呢？这听来实在太假了，皇帝都当了，还谈什么不敢遽为传袭？但肃宗却好像是认真的，他命人把玉玺和玉册都放置在别殿中，晨昏定省，就像礼拜父母那样去礼敬。肃宗的做法其实是对的，尽管后来的“腐儒”们（唐朝当然没有敢说三道四的，而唐以后的人就不客气了）已经大大的对他擅自即位不满了，这么做也无法减轻一些他的“罪过”，但总比接受的好，可以想见，如果肃宗笑呵呵的接受了，那么会被骂的更惨。
玄宗从蜀中派过来的这几人，肃宗因为韦见素和杨国忠的关系，对他很冷淡；而他久闻房琯的声名，因此对他很热情。房琯也是“人来风”，对肃宗谈论时事的时候，慷慨激昂，以至令肃宗大受感染，所以一有军国大事的时候就和房琯商量。房琯“亦以天下为已任，知无不为”，热情还是很高的。当年杨国忠初任宰相时，也是“以天下为己任”，虽然杨国忠很不怎么样，但是这份热情还是要肯定一下，房琯现在也是踌躇满志，他的这种激昂“吓”得其它宰相只有拱手避让的份。房琯任相又如何呢？下一节再说吧。
肃宗闲暇的时候，有一次对李泌谈到了李林甫。仇人啊仇人，肃宗想起来李皇叔——不对，现在得说是皇叔爷爷了——想起皇叔爷爷当年做的好事，害得他担惊受怕不说，还被迫与韦妃离婚，所以现在一定是咬牙切齿，恨不得把他扒皮抽筋。肃宗当时就要下诏说等攻克长安后，把李林甫的墓挖开，焚烧他的尸骨，弃骨扬灰。李泌劝解道：“陛下正在的大事是平定天下，何必与死者为敌呢。那尸骨又知道什么，这样做只能表示圣上胸怀德行还不够宽宏。再说回来，现在跟随安禄山反叛的人都是陛下的仇敌，如果他们听到这个消息，恐怕不会再有悔过自新之心了。”肃宗听后不大高兴，又说：“李林甫这个jian贼，过去千方百计想要致我于死地，那时候我可是朝不保夕啊，之所以能活到现在，实在是老天爷垂怜。况且李林甫那厮也十分憎恨你啊，只是还没来得及害你他自己就死了而已，你怎么倒可怜他？还替他说话？”李泌从容回答道：“这些事我哪里能不知道呢！但是陛下想到没有，太上皇在帝位将近五十年，一直太平安乐，不料一朝祸起，天下大乱，只好远避巴蜀。南方气候恶劣，太上皇年纪已经很大了，如果听到陛下有这样的诏命，必将以为陛下是为了报韦妃之仇。老人家心里肯定很惭愧，万一因此再生病，天下人就会认为这是陛下心胸狭隘，容不得君父。”还没等李泌说完，肃宗就泪流满面的走下台阶，仰天礼拜说：“我没想到这一点，是上天让您来告诫我的！”然后抱着李泌的脖子哭个不停。李泌总是能够找到对肃宗的制胜法宝，即足以打动肃宗的理由，所以往往他说的话都能起到作用。不过，这对于一个皇帝来说，是不是有点危险呢？肃宗对李泌很好，最后也没怎么起疑心，但李泌自己不能不有所考虑。这是后话了，后话当然后面说。只是肃宗抱着李泌的脖子哭个不停，实在有点那个，感动可以理解，可也没必要这么个哭法，好像是史家为了美化肃宗有多仁孝，所以才会让他如此举动，只是这样一来，倒有点搞笑的气氛，真是事与愿违。