有一天晚上，他在山寺里，听到一个和尚念经的声音，悲凉委婉而有遗世之响，他认为是一位有道的再来人。打听之下，才知道是一个作苦工的老僧，大家也不知道他叫什么名字。平常收拾吃过的残羹剩饭充饥，吃饱了就伸伸懒腰，找个角落去睡觉，因此大家便叫他懒残。李泌知道了懒残禅师的事迹，在一个寒冬深夜，独自一个人偷偷去找他，正碰到懒残把捡来的gān牛粪，垒作一堆当柴烧，生起火来烤芋头。这个和尚在火堆旁缩做一团，面颊上挂着被冻得长流的清鼻水。李泌看了，一声不响，跪在他的旁边。懒残也像没有看见他似的，一面在牛粪中捡起烤熟了的芋头，张口就吃。一面又自言自语地骂李泌是不安好心，要来偷他的东西。边骂边吃，忽然转过脸来，把吃过的半个芋头递给李泌。李泌很恭敬地接着，也不嫌它太脏，规规矩矩地吃了下去。懒残看他吃完了半个芋头便说：好！好！你不必多说了，看你很诚心的，许你将来做十年的太平宰相吧！道业却不说了！拍拍手就走了。
白衣山人——李泌
到了安禄山造反，唐明皇仓皇出走，皇太子李亨在灵武即位，是为肃宗，到处寻找李泌，恰好李泌也到了灵武。肃宗立刻和他商讨当前的局面，他便分析当时天下大势和成败的关键所在。肃宗要他帮忙，封他做官，他恳辞不gān，只愿以客位的身份出力。肃宗也只好由他，碰到疑难的问题，常常和他商量，叫他先生而不名。这个时候，李泌已少吃烟火食。肃宗有一天夜里，高兴起来，找来兄弟三王和李泌就地炉吃火锅，因李泌不吃荤，便亲自烧梨二颗请他，三王争取，也不肯赐予。外出的时候，陪着肃宗一起坐车。大家都知道车上坐着那位穿huáng袍的，便是皇帝，旁边那位穿白衣的，便是山人李泌。肃宗听到了大家对李泌的称号，觉得不是办法，就特别赐金紫，拜他为广平王（皇太子李豫）的行军司马。并且对他说：先生曾经侍从过上皇（玄宗），中间又作过我的师傅，现在要请你帮助我儿子作行军司马，我父子三代，都要借重你的帮忙了。谁知道他后来帮忙到子孙四代呢！
李泌看到肃宗当时对政略上的人事安排，将来可能影响太子的继位问题，便秘密建议肃宗使太子做元帅，把军政大权付托给他。他与肃宗争论了半天，结果肃宗接受了他的意见。
肃宗对玄宗的故相李林甫非常不满，认为天下大乱，都是这个jian臣所造成，要挖他的坟墓，烧他的尸骨。李泌力谏不可，肃宗气得问李泌，你难道忘了李林甫当时的情形吗？李泌却认为不管怎样，当年用错了人，是上皇（玄宗）的过失。但上皇治天下五十年，难免会有过错。你现在追究李林甫的罪行，加以严厉处分，间接地是给上皇极大的难堪，是揭玄宗的疮疤。你父亲年纪大了，现在又奔波出走，听到你这样作，他一定受不了，老年人感慨伤心，一旦病倒，别人会认为你身为天子，以天下之大，反不能安养老父。这样一来，父子之间就很难办了。肃宗经过他的劝说，不但不意气用事，反而抱着李泌的脖子，痛哭着说：我实在没有细想其中的利害。这就是李泌“冲而用之或不盈”的大手笔。唐明皇后来能够自蜀中还都，全靠他的周旋弥缝。
山人自有妙计
肃宗问李泌剿贼的战略，他就当时的情势，定出一套围剿的计划。首先他断定安禄山、史思明等的党羽，是一群没有宗旨的乌合之众，目的只在抢劫，“天下大计，非所知也。不出二年，无寇矣。陛下无欲速，夫王者之师，当务万全，图久安，使无后害。”因此，他拟定战略，使李光弼守太原，出井陉。郭子仪取冯诩，入河东，隔断盗魁四将，不敢南移一步。又密令郭子仪开放华yīn一角，让盗众能通关中，使他们北守范阳，西救长安，奔命数千里，其jīng粹劲骑，不逾年而蔽。我常以逸待劳，来避其锋，去翦其疲。以所征各路之兵，会扶风，与太原朔方军互击之，徐命帝子建宁王李谈为范阳节度大使，北并塞，与李光弼相犄角以取范阳。贼失巢窟，当死河南诸将手。肃宗统统照他的计划行事，后来都不出其所料。这便是李泌的“挫其锐，解其纷”的战略运用。
后来最可惜的，是唐肃宗急功近利，没有听信李泌的建议，致使河北没有彻底肃清，仍然沦陷于盗贼之手，便自粉饰太平，因此而造成历史上晚唐与五代之际华夷战乱的后遗症。
为了特别褒扬久被埋没的李泌长才，再略加说明他的行谊事绩。肃宗为了尽快收复首都长安，等到郭子仪筹借到西北军大集合的时候，便对李泌说：“今战必胜，攻必取，何暇千里先事范阳乎！”李泌就说：如果动用大军，一定想要速得两京，那么贼势一定会重新qiáng盛，我们日后会再受到困扰。现在我们有恃无恐的qiáng大兵力，全靠碛西突骑（骑兵）、西北诸戎。假如一定要先取京师，大概在明年的chūn天，就可成功。但是关东的地理环境，与气候等情况，chūn天来得较早，气候容易闷热，骑兵的战马也容易生病，战士们思chūn。也会想早点回家，便不愿再来辗转作战了。那么，沦陷中的敌人，又可休养士卒，整军经武以后，必复再度南来，这是很危险的办法。但是肃宗这次，却坚决地不听李泌的战略意见，急于收复两京，可以称帝坐朝，由此便有郭子仪借来回纥外兵，从元帅广平王等收复两京的一幕出现。
两京收复，唐明皇还都做太上皇，肃宗重用jian臣李辅国。李泌一看政局不对，怕有祸害，忽然又变得庸庸碌碌，请求隐退，遁避到衡山去修道。大概肃宗也认为天下已定，就准他退休，赏赐他隐士的服装和住宅，颁予三品禄位。
另有一说，李泌见到懒残禅师的一段因缘，是在他避隐衡山的时期。总之，“天道远而人道迩”，仙佛遇缘的传说，事近渺茫，也无法确切地考据，存疑可也。
英雄退步学神仙
李泌在衡山的隐士生活过不了多久，身为太上皇的唐明皇死了，肃宗跟着也死了，继位当皇帝的，便是李泌当年特别加以保存的皇太子广平王李豫，后来称号为唐代宗。代宗登上帝位，马上就召李泌回来，起先让他住在宫内蓬莱殿书阁，跟着就赐他府第，又qiáng迫他不可素食，硬要他娶妻吃肉，这个时候，李泌却奉命照做了。但是宰相元载非常忌妒他的不合作，找机会硬是外放他去做地方官。代宗暗地对他说，先生将就一点，外出走走也好。没多久，元载犯罪伏诛，代宗立即召他还京，准备重用。但又为jian臣常衰所忌，怕他在皇帝身边对自己不利，又再三设法外放他出任澧郎峡团练使，后再迁任杭州刺史。他虽贬任地方行政长官，到处仍有很好的政绩，这便是李泌的“和其光，同其尘，湛兮似或存”的自处之道。
当时奉命在奉天，后来继位当皇帝，称号为唐德宗的皇太子李适，知道李泌外放，便要他到行在（行辕），授以左散骑常侍。对于军国大事，李泌仍然不远千里地向代宗提出建议，代宗也必定采用照办。到了德宗继位后的第三年，正式出任宰相，又封为邺侯。勤修内政，充裕军政费用。保全功臣李晟、马燧，以调和将相。外结回纥、大食，以困吐蕃而安定边睡。常有与德宗政见不同之处，反复申辩上奏达十五次之多。总之，他对内政的处理，外jiāo的策略，军事的部署，财经的筹划，都做到了安和的绩效。
但德宗却对他说：我要和你约法在先，因你历年来所受的委屈太多了，不要一旦当权，就记恨报仇，如对你有恩的，我会代你还报。李泌说：“臣素奉道，不与人为仇。”害我的李辅国、元载他们，都自毙了。过去与我要好的，凡有才能的，也自然显达了。其余的，也都零落死亡了。我实在没什么恩怨可报的。但是如你方才所说，我可和你有所约言吗？德宗就说，有什么不可呢！于是李泌进言，希望德宗不要杀害功臣，“李晟、马燧有大功于国，闻有谗言之者。陛下万一害之，则宿卫之士，方镇之臣，无不愤怒反厌，恐中外之变复生也。陛下诚不以二巨功大而忌之，二臣不以位高而自疑，则天下永无事矣。”德宗听了认为很对，接受了李泌的建议。李晟、马燧在旁听了，当着皇帝感泣而谢。
不但如此，他做起事来，非常认真负责，曾经与皇帝力争相权。因为德宗对他说：“自今凡军旅粮储事，卿主之。吏礼委延赏（张延赏），刑法委浑（浑碱）。”李泌就说：“陛下不以臣不才，使待罪宰相。宰相之职，天下之事，成其平章，不可分也。若有所主，是乃有司，非宰相矣。”德宗听了，便笑着说，我刚才说错了话，你说的完全对。
不幸的是，宫廷父子之间，又受人中伤而有极大的误会，几乎又与肃宗一样造成错误，李泌为调和德宗和太子之间的误会，触怒了德宗说：“卿不爱家族乎？”意思是说，我可以杀你全家。李泌立刻就说：“臣惟爱家族，故不敢不尽言，若畏陛下盛怒而曲从，陛下明日悔之，必尤臣曰：吾独任汝为相，不谏使至此，必复杀臣子。臣老矣，余年不足惜，若冤杀巨子，使臣以侄为嗣，臣未知得欲其祀乎！”因呜咽流涕。上亦泣曰：“事已如此，奈何？”对曰：“此大事愿陛下审图之，自古父子相疑，未有不亡国者。”