房琯对人说：“贼曳落河虽多，安能敌我刘秩！”什么叫曳落河？这个不是说掉进河里，而是安禄山的jīng锐亲兵，安禄山“养同罗、奚、契丹降者八千馀人，谓之‘曳落河’”。房琯夸口说虽然曳落河厉害，又安能敌得过我的谋士刘秩呢！他把军队分成三部分：由杨希文率领南军，从宜寿进攻；刘贵哲率领中军，从武功进攻；又派李光弼的弟弟李光进率领北军，从奉天进攻。他自己则是自将中军，为前锋。
我们房大宰相战绩如何啊？十月二十日，唐军前进到便桥一带。第二天，房琯的中、北两军与叛军安守忠所部在咸阳的陈涛斜（一个颇像人名的地名）相遇。房琯此战效法古人，居然用起了几千年都没用过的老掉牙的战车进攻战术，实令人匪夷所思。而且战车所用的牲畜也不对呀，人家是要用马，房琯却用牛来代替，牛虽然粗壮了许多，但灵活性就差了，所以战将都是骑马，骑牛的可太少了，单挑的时候骑牛岂不要吃大亏？《封神演义》里huáng飞虎是骑牛，可人家是神牛，你一般牛能比么？何况又是小说，更不能算数了。房琯组织了二千辆的牛车队伍，并让步、骑兵护卫左右——士兵们都用来照顾牛了，真是得不偿失。没准骑兵的马和牛们还聊天呢：“咦，牛兄，您怎么也上战场了？”牛说：“唉，没办法，房大人心血来cháo，不敢不来啊。”咳咳，说到哪了？——双方jiāo战后，叛军顺风擂鼓呐喊，牛哪里见过这阵式，都吓的不轻。叛军又放火焚烧战车，顿时唐军乱了阵脚，人畜相杂，死伤多达四万余人，逃命活下来的仅有数千。不难想象啊，因为经过专业培训的西班牙斗牛士们还经常会出事，何况和牛一样也没见过这种阵式的唐军？荒唐啊荒唐。总结一下，不提房琯任命的人合不合适，也不管他总体战略如何，单说这一战，最大的错误在于战术不对，雪上加霜的是错用了牛——战国时田单败燕，用火牛阵用的就是这股乱劲，而房琯这次用牛车阵，却乱了自己。这是房琯东征的首战，首战很影响士气，这一仗失败，不但带来兵力上的损失，在士气上也是个打击。可以想象一下，如果你是当时唐军中的某个士兵，一想到有个荒唐的主帅在带队，是不是很泄气呢？十月二十三日，房琯亲自率领南军与叛军作战，又被杀得大败，杨希文和刘贵哲都投降了叛军，这是南、中二军的主将，他们投降了，仗也就别提再打了。至此，房琯东征宣告失败。
战败之后，房琯等人“奔赴行在，肉袒请罪”。肃宗得知大败的消息，十分愤怒。想来肃宗也没想到房琯会用这么个战术，而肃宗可不像房琯那么理想主义，以为牛车真能取胜，从肃宗让王思礼辅助房琯来看，他比房琯更有战争的头脑，只可惜王思礼没派上用场。肃宗听说败的情形，自然十分郁怒，幸好有了李泌的营救，肃宗才赦免了房琯。不知李泌是怎么说的，居然说动肃宗像原来那样对待房琯，所以房琯要想取代李泌在肃宗心目中的位置实在太难了。
《旧唐书》上有一段，讨论了房琯为什么失败：“管好宾客，喜谈论，用兵素非所长，而天子采其虚声，冀成实效。管既自无庙胜，又以虚名择将吏，以至于败。管之出师，戎务一委于李揖、刘秩，秩等亦儒家子，未尝习军旅之事。管临戎谓人曰：‘逆党曳落河虽多，岂能当我刘秩等？’及与贼对垒，管欲持重以伺之，为中使邢延恩等督战，苍huáng失据，遂及于败。”有些事情我们前面已经说过，再补充几句。《旧唐书》的看法是，房琯喜欢高谈阔论，未免轻浮，用兵并非是他的长处，所以皇帝听他虚夸的厉害便任用他，自然难有什么作用；房琯本人又不会择将吏，选的都是徒有虚名的人，出师之后把事情都jiāo给不习军事的儒生，再加上jiāo战之际本是要持重以待，却被宦官邢延恩等人催促jiāo战，仓惶之中失去自己的根基，所以才会惨败。《旧唐书》是在后面jiāo待了这里面“中人邢延恩”的作用，通鉴中却未涉及。房琯本打算持重，牛车阵也确实需要持重，如果真的坚持下去，面对敌军时，也许不会一下子就大乱起来，但叛军终究还是会赢，就算这一战不败，早晚他的牛车阵也是个事。邢延恩的催战，无疑使失败提前来到。虽说宦官监军又让人郁闷了一把，不过房琯的东征也是早一些结束的好，如果一直这么打下去，伤亡惨重都是无法避免的，但唐朝的粮草——灵武也好，顺化也好，彭原也好，粮食还是节省些好。
房琯回来之后，常常称病不朝，对政事也变得懒于过问，大概是受到了打击。另外，他不上朝，每天与刘秩、李揖等人高谈佛老，说些释氏因果、老子虚无的东西，有时还听听门客董庭兰的琴声，或招集琴客来大排筵宴。未败之前房琯也有空谈的爱好，好像惨败之后，连“以天下为己任”的劲头也没有了。颜真卿当时弹劾何忌不孝，而何忌恰好是房琯空谈一派，所以房琯不想太让他没面子，就以他酒醉入朝为借口，贬为西平司马。更糟糕的是，董庭兰因为朝官们往往通过他谒见房琯，所以开始弄权谋利，大收贿赂。有司又弹劾董庭兰受贿，房琯十分不理智的在肃宗气头上入朝向他说明情况，被肃宗“叱出之，因归私第，不敢预人事”。这时谏议大夫张镐上疏，说房琯是朝中大臣，他的门客受赃，与他无关，不应该因这件事连累他。至德二年五月，将房琯贬为太子少师，以张镐代替他为宰相。
后来房琯再也没有像在顺化、彭原的时候受到肃宗看重了。最后死于广德元年，时年六十七岁，死后赠太尉。
杜甫传中则说至德二年chūn因房琯罢相，杜甫上书言房琯有才，不宜罢相之事而被贬，似乎时间上有出入，而且杜甫传说还写肃宗一怒之下，“贬管为刺史，出甫为华州司功参军”。杜甫确实是被贬了，而房琯则没有被贬出去，当年十一月便随肃宗回到了长安。究竟哪个对？房琯确实被贬出去过，不过是乾元元年六月，时间上又有矛盾。这里我们还是相信房琯本传为好，因为杜甫传中是连他的官名都写错了的，应该是左拾遗，写成右拾遗了。
房琯之败，似乎在玄宗的预料之中。玄宗在蜀中的时候，和给事中裴士淹讨论宰相。那时肃宗在凤翔，每任命一个宰相，就报告给玄宗。一听到肃宗任房琯为将，玄宗说：“此非破贼才也。若姚元崇在，贼不足灭。”他很清楚房琯言过其实，有点赵括的意思，所以知道他破不了叛军。可见玄宗看人比肃宗要准啊，一眼便看到了房琯的不足之处。之后又讨论到其它人，说到宋璟的时候，玄宗说：“彼卖直以取名耳。”只怕这个评价会有些让人吃惊。大唐三百宰相，最有名的贤相就那么几个，有唐初的房玄龄、杜如晦，还有玄宗时期的姚崇、宋璟。看来玄宗对姚崇还是相当满意的，而宋璟也是善终，并未与玄宗有什么芥蒂，怎么玄宗会这样评价他呢？虽然玄宗这话绝非称赞，也微微透露出一丝不满，却并不激愤。《新唐书》评价宋璟就是“宋璟刚正又过于崇，玄宗素所尊惮，常屈意听纳……善守文以持天下之正。”有时他的“正”也确有取名的嫌疑。宋璟的问题还是就此打住吧。玄宗又接连历评了十余人，都十分得当。评到李林甫时，玄宗不无愤怒的说：“是子妒贤疾能，举无比者。”裴士淹当时反问了一句：“陛下诚知之，何任之久邪？”你明知他是这样的人，为什么还任用他这么久？“帝默不应”，玄宗无言以对。那我们再问一声，为什么玄宗明知李林甫阻挡贤路，还要任用他呢？只怕玄宗当时已经倦了，所以有个挡着进谏的人，未尝不是件舒服的事，而且高力士也曾反对过玄宗“朝事付宰相，边事付边将”，玄宗并非不知道这些事情，所以只能是他自己的问题。