陈汤为人深沉智勇，“多策谋，喜奇功”，一路上每经过城邑山川，都要登高望远，观察地形。到西域都护治所以后，陈汤对甘延寿说：“夷狄之人畏服qiáng者是他们的天性。西域本来就是匈奴的地盘，郅支单于又威名远闻，不时侵陵乌孙、大宛等国，又常常为康居国出主意四出劫掠，假设他哪天灭掉乌孙和大宛，挟众四处扩张，数年之间那些向汉朝进贡的城郭国家肯定都会被他灭掉。而且郅支单于为人剽悍凶猛，喜好征伐，屡战屡胜，长久姑息，以后必为西域大患。郅支单于虽然所在绝远，但匈奴传统上没有坚城劲弩的守备，如果我们调发屯田兵士，加上乌孙国士兵，出其不意直攻其城，他跑也没地方去，守城也不足自保，千载之功，一朝可成。”甘延寿觉得陈汤话很有道理，想上奏朝廷请求发兵。陈汤说，“朝廷那些公卿大夫议事，都是空讲道理侃侃而谈，肯定不会依从我们的计谋。”甘延寿坚持要上奏。正巧那些日子这位西域都护久病不愈不能听事，陈汤自己就假借朝廷名义征发西域各城郭国兵以及屯田的汉军。直到城外大军调动纷纷，甘延寿才惊觉，想出外制止。陈汤大怒，接剑怒叱甘延寿：“大队人马已经集结，你小子敢阻挡众军吗？”甘延寿无可奈何，就依势就势，一起部勒行阵，增加扬威、白虎、合骑三个纵队，共有军人四万多。同时，他们上书自劾矫制出兵的情状，即日出兵。
四万大军分为六队。三队从南道越过葱岭直向大宛，另外三队从北道入赤谷，经过乌孙，到达康居国境。行进中赶上康居副王带数千骑人马侵掠赤谷城，他们不仅抢夺到大批畜产，还常常侵袭汉军。陈汤命所部西域联军进攻康居副王，杀死四百多人，夺回被康居副王俘虏的赤谷城民，把俘获的牛、羊、马作为军粮。到达康居东界后，又严禁军人抢掠当地人，并与当地的康居首领饮酒为盟，谕以威信。大军势如破竹，一直到单于城六十里才停军立营。同时，当地的康居人也怨恨郅支单于的残bào，把城内匈奴人的实情尽数告知给陈汤。
转日，大军又前行三十里，扎营待命。直到此时，郅支单于才知汉兵已到眼前，慌得他急派使臣前来问询：“汉兵为什么来？”陈汤答：“天子可怜单于远弃国土，屈身于康居境内，现在派西域都护前来迎接单于一家回去，怕惊动单于，所以没有直接抵达城下。”如此，双方使节往来数次问答。甘延寿、陈汤觉得时机差不多了，攻城准备工作已经就绪，就责让郅支单于使臣：“我们为单于而远道前来，至今没有名王大人前来拜见听命，郅支单于怎么这么无礼！我们兵来道远，人畜疲惫已极，军粮又快吃完了，恐怕这样子回不去，希望单于与大臣赶紧商量回复我们。”
第三天，联军前进，距城三里扎阵。向前望去，单于城上遍布五彩旗幡，数百人披甲站立于城上，又有百余骑在城下来往驰骋，以耀兵威。城门口还有百余步兵摆成鱼鳞阵，操练演习（据考证是败逃后被郅支单于收留的罗马士兵）。城上人还不停向联军叫喊：“前来进攻啊！”如此等等，反而bào露出郅支单于的胆怯和心虚，这就像人走夜路大声叫唤，给自己壮胆而已。正观望间，匈奴骑兵百余人朝联军阵前驰来，汉军把弩机瞄准来人，匈奴兵掉转马头跑了回去。陈汤命令联军向城门口的骑兵步兵放箭，吓得那些人都跑回城中。甘延寿、陈汤亲自击鼓，诸军立时齐向前冲，直扑城下，穿堑攻城，以劲弩she得楼上披甲兵士跑往楼下。由于土城外有木城，匈奴兵从木城栅格里向外she箭，杀伤不小。联军纵火烧掉木城，天黑时数百骑匈奴禁不住大火灼烧，趁黑往外逃，全被迎头she杀。
郅支单于刚开始知道汉兵来到的消息时，本来想逃跑。但他怀疑康居人怨恨自己而作汉兵的内应，又听说敌国乌孙及其他城郭国都出兵助汉人征伐自己，感觉无所逃遁。当时他已经带人出城，思前想后，决定回城坚守，对左右说：“汉兵远来，不能久攻。”郅支单于身披甲胄在楼上指挥，他几十个大老婆小老婆（阏氏夫人）也很英勇，都操弓向汉军she箭。联军矢发如雨，一只箭不偏不倚已中郅支单于大鼻子，几十个夫人也死伤殆尽。郅支单于勉qiáng支持，下城骑马，逃入内城。半夜，木城被联军攻陷，守城匈奴兵向城外大呼，当时还有亲匈奴的万余康居骑兵绕城环行，声援匈奴。黎明时分，四面火起，联军士兵大喊登城，锣鼓惊天动地，汉军推着攻城车攻进土城中。见势不好，康居兵逃走。汉兵攻入内城，到处纵火，联军士兵蜂涌入内，格斗中郅支单于被杀，脑袋为汉兵杜勋一刀割下。此次战役，共斩单于阏氏、太子、名王以下一千五百多级，生俘一百四十五人，投降的匈奴有一千多人。
大胜之后，甘延寿、陈汤给汉元帝发去那封流传千古、扬眉吐气的疏奏：
“臣闻天下之大义，当混为一。匈奴呼韩邪单于已称北藩，唯郅支单于叛逆，未伏其辜，大夏之西，以为qiáng汉不能臣也。郅支单于惨毒行于民，大恶bī于天。臣延寿、臣汤将义兵，行天诛，赖陛下神灵，yīn阳并应，陷阵克敌，斩郅支首及名王以下。宜悬头槁于蛮夷邸间，以示万里，明犯qiáng汉者，虽远必诛！”
此雄辞壮语，想必非军中文书所为，是由陈汤自己亲自撰写，史中明载陈汤“善属文”，后来他还不断替人“写状子”，因此可以想见这位文武全才的大汉将军当时果真是“气吞万里如虎”。
功高赏微 后事默默
建立如此不世之功，书奏朝廷后，丞相、御史都怪罪陈汤、甘延寿两个人矫制发兵，中书令石显又因为怨恨甘延寿不娶她姐姐的前隙，乘间攻击两个人为国生事招难。由于陈汤本人确实有贪财的毛病，击败匈奴后把不少胜利品归为己有，也为司隶校尉所弹劾，并派人前去按验审查。
情急之下，陈汤上疏：“臣与将士共诛郅支单于，万里振旅凯旋，应有使者于路上慰留欢迎。现在司隶来审查按验，是为郅支单于报仇啊。”元帝觉得有理，诏令州县准备酒食于路劳军。甘延寿、陈汤回朝后，石显等人不断上书二人乘危侥幸、矫制兴军之罪。汉元帝内心其实很叹赏两人大功，但汉法严历，因此迟疑不决，赏罚诏令一时间也拿不定。最后，汉朝宗室刘向上疏：“郅支单于囚杀使者吏士以百数，伤毁大汉国威。甘延寿、陈汤总百夷之君，揽城郭之兵，出百死，入绝域，斩郅支之首，悬旌万里之外，万夷慑伏，真不惧震。立千载之功，建万世之安，群臣功劳莫过于此！武帝时代贰师将军李广利兴师五万，费钱数亿，经四年劳顿，仅获骏马三十匹，武帝仍不录其过错，封拜军人共两侯、三卿、二千石一百多人。现在甘延寿、陈汤不劳汉师，不费斗粮，斩郅支之首，功高百倍于贰师将军。应该高官厚爵，以奖有功。”于是汉元帝拜甘延寿义成侯，陈汤关内侯，各食邑三百户，另赐huáng金百斤。
甘延寿不久病死。汉成帝即位后，从前诋毁他们两人的匡衡等朝臣又复奏甘、陈二人盗收康居国财物，陈汤被免为民。后来，陈汤又犯事下狱当死，因前功被免贬为士兵。