嫁给甘延寿，但甘延寿拒绝了，石显便怀恨在心。宰相匡衡是个儒学分子，满脑子迂腐不堪的思想，宣帝刘询曾告戒儿子，不可任用儒学分子，元帝继位后，将父亲的忠告抛到脑后。班固在《汉书》中评价匡衡等一帮儒学分子非常客观地写道：“皆持禄保位，被阿谄之讥，彼以古人之迹见绳，乌能胜其任乎！”
匡衡就是这个一个小儒，看不到陈汤、甘延寿的齐天之功，只看到陈汤擅自矫制出兵，目无君上，罪大恶极。而且在这个时候，陈汤还被抓到一个把柄：私吞了一部分战利品。
这样，一道逮捕令发出了。
陈汤大怒，上书皇帝：“臣与诸吏士共诛灭郅支单于，幸得擒灭，万里振旅，不仅没有使者迎接犒劳，反而要将我等逮捕审查，这岂不是为郅支复仇？”
还好元帝没有昏庸到极点，赶紧撤消逮捕令，命令沿途各郡县以酒食款待甘延寿、陈汤的队伍。
到了京城后，元帝让大臣讨论对甘延寿、陈汤行赏。石显与匡衡又跳出来极力反对，说“甘、陈二人擅自矫制兴师，没有处死就是格外开恩了，如果再加功进爵，恐的以后的使者都会学他们，到时为国家招来很多麻烦，这个风气开不得！”
元帝本来性格软弱，心里颇赞赏陈汤与甘延寿的功业，但又碍于匡衡、石显的反对，所以这事久拖不决。
这时皇亲国戚刘向站出来说话了：“甘延寿、陈汤出生死、入绝域，斩郅支之首，县旌万里之外，扬威昆山之西，扫谷吉之耻，立昭明之功，万夷慑伏，莫不惧震，立千载之功，建万世之安，群臣之勋莫大焉。”
刘向又将甘、陈二人的与李广早征大宛、常惠以乌孙击匈奴、郑吉降伏日逐王相比较，此三人皆在西域建功立业封侯，刘向认为甘延寿、陈汤之过不及李广利，而功绩远胜于常惠、郑吉，所以应该“除过勿治，尊宠爵位，以劝有功。”
最后元帝下定决心，表彰甘延寿、陈汤的功业，在诏书中，元帝称道：“内不烦一夫之役，不开府库之臧，因敌之粮以赡军用，立功万里之外，威震百蛮，名显四海。”下令赐封甘延寿为义成侯，陈汤为关内侯。
到了元帝去世后，成帝刘骜继位（前33年，陈汤万里远征后三年），宰相匡衡又跳了出来，再度弹劾陈汤，称陈汤在西域经营期间，没有以身作则，收了康居国不少贿赂，还跟下属说：“我们在西域做这样的事，朝廷是不会追究的。”
陈汤年少贫困，所以他有一个缺点，就是贪财，这点匡衡并没有冤枉他。朝廷派人调查后，情况属实，陈汤被罢官。
然而后来出了一件离奇的事，陈汤突然跳出来，上书皇帝，说康居国所入质中国的太子，并非是真正的太子，而是个冒牌货。但是朝廷经过证实后，那人的确是康居太子。陈汤为什么突然这样冒冒失失，这确是个谜，也许是失官后日子不好过，想立功一下，结果反而惹祸上身。
陈汤被逮捕入狱，因为诬告，罪行很大，可能面临极刑处死。
但是陈汤的运气不算很坏。
太中大夫谷永上书皇帝，为陈汤辩护。谷永称阐述战将对国家的重要意义，“战克之将，国之爪牙，不可不重也。”然后极力赞扬陈汤在万里远征中所建立的伟大功绩，“报十年之逋诛，雪边吏之宿耻，威震百蛮，武畅四海，汉元以来，征伐方外之将，未尝有也。”最后认为陈汤所陈之言，虽有过失，但非有意为之，“以言事为罪，无赫赫之恶。夫犬马有劳于人，尚加帷盖之报，况国之功臣者哉！”
谷永的这折奏章，可谓是及时雨，将陈汤从地狱之门拉了回来。
成帝刘骜赦免了陈汤的死罪，但是削夺爵位，贬为普通一兵。
到了成帝建始四年（前29年），西域都护段会宗被乌孙军队围困，快马送信到朝廷，请求朝廷出兵相救。因为路途遥远，宰相王商与大将军王凤及众臣商量来商量去，拿不定主意。突然王凤灵光一闪，想起陈汤来了，于是奏报成帝刘骜：“陈汤这个人，足智多谋，又在外国呆了好多年，可以叫他过来问问计策。”
皇帝派人去请陈汤，此时陈汤双臂伤残了，这是远征郅支时，受了风寒而落下的后遗症，手臂不能屈伸，行动很不方便。
成帝刘骜见陈汤这个样子，心中有些怜意，诏令陈汤不必拜见，然后把段会宗的告急书交给陈汤过目，问陈汤有何计策。
陈汤这几年很不得意，所以在皇帝面前故意卖个关子，说：“朝廷文武大臣、将相百卿，个个都是贤材，才高八斗，小臣身残多病，不足以策谋大事。”
成帝呵呵一笑说：“国家现在有急，你还是不要推辞了。”
陈汤这才抬起头，胸有成竹的样子，对皇帝说：“臣以为这件事不必担忧。”
成帝刘骜一听，忙问：“此话怎么说？”
陈汤朗朗地说：“臣在西域多年，颇知西域军队的底细。一个汉兵可以顶五个西域兵，为什么呢，因为西域兵的兵刃朴钝，弓弩不利。不过这些年西域兵的武器有所长进，向汉帝国学了不少技术，即便这样，一个汉兵仍然可以顶三个西域兵。兵法有言，进攻方的兵力，必须要超过防守方的两倍，这样才势均力敌。臣看了段会宗的奏章，认为围困汉军的乌孙军队，并没有超过汉军的两倍，所以乌孙军队根本没有力量攻克段会宗部，所以陛下不必担忧。”
成帝一听，问道：“这么说不必派援军前往了？”
陈汤回答道：“军队如果轻装前进，一天可行军五十里，如果重装前进，一天只可行军三十里。现在从敦煌郡派军队前往，那需要很长的时间。这支部队如果去军事报复是可以，如果是救急的援军，那就没有必要了。”
成帝刘骜见陈汤分析有条有理，心中的石头落地，便问陈汤：“那你估计段会宗几时可以解围呢？”
陈汤对乌孙军军力量心中有数，这支军队，缺乏坚韧的精神，只要几天不能攻克段会宗部，一定会撤军的。于是陈汤非常自信地回答皇帝：“现在已经解围了。”然后掐指一算，说：“不出五天，一定会有捷报。”
四天后，西域都护段会宗快书送到，称已经解围。
陈汤的神机妙算、料事如神，再次令朝廷公卿目瞪口呆。这样的人才，当然不可能再当普通一兵了。大将军王凤将陈汤提拔为从事中郎，成为大将军幕府的首席军事参谋，幕府的事，一概由陈汤拍板决定。