桓温没有灭秦的实力,然而在黄河以南还是能有些作为的。当时冉魏的旧将周成占了洛阳,姚襄北归占了许昌,又北上与周成争洛阳,情况非常混乱。永和十二年(356年),桓温向朝廷提出一个表面上光明正大的请求:“移都洛阳,修复园陵。”朝廷便命他去讨伐姚襄。这个任务,他轻松地完成了。这年八月,他从江陵北上到洛阳城南的伊水,一战击败姚襄。姚襄西走后,周成又投降,桓温便进了洛阳,谒西晋诸帝陵,对有毁坏的即令人修复,还留兵戍守,然后班师还江陵。
这是桓温为晋朝立的大功劳。在以后几年间,桓温与朝廷也相安无事。然而,朝廷在与前燕发生冲突中的表现,却又挑起了桓温轻视朝廷的心理。
后赵亡后,鲜卑段部的后人段龛据广固(今山东青州西北)称齐王。晋永和十一年(355年),前燕慕容恪进攻广固。段据向晋求救。晋徐州刺史荀羡救燕,他虽不敢进军广固,然晋燕之间,在今山东、河南与苏皖北部的冲突,自此连绵不断。永和十二年,广固在困守十个月后投降。以后晋、燕冲突,晋一直处于劣势。
升平三年(359年),晋使豫州刺史谢万、徐兖二州刺史郗昙攻燕。谢万是后来成为东晋名相谢安的兄弟,也是个大有名气的名士。王羲之得知了这道任命,就写信劝他“与士卒之下者同甘苦”。谢安也对他说:“你做元帅,必须经常接待众将,使他们心悦诚服。”谢万做不到与士卒同甘苦,便听兄长的话,召集众将会议,他找不出话来,便把手中的铁如意指着大家说:“诸将皆是劲卒。”那时候阶级区别森严,把将校叫作兵卒是有侮辱性的,众将听了,对他十分怨恨。谢安知道这位老弟不可救药,怕他送掉性命,就特地赶到他统率的军中,与各级军官联络感情,连最下级的军官也不例外。后来谢万兵败逃回时,部下看了谢安的面子,才没有杀害他。朝廷用这等人做元帅,实在是天大的笑话。郗昙是郗鉴的儿子,也是个文士。