安排好朝中的事务后，刘裕从建康出发，率领水军从淮水进入泗水。五月，东晋部队到达下邳，把船舰、笨重的军用物资留下，步行开进到琅琊，所经过的地方，都修筑起城池，并留下军队把守。
当时从琅琊到南燕国都广固城有三条通道：一条是沿沂水北上，越过大岘山，直捣临朐、广固，这是一条捷径，但大岘山险峻，山高达七十余丈，周围二十多里，山上有穆陵关，通道仅能容纳一辆车的宽度，被称为“齐南天险”；一条是从东北经过莒城、东武入潍水北进，再往西走进攻广固，这条路绕行甚远，耗费时日；还有一条是从西北越过泗水经梁父城，转向东北逼近广固，这条路山路太长，行军运输都很困难；刘裕选择了第一条路。
有人对刘裕提出：“燕国人如果把大岘山的险要堵塞住，或者加固城墙，将散居在外的百姓聚居起来，只把空荡荡的田野留给我们，那么，我们的大部队深入到敌国重地，不仅不能建立什么功业，还很有可能无法安全返回，如果发生这种情况，怎么办？”
刘裕说：“我已经把这些都考虑过了，鲜卑人生性贪婪，没有长远的打算，前进的时候只盼望多多地抢夺掳掠，后退的时候又吝惜田中的禾苗。他们以为我们孤军深入一定不能长久坚持，因此不外乎进军驻守临朐，或者退兵戍守广固，一定不会据险要之地抵抗、清肃四野防备我们，我敢向你们保证。”
南燕国主慕容超听说东晋军队来讨伐，便召集大臣们在一起商议讨论对策。征虏将军公孙五楼说：“敌军的兵众轻装前进，他们追求的是速战速决，我们不能与他们正面作战，应当据守大岘，让他们无法进入，拖延时间，挫伤他们的锐气，然后再从容地挑选精壮骑兵二千人，沿着海滨南下，断绝他们运送粮草的通道，另外再命令段晖率领兖州的军队沿着山地向东进军，在后背处进攻他们，这是最好的办法。或者，分别命令各地的官员依靠险要自己固守，估算自己所用的食物物资以外，剩下的全部烧毁，再把田野中的庄稼全部割光，让来犯的敌人没有东西可以补充给养，他们远征的部队既没有粮草，求战又找不到对手，一个月之间，我们就可以控制他们了，这是一般的办法。如果把贼兵放入岘山，然后我们再出城迎战他们，这是最次的办法了。”
慕容超不以为然地说：“他们远道而来，疲惫不堪一定不能耽搁太久，我据守五个州的地域，拥有富庶的百姓，强大的骑兵，茁壮的庄稼遍布四野，怎么能割倒庄稼迁移百姓向别人示弱呢！依我看，应该放他们进入大岘山，再派精壮骑兵前去践踏他们，何必担心打不败他们。”
辅国将军慕容贺赖卢苦苦劝阻，慕容超也听不进去。退朝后，慕容贺赖卢对公孙五楼说：“如果按照陛下的安排，亡国也没有几天了！”
太尉慕容镇再次进去劝谏说：“陛下如果一定认为骑兵在平地作战方便的话，就应该冲出岘山去迎战敌人，即使在战斗中不能取胜，也还可以退守，不应该放纵敌兵进入岘山，自己放弃险要的地势。”慕容超拒不听从。
慕容镇退出来后说：“主上既不想主动迎战，把敌人击退，又不同意迁移居民，清肃原野，反而把敌人引进自己的腹地，坐在那里等待敌人的进攻围困，这一点太像汉末的刘璋了。今年之内我们国家就要灭亡，我只有一死了。”
这话传到慕容超耳中，他暴跳如雷，把慕容镇抓起来送进了监狱，然后下令撤回莒城、梁父两地的守军，加固修筑都城广固的防御工程，遴选将士和战马，等待东晋的军队到来。
刘裕大军顺利通过大岘山，南燕的军队一直没有出现，刘裕举起手来，指着上天，禁不住脸上露出喜色。左右侍从的人说：“您没有看见敌人却先高兴起来，这是为什么？”
刘裕说：“大军已过险关，军队没有退路可走，因此一定会有拼死作战的决心；余粮尚在田亩之中储存，我们又没有了缺乏粮食的忧虑，敌虏已经完全落入了我的手中。”
六月十二日，刘裕大军抵达东莞（今山东沂水），慕容超先派遣公孙五楼、慕容贺赖卢及段晖统领步骑共五万人屯据在临朐，听说东晋兵马已经通过岘山，便亲自带领步骑四万人前去迎战，并派公孙五楼率领骑兵开进巨蔑水据守。
东晋的前锋孟龙符与南燕军队展开激战，打败了他们，公孙五楼败退而走。刘裕用四千乘军车作为左右的屏障，排成方阵缓缓向前推进，在临朐以南的地方与南燕军队进行会战。
太阳渐渐下山，双方还没有分出胜负。参军胡藩对刘裕说：“燕军倾巢而出，与我们作战，临朐城中的守军一定很少，我愿意带领一支出敌不意的部队从小路去夺取这座城池，这是当年韩信击败赵国的办法。”
刘裕于是派遣胡藩以及檀韶、向弥暗自带兵绕到南燕军队的后面，进攻临朐，号称是轻装部队从海路直接赶来增援的。向弥身披铠甲，首先登上城墙，于是临朐被攻破。
慕容超听说后，大吃一惊，单人匹马从城中逃出，赶到城南去投奔段晖。刘裕乘势催动大军奋力战斗，南燕军队大败，斩杀了段晖等十多员大将，慕容超逃回都城广固城，晋兵缴获了他的玉玺、车辇以及挂在车后的豹尾等物资。
刘裕乘胜追击，直到广固，又攻克了广固外围的外城，慕容超聚集众人进入内城据守。刘裕筑造长墙围困他们，墙高三丈，挖了三道地沟，他又好言抚慰接纳投降归附的人士，选拔贤才俊杰，不管是汉人还是夷人，都很高兴。并且，晋军因为夺取了这里储存的粮食，便把从长江、淮河水路运输军粮的工作也全部停止了。
慕容超派遣尚书郎张纲向后秦请求救兵，又赦免了慕容镇，把他请来相见，并谢了罪，请问他还有什么好办法。慕容镇说：“百姓的心事、希望全部维系在您一个人身上，现在陛下亲自指挥大部队前去迎战，结果是战败跑回，不但大臣们的心思难以统一，百姓也都丧失了勇气。我听说秦国自己也有内患没有清除，恐怕没有功夫分出兵力来解救别人。现在我们逃散的士兵回来的还有几万人，应该把国库中的金银布匹全部拿出来激励他们，让他们再去决一死战。如果天命帮助我们，那么这一次一定能击败敌人；如果不这样，那么即使是战死了也是一件美事。这和关起门来坐在这里等死，不也还强出许多吗？”
司徒慕容惠说：“不对，晋军乘胜而来，气势正旺，比原来还要超出百倍，我们用刚刚惨败的士兵去抵挡他们，不也是太难了吗？秦国虽然与郝连勃勃互相僵持，争斗不休，但是也不足以把这当成祸患。况且他们与王猛分别占据中原地区，彼此依傍，形势就像唇齿一样，怎么能够不来救助我们呢？但是，不派出官职重要的大臣去，就请不来更多的援兵，尚书令韩范一直被秦国所重视，应该派他去请援军。”慕容超听从了他的意见，派韩范出使秦国。