这支不起眼的小部队誓言推翻桓楚伪政权。当时刘毅、何无忌都是平民百姓，刘裕顶着桓楚政权的建武将军、彭城内史官职，因此刘毅、何无忌就推刘裕为盟主，号召天下反桓。

首义之初，事情繁杂。刘裕急需一位处理事务的主簿，协助自己。刘毅就推荐了刘穆之，说没有比他更合适的人选了。刘穆之是莒县（今属山东）人，出身平民，博览群书，精明能干，做过地方小官，当时正闲居京口。刘裕听说过刘穆之的文才，立刻派人去请。巧了，刘穆之听到城中军队喧闹，出来探望，遇到来请他的使者，就跟着去见刘裕。两人一见，惊喜地发现志同道合，顿生相见恨晚之感。刘穆之欣然同意担任刘裕的主簿，负起了刘裕谋主兼秘书长的角色，一上任就将首义事务处理得井井有条。刘裕十分满意。从此，刘裕和刘穆之开始了“刘备—诸葛亮”般的亲密合作。

二

刘裕整顿完毕后，主动进攻建康。桓玄仓促还宫部署应对。他主要有两个对策。第一是赦免扬、豫、徐、兖、青、冀六州的百姓，收揽人心；第二是任命桓谦为征讨都督，派吴甫之、皇甫敷两人分别率军北上迎战刘裕。

三月，刘裕和吴甫之在江乘遭遇。吴甫之是桓玄的骁将，带领的部队也是百战精兵。这一场仗打得异常惨烈，刘裕手执长刀，大呼着亲身冲入敌阵。在他带领下，起义军奋勇前进，阵斩了吴甫之，击溃了桓玄的一支部队。刘裕进军到罗落桥的时候，皇甫敷率另一支部队数千人恭候迎战了。刘裕和一同起兵的檀凭之分别率领一支部队，冲向敌阵。檀凭之血战阵亡，其众退散。刘裕前后奋击，越战越勇，最后攻破皇甫敷部队，将皇甫敷斩首。起兵之初，刘裕、刘毅、何无忌等共建大谋。有相面高手说，刘裕等人日后会大福大贵，只有檀凭之没有富贵相。刘裕对何无忌等人说：“我等同舟共济，日后命运不会有偏异，有福同享有难同当，檀凭之也不会例外。”因此，大家都不相信那个相面术士的话。如今，檀凭之战死，刘裕在悲痛之余，开始相信术士的预言，对讨桓的胜利充满了信心。

吴甫之、皇甫敷接连被杀，桓玄大惊，召集大臣讨论。一上来，桓玄就问：“朕会失败吗？”曹靖之回答：“如今神怒人怨，臣恐怕前途不妙。”桓玄说：“百姓或许怨恨我，神灵为什么也发怒呢？”曹靖之回答：“您把晋朝宗庙移到江滨，让它漂泊失所；大楚的祭奠，只祭奠了先皇（指桓温），连祖父（指桓彝）都没有祭奠，上天当然要发怒了。”桓玄追问：“那你之前怎么不劝谏我？”曹靖之回答：“您身边的人都奉承您为千古圣君，粉饰现在是尧舜之世，我哪敢多言！”桓玄后悔莫及，又恨又怕。

后悔归后悔，桓玄还得硬着头皮迎战刘裕。他一面找术士诅咒刘裕，一面收拢两万军队，派遣桓谦、何澹之屯东陵，卞范之屯覆舟山西，准备战斗。刘裕推进到覆舟山东，让将士们饱餐一顿后，抛弃余粮，以破釜沉舟之势对桓军发动攻势。他选派年老羸弱的人在蒋山上分张旗帜，然后指挥部队分道进攻。桓军的侦察兵看到后，以为刘裕军队人数众多（其实才几千人马），回去报告桓玄：“裕军四塞，不知多少。”桓玄更担心了，加派庾颐之带领建康城内的精兵增援前线。

决战正式开始，刘裕、刘毅等将领身先士卒，直前冲击。将士人人死战，喊声惊天动地。刘裕见东北风急，就沿途放火焚烧，烟尘张天。建康城内都能听到城外鏖战的声音，看到漫天的烟尘。桓军士气低落，刘裕等人斗志昂扬，结果桓谦等诸军被击溃，纷纷后逃。城内，桓玄集合亲信数千人，扬言要出城与刘裕决一死战，暗地里带着儿子桓升、侄子桓浚等出建康西掖门，到达石头城，坐上事先准备好的小船，向长江上游逃去。

建康落入刘裕手中，周边郡县也纷纷反正。起兵不满一个月，他就成了胜利者。可是更大的麻烦随即而来：推翻了桓玄以后，政权怎么办？建康不能一日无主，起义军和反正的地区不能群龙无主。刘裕的选择很少。他可以自己称王称帝，可是他是以讨伐桓玄篡位起兵的，如今自行登台掌权，和桓玄有何区别？又如何安抚天下？况且，和刘裕合作起兵的刘毅、何无忌等人也不会支持。所以，刘裕还是需要把东晋朝廷的牌子给抬出来，在东晋的旗帜下发号施令。问题在于晋安帝司马德宗已被桓玄软禁在浔阳了，尚在桓玄控制的范围之内。怎么办？刘裕决定找一个皇室成员出来，暂代朝政。

桓玄篡位后，司马皇室的子弟都被桓玄贬居外地了。原来的武陵王司马遵被贬为彭泽侯，被勒令到彭泽（今江西九江彭泽）居住。巧的是，司马遵出发时船坏了，他就在建康逗留了下来。司马遵人既在建康，思想又极端反桓。右将军桓伊曾去拜访他，司马遵说：“我家的门不为桓氏开！”左右劝他：“桓伊虽然姓桓，但和桓温是疏宗，您和他相见无妨。”司马遵说：“我听到别人姓木字边，就想杀了他，更何况他姓桓了！”这样的人，桓玄篡位后没有除掉，是一大疏忽。如今，司马遵成了刘裕搬出来号召天下的理想人选。于是，刘裕等人推举司马遵为大将军，搬入皇宫居住，代行大权。刘裕等人通过司马遵迁转百官，将他所辖的命令称制书。司马遵大赦天下，但是和桓玄同祖的子弟不在赦免行列。