桓玄是东晋最大的实权人物了。朝廷虽然由司马道子、司马元显父子相继专权，但能够管辖的仅仅是江南八郡而已，江北由北府兵刘牢之、豫州刺史司马尚之分割，不仅江南又爆发了孙恩起义，一度失去控制。总之朝廷是四处树敌，捉襟见肘，处置乏力。而桓玄掌握着东晋超过一半的领土（他自称三分天下有其二），募兵征粮，持续自肥。桓玄本就有野心，如今更是大造舆论，说什么“国运转移”，还屡次在辖区内制造祥瑞“进献”给朝廷，名为宣示个人功绩，实为公然示威。

照此发展下去，桓玄迟早要重复其父桓温逼宫篡位的覆辙。长痛不如短痛，元兴元年（402年）正月，血气方刚的司马元显控制朝廷下诏讨伐桓玄。他自任征讨大都督，以刘牢之做前锋都督、征西将军。为了拉拢刘牢之，司马元显剥夺桓玄的江州刺史官职，转授给刘牢之。

桓玄没有想到朝廷这么快就公开讨伐自己。他之前敢高调示威，是觉得扬州饥馑，孙恩未灭，司马元显没有能力讨伐自己。桓玄盘算着趁机蓄力养众，等力量更强大些再和朝廷摊牌。听说司马元显讨伐自己，桓玄一开始感到害怕，想放弃东部郡县，退保大本营江陵。长史卞范之劝他说：“桓公英略威名振于天下，司马元显只是个乳臭未干的小儿，刘牢之是个反复小人。您如果兵临京师，示以威赏，敌人必然土崩瓦解。如今为什么要引敌入境主动示弱呢？”桓玄有了信心，留哥哥桓伟守江陵，召集兵马顺江而下进驻浔阳。到了浔阳，桓玄移檄建康，公布司马元显的罪状，反过来声称要讨伐司马元显。

这回轮到司马元显害怕了。他也就是一时意气用事，没有消灭桓玄的周密计划，也没有想到桓玄如此强硬的态度。他本来已经上了船，大军准备开拔了，看到檄文后迟迟不敢动身。仗还没开打，司马元显就在气势上输了。

那边，桓玄一边顺江而下，一边还在心里打鼓。他怀疑部众敢不敢与朝廷大军作战，会不会取胜。等到了过了浔阳，还没有见到司马元显的一兵一卒，桓玄悬着的心终于落了下来，部队的士气也高涨起来。桓玄兵抵姑孰，派遣部下击破了倾向朝廷的襄城太守司马休之和豫州刺史司马尚之。

司马元显没主意了，派使者向刘牢之询问战事。刘牢之也害怕。他一来担心桓玄威名鼎盛，手下有大批精兵强将，取胜的希望不大；二来，刘牢之担心即便平定桓玄了，自己也会功高震主，必定不能为司马元显所容。所以刘牢之犹豫不决，消极怠工，磨磨蹭蹭地带着北府兵进驻建康西南的溧洲就止步不前了。

桓玄适时地派其族舅何穆来当说客，劝刘牢之说：“高鸟尽，良弓藏；狡兔殚，猎犬烹。文种被勾践逼死，白起被秦始皇杀死，韩信被刘邦杀死，这些都是前车之鉴。那些英雄霸王之主，还不敢信其功臣，况且是愚昧平庸之流！盘古开天地以来，戴震主之威，挟不赏之功，以见容于暗世者，有谁呢？现在你的情况是，战败了则家族不保，战胜了也难逃满门抄斩的命运，你想怎么办？倒不如幡然醒悟，与桓公联手，保有富贵。身与金石等固、名与天壤无穷，比起手足异处、身名俱灭、为天下人耻笑，你选哪个？”刘牢之听了，觉得何穆所言有理，要派使者去向桓玄请降。

外甥何无忌和部将刘裕苦苦劝谏，觉得桓玄不可靠，刘牢之都听不进去。儿子刘敬宣也劝阻说：“今国家衰危，父亲和桓玄是天下最有实力的两个人。桓玄借家族优势，据有全楚，割朝廷三分之二领土，威望已成，父亲恐怕难以与他共存。父亲如果投靠他，只怕董卓之变，将在今矣。”刘牢之怒道：“你说的这些我难道不知道？今日，我是可能打败桓玄；但平定桓玄之后，我又怎么和司马元显相处呢？”最终，刘牢之还是派刘敬宣至桓玄营中请降。

桓玄大喜，热情款待刘敬宣。他接受了刘牢之的投诚，但对北府兵早有处置的意见。那就是要分化、杀戮北府兵，不能让它继续存在。荆州将领们都知道桓玄的心意，在招待刘敬宣的席上莫不相视而笑，笑话刘牢之的愚昧和短视。刘敬宣却被蒙在鼓里。

刘牢之率北府兵投降后，战争实际上已经结束了。桓玄大军沿江而下，进至新亭。司马元显弃船退入建康城中，桓玄军队轻松登陆。司马元显退无可退，硬着头皮整军在宣阳门外列阵迎战。无奈，军心已乱，晋军不战自溃。司马元显匹马逃回城中，身后只有一个谋士跟随。他逃到家里，问父亲司马道子怎么办。司马道子只是对着他哭泣，拿不出任何主意了。很难想象，东晋朝廷竟然被这样两个父子操纵了20年。桓玄兵不血刃进入建康，抓住司马元显，将他和之前被俘的司马尚之一起杀死。司马元显当时才20周岁而已。司马道子被放逐到安成郡，很快就被毒死，也才39岁。

桓玄控制白痴皇帝司马德宗，自任丞相、都督中外诸军事，又派遣家人、亲信占据要津，控制了东晋朝野。