谢玄有经国才略，善于治军。早年为大司马桓温部将。

太元二年、为抵御前秦袭扰，谢安荐谢玄为建武将军、兖州刺史，领广陵相，监江北诸军事。

他招募北来民众中的骁勇之士，组建训练一支精锐部队，号为“北府兵”。

太元四年，率兵击败前秦军的进攻，进号冠军将军，加领徐州刺史。

太元八年，在淝水之战中，任前锋都督，先遣部将刘牢之率部夜袭洛涧，首战告捷；继而抓住战机，计使秦军后撤致乱，乘势猛攻，取得以少胜多的巨大战果。

太元九年，率兵为前锋，乘胜开拓中原，先后收复了今豫南、鲁东、秦西南部等地区。

后因病改任左将军、会稽内史。与吴兴太守张玄之并称“南北二玄”，为时人所称美。

太元十三年卒，时年四十六。追赠车骑将军，开府仪同三司，谥号献武。

谢安从小就聪慧且理解能力强，与堂兄谢朗一同为叔父谢安所器重。谢安曾告诫自己的子侄们，问道：“我们家的子侄并不需要出来参与政事，为什么还要每个人都有才能呢？”一时谁也没有回答上来，这时谢玄答道：“像芝兰玉树一样，而且要让他生在阶前庭院中。”谢安听后非常高兴。

谢安又曾问他，诗经中最喜欢哪句，他回答说是“昔我往矣，杨柳依依；今我来思，雨雪霏霏。”被后世人认为是性情中人。

和叔父谢安不一样，谢玄文武兼备，立志挽救危亡，以图恢复。

他创建的“北府兵”，能征善战，特别能吃苦耐劳，成为东晋最为精锐的武装力量。

在淝水之战中，“北府兵”军阵严整，使秦主望而生畏，可见其强。