那年头不像现在，知识分子越是隐居不出，名头越响，政府越要三番五次地请你下山出仕。中央和地方数次征辟，谢安就是不出来，弄得政府很没面子，甚至有官员上奏说既然谢安不想为政府服务，那干脆把他“禁锢终身”得了，以后永不叙用。连谢安的老婆刘氏也数落他说，你叔伯兄弟都升官富贵了，身为大丈夫你难道不应当也那样吗？谢安听了，捏着鼻子道：“恐怕以后也免不了喽！”
果然如谢安自己所言，数年后由于几个兄弟谢尚、谢奕、谢万或者亡故，或者遭贬斥，为家族利益考虑，谢安不得不告别了高卧东山的逍遥生涯，走上了仕进之路。
当时桓、谢两家关系尚好，而谢安的第一份工作就是当桓温的司马。这一年谢安已经四十一岁了。去荆州赴任之前，众位朋友为谢安在新亭送别。大家喝了点酒，开了些半荤半素的玩笑，中丞高崧揶揄谢安道：“你屡违朝旨，高卧东山，众人都互相传说‘安石不肯出，将如苍生何！’现在你可算出山了，天下苍生又该把你如何呢？”谢安微有愧色，笑而不答。
当年王猛走出华山，为前秦建立了不世功勋，而谢安如今也要走下东山，去追寻他的事业了。他笑而不答，因为正如王猛身兼数职不能辞一样，他的肩上也有他的责任。
谢安出山之时，正值桓温权势熏天之日。此后的十余年里桓温打击殷、庾士族，发动第三次北伐，甚至废立皇帝，事件层出不穷，朝局风云变幻，然而史籍中与谢安有关的记载却寥寥可数。这说明，谢安深谙韬晦之道，尽量不去招惹桓温，甚至一度与桓温的关系还不错。但随着桓温对晋室的威逼越来越紧，王、谢等大族成了他必须要扳倒的绊脚石（时人王谢并称，“旧时王谢堂前燕，飞入寻常百姓家”之王谢也）。特别是372年简文帝死后，桓温携兵入朝，已有诛王谢、移晋鼎之心。