公元239年，魏明帝曹睿去世，大将军曹爽掌握了实权。为了充实政权班底，他征召年轻有为的羊祜与王沈一起到中央政府任职，王沈闻召即高高兴兴地前去就任了，而羊祜仍然辞不赴命，尽管王沈反复相劝，羊祜就是不为所动。后来，大权独揽的司马昭又征召羊祜到朝廷为官，羊祜依旧退避三舍。最后，朝廷只好下诏，命令他必须遵旨去做中书侍郎，羊祜这才接受任命。

　 司马炎称帝后，羊祜因功晋爵为郡公，食邑三千户。当时，王佑、贾充、裴秀等人均为资深位显的前朝重臣，羊祜对他们一直敬重有加，不想因为这些身外之物掩去他们的光辉，因此坚决地辞让这些封赏。他的言辞非常恳切：“昔张良请受留万户，汉祖不夺其志。臣受钜平于先帝，敢辱重爵，以速官谤。”司马皇帝被他的高古和诚恳深深地感动了，别人都不择手段为自己加官晋爵，而他却执意为自己退官，尽管心里不情愿，但还是不忍拂了他谦退的美意，只好给他降一级，封他为侯爵。按照制度规定，享有侯爵，即可开府置署，选官任僚，举荐私门。可他一直到死，也没有征召举用过一名僚属。

羊祜一生中，晋升过多次，但每次都是这样诚恳地婉拒、辞谢和退让。而有的时候，羊祜却又特立独行勇往直前得令人瞠目。
　　 公元249年，司马懿夺取军政大权，并诛杀曹氏集团的代表人物曹爽，与之相关的很多人也同时受到株连。羊祜的岳父夏侯霸害怕遭到杀戮，就投降了刘禅的蜀国。这可是叛国之罪啊!司马懿怎么处置都不过分。亲戚故旧们都知道其中的利害，再也不敢上门，唯恐受到牵连而惹祸上身。只有羊祜，不但没有这样做，反而比以往去得更勤，关心得更多，温言软语安慰他的家属，无微不至照顾他的亲人，唯恐落难的夏侯家遭到不测。
　　 公元277年，东吴侵入西晋边界，掠走弋阳、江夏等地大量人口。这要换成任何人，都要兴师动众反击东吴的挑衅行径。因为这其中有诸多好处，更有大块文章可做，它一可建军功，二可堵百姓的嘴，更重要的是堵朝廷中那些专事吹求的百官的嘴。哪怕吃亏了，也要派兵啊!羊祜岂能不知这些。可是，经过慎重考虑之后，他却没有派出一兵一卒。事后，武帝果然在一些好事之臣的鼓噪下派人追查原因，搞不好，就会面临降职或是更为严重的处罚。羊祜对此早有思想准备，他坦然地回答说，江夏距离襄阳这里有八百多里地，等到得知东吴犯境侵扰这个消息，敌兵早已走了多时了。这时候出兵，连敌人的影子都见不着，怎能将百姓救下呢？为了逃避责任而让将士们毫无意义的千里奔波，这纯粹就是削弱自己，而于敌人又有何妨碍呢？这恐怕不是负责任的主帅应该做的。朝廷在搞清楚事情的真相后，认可了羊祜的处置。

　 长期领兵在外，最忌朝中出问题，历史上这样的例子太多了。因此，为了自保，大都想尽办法，“京信常通，炭敬常丰”，努力维护好与朝中的大臣，特别是得宠的权臣的关系，甚至为此不惜去百姓那里刮地皮。可是羊祜是个正直清廉，毫无私念的人，这些东西他不会做，也做不来，看见邪门歪道就来气，以至荀勖、冯紞等人十分忌恨，常常在皇帝面前诋毁他。可羊祜丝毫也不为自己着想，只知谋国，不知谋身。王衍在朝中也有一定影响，而且还是他的叔伯外甥，曾经专门来襄阳见他，这不正好是个表现自己如何为国如何忠诚，顺便与王衍大人拉近关系的大好机会吗？可是这个王衍是个夸夸其谈的家伙，根本不对羊祜的胃口，羊祜甚至评价说：“王夷甫方以盛名处大位，然败俗伤化，必此人也。”结果，惹得王衍拂袖而去，这样羊祜又增加了一个在皇帝面前告状的对手。

公元278年，羊祜病逝。朝野闻之，无不大恸。据载，晋武帝披麻戴孝扶棺痛哭，泪水在脸上都结了冰。荆襄各地，一片哭声。东吴的戍边将士，也都暗中垂泪。羊祜生前，喜游岘山，襄阳各界便在山上为他建庙和立碑，按时祭祀。每逢来到此处，都忍不住失声落泪，后人遂把此碑称为“堕泪碑”。荆州人为了避羊祜的名讳，还把房屋的“户”都改叫“门”。

羊祜曾经对自己的儿子说过这样的话：“人臣树私则背公，是大惑也。”在给堂弟羊琇的信中他这样说：“疏广是吾师也”。应该说，这就是他的肺腑之言，他的一生也正是这样做的。可以说，羊祜的“不合时宜”，为的都是国，都是民，而唯独没有他自己。正因为如此，他死后才会那么深入人心、那么让人怀念。