自赵汝愚病死衡州以后，知州钱伯仁的日子就开始难过起来，那日晚上，他是出口伤人，看似自己出气了。第二天，赵汝愚抱病而亡，他的噩运也开始了。

各地有正义感的官员和读书人，都在谴责他落井下石，甚至许多人说，赵汝愚是他下毒害死的。他百口莫辩，成为众人唾弃的小人。刚好第二年，他任职到期，回京述职，而后，吏部请示如何安排，所有宰执人员均一言不发，只得授个宫官，再无其他差遣，失望的他只能回乡泉州闲居。

彭自寿到湖南后，不足一年，接到朝廷制书，令他以龙图阁待制之衔出任衡州知州。

衡州，即如今的湖南省衡阳市。因地处南岳衡山之南而得名，又因“北雁南飞，至此歇翅停回”而雅称雁城。

一贬再贬，彭自寿吟诵范仲淹那首《渔家傲·秋思》

塞下秋来风景异，衡阳雁去无留意。

四面边声连角起，千嶂里，长烟落日孤城闭。

浊酒一杯家万里，燕然未勒归无计。

羌管悠悠霜满地，人不寐，将军白发征夫泪。

逐渐冷静下来，既来之，则安之，尽人事，听天命。到任后不久，就发现这衡州存在的问题：城池破旧，市场萧条，衙役做事拖沓，积案较多，牢房中人满为患。

他令长史带领几个官吏，对近五年来案卷进行整理。已定案无疑点的案卷归为一类，装订归档；定案有疑问的，案情重大而没有审定的，找出疑点，以便重新审理；对那些情节较轻的民事纠纷，重新审理，教育处罚后，将当事嫌疑人释放回家，结果67人受到从轻处理，重见天日。

同时，官府着力改造城市环境，制定安商招商政策，规定：不论本地，还是外地的商人，来衡州做生意，一律免税一年，第二、三年税赋减半。又领司马参军组织人马，维修破损的城墙，道路、疏通护城河。