宋神宗时，彭汝砺官至宝文阁直学士，他的四世孙彭大雅，公元1240年（嘉熙四年）出使北方，卒后追谥忠烈。白石回到故乡，秋日登上彭氏小楼，感叹自己飘零的身世，忆念远方的亲人，写下《忆王孙·番阳彭氏小楼作》。这首词作年不可考，从“长与行云共一舟”、“零落江南”的词意看，大约作于姜夔的中晚年。