《宋史》记载：宋孝宗乾道元年（1165），张孝祥在广南西路经略安抚使任上“治有声绩”，被谗言落职，宋孝宗乾道二年（1166），他从桂林罢官北归，此词正是张孝祥北归途中，在湘江上泛舟时的作品。