公元1094年（宋哲宗绍圣元年），新党章惇被起用为相。章惇握政伊始，即广兴党籍，大肆打击元祐时旧党的在朝之臣，苏轼、黄庭坚等皆遭贬谪，秦观也未能幸免。秦观始由国史院编修贬为杭州通判，途中再贬为监处州（今浙江丽水）酒税。公元1096年（绍圣三年），又被削秩徙放到郴州（今属湖南）。这一连串巨大的打击使得他陷入一种蒙受压抑而不能自拔的浓重悲哀之中。这首《点绛唇·桃源》当作于秦观被贬途中或贬居郴州时。