第一自然段为第一部分，介绍汉代二疏年老辞位的典故，处处为后文的对照设伏。疏氏权侄的事迹无疑是很多的，但作者只突出了两点：一是年老及时告退；二是其行动得到了人们的充分理解和肯定，不仅送行场面热烈，连路旁的观众也共盲其贤，汉史既传其事，后世工画者又图其迹，所以至今照人耳目。

第二、三、四自然段为第二部分，从与二疏对比的角度写杨君告老归乡。先肯定其同，再展示其异。杨君和二疏一样，也是年满七十，即主动求归，这是二者相同之处。作者首先肯定其同，不仅是为了提高杨君的地位，突出他归乡的意义，而且也是为了批驳“古今人不相及”这个当时颇为流行的错误观点。作者是一个儒家道统论者，并以道统的继承者自居，到处鼓吹先圣先王之道。他认为七十而致仕，归老乡里，这也是儒家道统的一种表现。杨君与二在这方面的一致，正好说明儒家道统可以继承，是对“古今人不相及”这个观点的最好驳斥。杨君告老归乡的行为既然可以和二疏媲美，那么他就应该得到人们同样的理解和赞扬，可实际情况却完全两样。杨君去时，既没有看到热烈的送行场面，也没有听到发自内心的赞扬，史既不传其事，图其迹的画当然就更谈不上了。丞相虽有爱惜之心，告之于朝，为其邑少尹，不绝其禄，又为歌诗以动之，京师的诗友，也相属而和，这些似乎可以减少一点冷落。但是，他们诗歌的主旨都落在那个“劝”字上。无非是动其继续为官，不归其乡罢了。可见他们都为“以官为家”的时尚所束缚，并没有真正了解杨君的志趣，没有真正理解杨君此行的意义，他们并不是杨君真正的知音。正因为如此，所以作者在篇末才发出出了那么深沉的感叹。

最后一段第三部分，直接摹写杨君的归乡情趣，点明杨君告老归乡的意义。这段文字不长，但内容丰富。作者先用“中世士大夫以官为家，罢则无所于归”的不良现象作反衬，意在突出杨君告老归乡的意义。这儿的“中世”应该理解为中世以来，而且主要是影射当时的官场。有人说，不去其乡，这在唐代属“本等之常事”。就科举制度而言，年老致仕归乡，应该是本等常事，但中国的官场历来都是原则归原则，行动归行动。像杨巨源这样按例归乡的官员很可能还是凤毛麟角。唯其稀少，才觉得珍贵，唯其稀少，才值得大力提倡。作者之所以如此热心地宣扬杨君的事迹，其用意大概就在此吧。接着作者又补写一句杨君初出仕的情景，说他是刚成年就离开了家乡，这可能是为了突出他对故乡的深厚感情。最后，作品以深沉的感慨作结“古之所谓‘乡先生没而可祭于社’者，其在斯人欤！其在斯人欤！”这是对杨君的高度赞扬，也是对世风日下的无穷感叹。

文中把杨辞职归乡的情景跟历史上有名的二疏具体进行比较，从而突出了杨巨源思想品德之美。写作注意前后照应，富于变化，并且反复咏叹，言婉情深，作者的思想感情灼然可见。