这封信分为五段，层次、脉络分明。
第一段开门见山，说明绝交的原因，开篇劈头就是“吾直性狭中，多所不堪，偶与足下相知耳”，“足下故不知之”。交友之道，贵在相知。这里如此斩钉截铁地申明与山涛并不相知，明白宣告交往的基础不复存在了。接下去点明写这封信的缘由：“恐足下羞庖人之独割，引尸祝以自助，手荐鸾刀，漫之膻腥，故具为足下陈其可否。”这里“越俎代庖”的典故用得很活。此典出于《庄子·逍遥游》，原是祭师多事，主动取厨师而代之。嵇康信手拈来，变了一个角度，道是厨师拉祭师下水，这就完全改变了这个故事的寓意。嵇康特别强调了一个“羞”字：庖人之引尸祝自助，是因为他内心有愧，因为他干的是残忍、肮脏的事情。他就一下子触到了山涛灵魂中敏感的地方。这个典故用在这里，具有“先声夺人”之妙。行文用典，历来有“死典”、“活典”之别。象嵇康这样，随手拈来，为我所用，便上成功的佳例。至此，与山巨源的基本分歧，明白点出，下面就进一步发挥自己的看法。
第二段，作者高屋建瓴，提出人们相处的原则。文中首先列举出老子、庄周等十一位历史人物，借评论他们的事迹阐发了“循性而动，各附所安”的原则。表面看来，嵇康这里对出仕、归隐两途是无所轩轾的，且以“并介之人”推许山涛，但联系上文一气读下，就不难体味出弦外之音。既然在那样的时局中，做官免不了沾染鲜血，那么出仕者的“本性”如何，自在不言之中了。于是，推许成了辛辣的讽刺。当然，这种讽刺是全然不动声色的，而对方却心中明白、脸上发烧。古人有“绵里针”、“泥中刺”的说法，指的就是这种含蓄的讽刺手法，在阐述了“循性而动”的一般处世原则后，作者笔锋一转：“且延陵高子臧之风，长卿慕相如之节，志气所托，不可夺也。”指出人们根据气节本性选择的人生道路是不可强行改变的。这是承上启下的一笔。
第三段便描述起自己的本性和生活状况来。他写了自己极度懒散的一些生活习惯后，使用了一个比喻：“此由禽鹿，少见驯育，则服从教制；长而见羁，则狂顾顿缨，赴蹈汤火；虽饰以金镳，飨以嘉肴，逾思长林而志在丰草也。”真是形象之极！禽即擒字。作者自比野性未驯之鹿，他对山涛说：不错，出去做官司可以得到“金镳”、“嘉肴”——富贵荣华，但那代价我也是知道的，那要牺牲掉我最宝贵的东西——“逾思长林而志在丰草也”，因此，我宁赴汤蹈火，不要这富贵的圈套。写到这里，不必再作抽象的议论，作者就已把自己的浩然正气，大义凛然的人生态度，以及不与恶势力妥协的立场，生动地描摹出来了。
然而，作者并不肯就此置笔。
第四段，他进而举出阮籍受迫害之事，指出自己与朝廷礼法的矛盾更为尖锐。嵇康把这些矛盾概括成九条，就是很有名的“必不堪者七，甚不可者二”。这九条排比而出，滚滚滔滔，一气贯注，丝毫不容对方有置喙的余地。嵇康自己那种“龙性谁能驯”的傲岸形象也就随之呈现到读者的面前。这“七不堪，二不可”，用我们今天的眼光看，似乎狂得过分一些，而在当时，一则疏狂成风，二则政治斗争使然，所谓“大知似狂”、“不狂不痴，不能成事”，所以并不足怪。在这一大段中，作者渲染出两种生活环境：一种是山涛企图把他拉进去的，那是“官事鞅掌”、“嚣尘臭处，千变百伎”、“鸣声聒耳”、“不得妄动”；一种是他自己向往的，是“抱琴行吟，弋钓草野”、“游山泽，观鱼鸟”。相形之下，孰浊孰清，不言而喻。至此，已把作者自己的生活旨趣及拒不合作的态度讲得淋漓尽致了。特别是“非汤武而薄周孔”一条，等于是和名教，以及以名教为统治工具的司马氏集团的决裂宣言。这一条后来便成了他杀身的重要原因。
下面一段转而谈对方，以交友之道责之。在列举了古今四位贤人“真相知”、“识其天性，因而济之”之后，作者使用了欲抑先扬的手法。他讲：这个道理只有通达的人才能理解，当然您是明白的了。初看起来，是以“达者”相许，然而下面随即来了一个大的转折：“不可自见好章甫，强越人以文冕也；已嗜臭腐，养鸳雏以死鼠也。”这简直就是指着鼻子在骂山涛了：我原以为你是够朋友的“达者”，谁知道你却象那强迫越人戴花帽子的蠢家伙，象那专吃臭尸烂肉的猫头鹰一样。这两句话骂得真够痛快，正是嵇康“刚肠疾恶”本色的表现。如果说开篇处的讽刺还是绵中之针的话，这里则是针锋相对了。由此可以想见作者命笔之际，愤激愈增的心情。
最后，作者谈了日后的打算，表示要“离事自全，以保余年”。这一段锋芒稍敛。因为他是一时风云际会的领袖人物，是司马氏猜忌的对象，故不得不作韬晦的姿态。但态度仍坚定不移：“一旦迫之，必发其狂疾，自非重怨，不至于此也。”可说是宁死不合作了。而对山涛鄙夷之情，犹有未尽，故终篇处又刺他一笔：野人有以晒背为快乐，以芹子为美昧的，想献给君王，虽然一片诚意，但也太不懂事理了，“愿足下勿似之”。又是不动声色，而揶揄之意尽出。
刘禹锡说：“八音与政通，文章与时高下。”《与山巨源绝交书》正是魏晋之际政治、思想潮流的一面镜子。《绝交书》直观地看，是嵇康一份全面的自我表白，既写出了他“越名教而任自然”，放纵情性、不受拘羁的生活方式，又表现出他傲岸、倔强的个性。然而，《绝交书》的认识意义并不止于此。一方面，我们可以从嵇康愤激的言词中体会到当时黑暗、险恶的政治氛围；另一方面，嵇康是“竹林七贤”的领袖，在士人中有着很高的威望和相当大的影响，因此，《绝交书》中描写的生活旨趣和精神状态都有一定的代表性，部分反映出当时社会风貌和思想潮流。