魏武帝曹操有《苦寒行》，又名《北上篇》，概取诗首句“北上太行山”首二字“北上”名篇。李白此诗盖取曹诗之旨，写安史之乱爆发后北方备受叛军蹂躏的苦难状况。全诗格调低沉、苍凉，极富感染力。

此诗以巧妙的设问开篇：“北上何所苦？”为找到答案，诗人以沉痛的心情审视难民们绕行的太行山：“北上缘太行”，找到这因自然环境而致的第一个原因：“磴道盘且峻，巉岩凌穹苍。马足蹶侧石，车轮摧高冈。”山高路陡，车马难行。随即又放眼广阔的政治背景：“沙尘接幽州，烽火连苍方。杀气毒剑戟，严风裂衣裳。奔鲸夹黄河，凿齿屯洛阳。”诗人找到了迫使人们迁徙的战乱这一社会问题，是为另一个原因。虽然明了“何所苦”的原因，诗人却无力为他们排解，只能以更加沉痛的笔触描绘那悲惨的情景。从“前行无归日”到“饥饮零露浆”十二句，诗人描述了“北上行”人们的惨状。接着“叹此北上苦，停骖为之伤。”诗人发出了长叹，停下马车，不忍再看，仰天狂呼：“何日王道平，开颜睹天光？”

这首诗笔触极为细致，追本溯源，刨根究底，描绘灾民图时由环境而哭声，由哭声而身体，由身体而行动，莫不穷形尽相，给人以极深的印象。此时诗人对月挥杯的飘逸、抽刀断水的豪迈，统统不见了，代之而起的是两眼含泪的悲哀与深切的同情。