吕夷简弄权，朝廷上下皆知，但却无可奈何。这不是因为吕夷简跟以前的丁谓一样手段毒辣，顺我者昌，逆我者亡，他也没有把持言路，朝政运作完全正常。说到底，是因为吕夷简没有把柄被人抓住，对他无从下手。
李迪为相的时候曾经吃过这个亏，以为抓住了吕夷简的把柄，结果帝前对质，查到最后事情却都是李迪做的。有这样的结果，固然是因为李迪性子粗疏，对自己处理过哪些政务在什么文件上签字画押过没有印象，但也不能忽视吕夷简对政事堂衙门的把持。与其他高官不同，吕夷简很注意对衙门里做事的关键位置上的公吏的拉拢，对有些公吏，甚至下的功夫不亚于重要官员。阎王好见，小鬼难当，在公文繁杂的宋朝各衙门，这些地位不高的公吏起的作用有时候出乎人的想象。你以为吕夷简做了什么事情必定会留下证据，实际上真正去查却什么都没有，就连关键的证人都找不到。
正是因为无可奈何，范仲淹最终选择了上《百官图》。上次对阎文应，范仲淹已经置生死于度外一次，连身后事都跟长子交待过了，这次更是铁了心要把吕夷简拉下来。
自真宗朝起官员的升迁便深受磨勘法的制约，从什么职位到什么职位，一切都有例可循。比如徐平任三司盐铁副使，下一次任职便就要么平调，任户部和度支副使，因为盐铁是三司之首，就有了贬谪的意味。要么就调离三司衙门，不能直升三司使。其他的职位也大多与些类似，从什么差遣升到什么差遣，都是有规矩的。
有了规矩便就有例外，总有一部分官员因为各种原因为不按照规矩升迁，或者因为政绩，或者因为能力，或者因为才学，甚至仅仅因为有一个好名声。便就如徐平，有了邕州的政绩，官职的晋升便就如坐了火箭一般，飞速提拔。
范仲淹的《百官图》便就是按照这个原则来的，利用这几年在京城为官的机会，把所有京朝官的升迁都整理出来，画成图表。哪些官员越次升迁是有原因的，哪些官员虽然有理由但理由是站不住脚的，哪些官员升迁是根本没有道理的。而后两类，恰巧与公认的吕夷简一派的人相吻合，以此来证明吕夷简把持朝政，按插自己人。
这是倒吕一派所能抓住的吕夷简最明显的把柄，是他们的最后一击，范仲淹甚至已经做好了不成功便成仁的准备。他的百官图甚至还借鉴了徐平在盐铁司做经济数据图表的经难，极尽详细，条理清楚，让人一看就懂。
范仲淹入朝堂是由晏殊举荐的，两人私交也非常好，一听说他做出这种事来，晏