但今年的东林党争，却不免把他牵扯进去。东林党无法让李三才入阁，便又看中了在士林之中颇有声望的王图。

他们塑造起想让王图入阁的言论，立刻引得三党反击。王图和负责京察的孙丕杨都是陕西同乡，王图的兄弟王国、孙丕杨的同乡孙瑭也在朝为官，三党便指责王图和孙丕杨为“秦党”，接着造谣孙丕杨和王图把持京察，宣传“欲去富平（孙丕杨的老家），先去耀州（王图的老家）”。

王图挡住了流言的攻击，反对者更是无所不用其极，直接造谣王图的儿子“贪污巨万”。

万历皇帝就此事派人调查，发现完全子虚乌有。

王图家很有钱，早就积累够了，没必要贪污坏名声。

且王图的儿子也就是个县令而已，到任以来经手的经费都没有一万两，咋能贪污巨万

其实是因为王图兄弟在京城中节俭出名，三党造不了他的谣言，便把罪名罗织到在外当官的王图儿子身上。

身负这样的指责，加上东林党在京察之中失势，眼看王图接下去的官会越来越难做。

现在隔三差五就有人上疏污蔑他，王图真的是对官场寒心了。

后来在天启初年，东林党因为拥立之功大量被启用，凭借王图的地位，只要他愿意出山，定然是被重用。但他却一直等到天启三年，在各方劝说之下才愿意出来做官。

转年遭到魏忠贤弹劾，王图立刻就回家。

王图悲观的道：

“古人言以史为鉴，可以知兴替。”

“然而又真正有几人能够以史为鉴”

王文龙摇了摇头，笑着说：“那是因为过去人读历史的方法不正确。”

“他们只以为以史为鉴，就是学习古代发生的事情，学习古人的做事办法。”

“然而时移世易，古代的方法放到现在怎么能够实行”

“真正以史为鉴的办法，应该是参考过去发展的事情，总结出事物发展的客观规律，以此判断未来将要发生之事的走向。”

“我的这本《中国历代政治得失》就是以此目的而写。”