这还了得，朝臣们亦惊慌，自有大臣上疏，劝皇上赶紧收手不要设立西厂了，天怒人怨啊，内阁大学士商辂与万安、刘诩、刘吉联合上奏道：“汪直、韦瑛十二罪说：汪直、韦瑛之辈专刑杀，擅作威福，肆虐善良，以致士大夫不安其职，商贾不安于途，庶民不安于业。”

朱见深见到奏文反而大怒，命司礼监太监怀恩、覃昌、黄高至内阁，传旨质问商辂等人，追究主使上奏本的人。

商辂是个直脾气，又有文人的“一根筋”，说这是大家要为国除害，指出朝臣不论职位高低，有罪都应请准圣旨，才能逮捕审问，而汪直却擅自逮问三品以上京官并抄没家产，大同、宣府均为边关重镇，守官不能一刻空缺，汪直擅自逮捕留守大臣，还经常更换皇帝身边的近侍，所以如果不去汪直，天下就不能安稳。正因为天怒之，触发了陕西宁夏卫发生地动，还不说明其罪么。

其后兵部尚书项忠亦倡九卿联合上奏弹劾汪直，自从汪直掌权，士大夫不安心于他们的职守，商人不安心于经商，老百姓不安心于生产，如不赶快除去，天下安危就不可知了。朱见深一看不好了，犯众怒了迫不得已，只得撤了西厂，宣布汪直罪行，令其仍归御马监，调韦瑛至边卫，西厂诸旗校调回锦衣卫，天下大悦。

西厂虽然撤了，可汪直仍然为朱见深所宠任，伺机对朱见深说，商辂等弹劾的奏疏是司礼监太监黄赐、陈祖生出的主意，随即朱见深因此把黄赐、陈祖生外放到南京司香。可见朱见深是多么地昏庸无能了。事情从二月设立西厂起，到现在五月罢西厂，短短只存在三个月，可这场风波表面上看起来是文官战胜了“皇权”，不想西厂虽罢，汪直受重用如故，朱见深仍密令其出外敕事。

事情到了这一步，可能大家以为也因告一段落了，不想适有南京监察御史戴缙九年秩满，但未得到升迁，于是便极力讨好皇上和汪直。

既然皇上很怕天灾异象，那就假借天有灾异上疏说：近年以来灾异不断，敕谕廷臣修省，未闻大臣进何贤，退何不肖，亦未闻群臣祛何稗政，效何嘉猷。