明 谢时臣《寒山万木图》（局部）广东省博物馆藏

也正因谢时臣不趋时习，大胆突破画派畦径，所以不仅吸引豪富权贵争相求画，同时也遭到了蔑视和非难。尤其是那些崇尚吴门趣味，为文人画家张目的鉴赏家对于谢时臣的折衷主义和鬻画行为成见颇深，甚至直接批评谢画“笔墨皆浊，俗品也。杭州三司请去作画，酬以重价，此亦逐臭之夫耳。”“仙者，岂是为利邪？”

见好友被乡人所矮，仗义执言的徐渭为其不平道：“吴中画多惜墨，谢老用墨颇侈，其乡讶之，观场而矮者相附和……不知画病不病，不在墨重与轻，在生动与不生动耳。”反驳嘲讽者不懂评赏画作的精要，盲目偏执笔墨浓淡，跟风附和。

面对直言相讥，谢时臣内心当然介怀，特别是在他仕进无望之后，尺缣槠墨就成了他告慰浮生的精神依赖。可即便心有不悦，他也只是回了句“吾未能辟谷轻举于尘埃之表，则亦恶免以此易彼，自濡其身乎？”生于人世间的凡俗很难像传说里的神仙一样不食五谷杂粮，孤介绝尘于天地之间，为王侯贵胄作画也绝非攀求宠利，但争论这些又有什么意义？