民國四年《重修蒙城縣志》記載：土山在縣北十里，五丈，周一里六十步。土多石少，故呼為土山。
而據(jù)傳說，土山本名梁山。山雖不大，但山上的石材很好，可作棟梁。而且石頭裸露于外，山上的土并不多。后來山上的土為什么多了呢？
這事與“金頭御史”何惟儆有關(guān)。
有一年，北京城大建宮殿，打算征用土山的石材。
何惟儆心想，開山，采石，雕鑿，運(yùn)輸，千里迢迢，困難重重。如此沉重的負(fù)擔(dān)，家鄉(xiāng)的人民如何承受得了！于是他趕緊派人回蒙城說明利害，讓人趕快抬土封山，把石頭全部埋在黃土之下。之后，他對(duì)工部說，蒙城的梁山，實(shí)為小小土丘，根本沒有美石。工部派人來查看，果然如此，就不再征用梁山石材。
家鄉(xiāng)人民免除了苛重的勞役之苦。從此，梁山也就成了土山，也有人把它叫做梁土山。