因为榆树的树干高大，可以用来辨别方位或位置，所以古时候会将去世的亲人安置在榆树旁边，以此来分辨其埋葬之处，也出现了榆树根部穿透棺材继续生长的情况。久而久之，古人就将其认为是鬼树。

除了榆树之外，还有桑树、柳树、杨树，它们被并称为“四大鬼树”，与树木本身并没有直接联系，主要是根据文化、树的名字或所在位置有关，被人们赋予不一样的含义。

民间流传一句民谣中曾提到“前不栽桑，后不栽柳，院中不栽鬼拍手”。

“前不栽桑”：主要因为桑树的“桑”字与“丧”同音，寓意不太好。

“后不栽柳”：主要是因为民间办丧事时，会用到柳木作为如“丧棍子”等丧事用品的用材。为了避免寓意不吉利，所以不会在后院种植柳树。

“院中不栽鬼拍手”：这里是指的“杨树”。因为它的叶片较大且密，只要风一刮，就会发出较大的响声，尤其在夜间就像“拍手声”，故得此名。