朱元璋少时家贫，居住地一迁再迁，使其不知道三代祖考的确切葬地。因此，为寻找祖茔的地点，颇费了一番周折。
据文献记载,开始时有人告诉朱元璋朱氏的祖茔在朱家巷。为此，朱元璋特命人在朱家巷修筑了万岁山,亲临拜祭。但这新筑的万岁山竟经不住他这一拜,顷刻之间,“分为深涧”,朱元璋重罚言者,认为这不是自己的祖茔所在。
后来,朱元璋经过回忆,想起皇姑孝亲公主(朱元璋二姐)曾说过祖父的坟墓在泗州旧陵嘴一带,但具体位置仍无从查考。所以,当时只能“时向西城濒河凭吊,岁时遣官致祭”。实际上,这种祭礼只是“望祭”而已。
         朱贵是朱元璋的一位同宗人，跟随朱元璋任龙骧卫总旗，因年老回到家乡泗州，便主动担负起寻陵的重任。经过多年的寻访，朱贵不仅把朱元璋祖先的宗谱调查清楚，还弄清了其祖父的确切安葬位置。于是，他把这些细节一一讲给朱元璋听,又画图帖指出朱元璋祖父的居处和葬地,还讲出了有关其祖父母下葬的“灵异”传说。这样,朱元璋才知道自己祖父母的安葬地在泗州城北的杨家墩。于是派皇太子朱标率官营建了祖陵。祖陵的陵寝制度仿自皇陵,有土城、砖城、皇城三道陵垣。内有墓冢、享殿、配殿等各种建筑。石像生的设置也仿制皇陵，但减少了羊、虎两种石兽。