《河图纬》载：相传吴王阖闾游禹山，遇灵威丈人入洞庭取禹藏书卷。唐陆广微《吴地记》引《洞庭山记》：“洞庭有二穴，东南入洞，幽邃莫测。昔阖闾使灵威丈人寻洞，秉烛昼夜而行，继七十日，不穷而返。启王曰：‘初入，洞口狭隘，伛偻而入，约数里，忽遇一石室，可高二丈，常垂津液，内有石床枕砚，石几上有素书三卷，持回。’上于阖闾，不识。乃请孔子辨之。孔子曰：‘此夏禹之书，并神仙之事，言大道也。’”一作“龙威丈人”。后以之喻指探幽发秘之人。明袁宏道《玉京洞》诗：“海可通，江可涉，灵威丈人难再得。”