南朝宋刘义庆《世说新语·雅量》：“褚公于章安令迁为太尉记室参军。名字已显而位微，人未多识。公东出，乘估客船，送故吏数人，投钱唐亭住。尔时吴兴沈充为县令，当送客过浙江。客出，亭吏驱公移牛屋下……令有酒色，因遥问：‘伧父欲食饼不?姓何等?可共语。’褚因举手答曰：‘河南褚季野。’远近久承公名，令于是大遽，不敢移公，便于牛屋下修刺诣公。更宰杀为馔，具于公前，鞭挞亭吏，欲以谢惭。公与之酌宴，言色无异，状如不觉。”后因以“徙牛屋”指遭到轻视、冷落。宋陆游《书意》诗：“老子那辞徙牛屋，痴人自喜拜车尘。”