祖廖爽公，字可挹，号西楼，五代后梁仕楚，授衡州太守，遂家于衡。拜丞相，进爵南阳郡开国侯，食邑衡山，为衡山廖氏始祖。十子，长子匡图，为楚天策府学士，有文集十卷。五世瑞公，由衡山迁江西。又传八世至思政公，字魁三，明洪武2年（1369）由江西吉安府泰和县圳上复回衡山，卜居龙溪一都， 爽生凝，原籍江西泰和县，仕南唐，为都昌令，秩满挂冠归老衡岳。凝公生三子，长秉乾卜居耒阳，为耒阳廖氏始祖；次子秉坤，卜居永兴。秉乾子孙繁衍四乡，如夏塘、长岭、石准、春光铺、双洲、芭蕉、黄岗等地。

爽公六世至理安，居江西泰和，再六世至淇惠迁长沙城南，淇惠曾孙城景又迁宁乡县横田。城景第三子万仪，字鸿达，一字容观，元末迁居安化丰乐乡大屋村（今属涟源市）双陂，而后分析大屋村等地。至1949年，已传24代，男女丁口9500余人。宗祠设在大屋村，支祠数处。