五方虽然同属于中国，但是各方人民又有自己的先祖。四方归化之后都受到黄帝部落后裔的统治，并且为他们派来统治者，这些被封或是流放到四方的统治者便成为以后当地人民的先祖。四方先祖的来源大抵如下：“请流共工於幽陵以变北狄，放驩兜於崇山以变南蛮，迁三苗於三危以变西戎，殛鲧於羽山以变东夷。”当然，各民族先祖的来源情况是复杂的，这里仅是诸多说法之一。