根據口語傳說，賽夏族的主要發祥地原本是在大霸尖山附近：「由於洪水氾濫變為汪洋一片，僅存的一個人躲進織布機的木筒裡，漂到大霸尖山。當時大霸尖山住著一位造物者，他撿起這個人，把人切成小塊丟進水裡。這時，肉變成賽夏族，骨變成泰雅族，內臟變成漢人」。後來祖先自大霸山山麓移至大湖及苗栗一帶，其後又繼續南移，經過族群的擴散和遷移，如今賽夏族的分佈地區約在新竹苗栗兩縣交界的山區，和泰雅族毗鄰而居，並以鵝公髻山和橫平背山的脊線，分為南賽夏與北賽夏兩群。族人分佈以苗栗縣南庄鄉最多，主要在東河、蓬萊、南江三村。其次為新竹縣五峰鄉，新竹縣竹東鎮亦有賽夏族人。賽夏深受泰雅族影響，也有紋面習俗，是父系社會，以矮靈祭聞名。賽夏族的社會運作，除了有地域性的部落組織之外，更重要的是父系氏族組織。由於賽夏族的社會是典型的父系社會，因此以共同父系祖先為主軸，所形成的血緣團體，是最基本的社會單位。通常，聚居在鄰近地區有直接父系血緣關係的家戶，形成部落內一起舉行「祖靈祭」的祭團，這也是共同開墾、築屋、共組獵隊等最基本的實際行動單位。這些直接血緣團體，透過「姓氏」概念的分類整合，又組成具有傳說血緣關係的父系氏族，成為跨部落的社群單位。賽夏族人的姓氏很特殊，以動物、植物、自然現象作為氏族的圖騰，並加以應用在漢姓上面。如「風」姓的族人相傳他們的祖先是風的後代。「日」姓的族人是神話傳說中射日英雄的後代。「芎」姓則為住在長滿九芎樹林的人。同「姓氏」的氏族群，具有外婚限制、司祭權承襲、和身份認同等重要意義。賽夏社會，就是經過這種嚴密的父系氏族組織，與零星鬆散的地域聚落組織的共同運作，交織形成部落內與跨部落間的結合基礎。