由於人民在租稅、賦役苛重，無法負擔的情況下，開始捨棄口分田逃亡，選擇在他鄉的豪族與富農下作事。儘管朝廷嚴禁違法藏匿逃亡者，甚至於希望將逃亡的人能夠重新納入戶中，以便課稅；但是接納逃亡者為了自己的利益，當然儘量加以藏匿，以免課賦，最後逃亡者逐漸成為接納者的奴隸。而高官、貴族、大寺社，亦爭相占有林野，並且匿田以為己有，使得原本一切土地為天皇所有（「公地」），人民由天皇設官統治（公民）的律令體制逐漸瓦解。於是變成由貴族、地方豪族、寺社、富農等有權有勢者，控制了原先朝廷所擁有的土地與廣大的未墾地，而形成土地私有的「莊園制度」。由於「公地公民制度」不能有效實施，使得原本規劃的徵兵制也因此無法順利施行，而改為以富農與豪族子弟為兵的選任制。又由於皇族與貴族在不斷爭戰之中，逐漸喪失其對所領有的土地直接控制權力，使得朝廷失去了統制地方豪族的力量。面對社會失序，盜賊橫行，地方上的社會結構因而有了新的發展。莊園因為在政治上脫離了中央政府的控制，為了自保便開始武裝，大莊園的首長，也逐漸成為其他小莊園所依附的對象，成為地方上的大武家。而原先皇族與貴族所領有的土地，同樣為了自保而擁有武力，形成另外一種形式的莊園，這些莊園的首長同樣也變成武家。全國因而形成中央為皇族與貴族，地方為武家所實際掌握的情形。