「二林蔗農組合」成立後，鳳山、麻豆等地也於同年(1925年)成立地方性的農民組合。1926年6月28日，在簡吉、趙港、黃石順等人奔走主導下，組成全島性的「台灣農民組合」，總部設在高雄鳳山，並將大甲、曾文(即麻豆一帶)、嘉義、虎尾等地組合改為農民組合支部。同年12月，在台中召開第一次全島大會，選舉簡吉、趙港、楊貴(楊逵)等人為中央委員。「台灣農民組合」走馬克思主義路線，支持日本勞動農民黨，呼籲促進工農聯合。全島會員多達24000餘人，支部有23個，是日治時期最大的農運組織。農民組合經常配合分裂後的台灣文化協會進行抗爭活動，並至各地農村巡迴演講。