文協分裂之前，那些有感於左派勢力日盛的舊幹部，即有另組政治結社的打算。「台政革新會」於5月10日籌組完成，正準備蔡培火向日本當局提出申請登記時，會中即有人建議，認為應改名「台灣民黨」，5月29日「台灣民黨」在台中市召開成立大會。但是5天後，立刻遭日本當局禁止。禁止的理由是，綱領中「期台灣人全體之政治的、經濟的、社會的解放」之中的「台灣人全體」及「解放」等用語有「偏狹的民族主義色彩，形同民族自決主義」，有悖於帝國治台方針，妨礙「內台融和」。因此「台灣民黨」更名為「台灣民眾黨」。日本當局為此開出兩個條件：一、民族主義的字眼要刪去；二、「極端民族主義的蔣渭水」不可參加，如要參加，不可在黨中央擔任支配大局的角色。民眾黨內部即分為「玉碎派」及「瓦全派」，也造成蔣渭水與蔡培火之間的芥蒂，有人稱之為「南火北水，水火不容」。後來經過折衝，採平衡折衷之計，接受第一條件，修改比較強烈的有關民族主義的字眼。1927年7月10日台灣民眾黨正式成立，提出「確立民主政治、建設合理的經濟組織、改除不合理的社會制度」三大綱領。這是台灣歷史上首度出現的具有現代性質的政黨。初期運動路線是調和民族運動和階級運動。民眾黨成立半年後，在全台成立15個支部，黨員遍佈全台，領導反對放領官有地組織台灣拓殖會社、反對許可鴉片吸食政策、反對田中內閣侵華政策、反對日人官吏加俸制度，以及對霧社事件的強烈聲明與反應。但是在1931年台灣民眾黨第四次全體黨員大會進行中，台北警察署長突然出現會場，出示「結社禁止命令」，當場聲明台灣民眾黨業已被取締，命令立刻解散，並同時逮捕蔣渭水等幹部16人(翌日釋放)。總督府提出禁止台灣民眾黨的理由說：「細察民眾黨向來之行動及這次所修改之綱領政策，其目的在於反對總督政治，宣傳階級鬥爭。如此妨害日台融和，違背本島統治大方針之結社，斷難容許。」在總督府「妨害安寧秩序」的大帽子下，台灣民眾黨終於結束3年又7個月的活動。而蔣渭水也在6個月後的8月5日，病逝台北。