1857年5月24日，後藤新平出生於今日本的岩手縣水澤市，祖先是源賴朝為經略東北而設置的留守官，歷代祖先皆為留守官，父親實崇是水澤藩主身邊的雜役。後藤新平的堂祖父是有名的高野長英，高野17歲時到江戶學習西醫內科，22歲又到長崎隨德國醫生希保爾特(SieboldPhilip Franz Von)學習醫術，在希保爾特門下學習三年，不但精通醫理，更因而擴展視野，相當注意國內政治和社會的發展。1828年，希保爾特醫生把一份日本地圖送出國外，引來幕府的鎮壓，許多人遭受株連，高野長英躲過這次的迫害事件隱居鄉間，在江戶開業授徒，並且譯述《醫學樞要》、《居家備用》、《聞見漫錄》等書，建立日本近代的科學體系。同時，高野長英還結合渡邊崋山、小關三英等人成立「尚齒會」，研究西洋學問，志在救國救民。1838年秋天，高野長英因撰寫《戊戌夢物語》，批評幕府不顧人民的生活而遭到鎮壓，幕府逮捕高野長英、渡邊崋山等人，高野長英後來雖然越獄逃亡，卻因不堪逃亡的生活而自殺。因與高野長英的關係，後藤新平從小就被嘲笑是「叛徒的孩子」，但高野長英前衛的言行，則影響後藤新平關心國事和西洋文明的傾向。後藤新平從小就對政治充滿興趣，夢想有朝一日成夠成為大臣或參議，但是家裡實在貧困，學費必須仰賴資助。他雖然對當醫生沒有興趣，1873年，還是接受恩人阿川裕的勸說，進入福島縣須賀川醫學校，接受三年的醫學教育。後藤新平希望自己能夠像堂祖父高野長英那樣精通西洋學問，因此就讀醫學校時，即不斷地苦讀物理、化學及解析幾何學等近代科學，逐漸產生興趣。1876年8月，後藤新平到名古屋的愛知病院擔任醫生，名古屋是一個人文薈萃的都市，愛知醫院附屬醫學校不僅有奧國醫師羅倫茲，還有名醫兼翻譯家司馬凌海。後藤新平到名古屋之後，在司馬凌海的家墊唸書，一面勤學德文，一面為司馬凌海的口述作筆記。當時司馬凌海接受警視廳的委託，翻譯衛生警察和法醫學方面的著作，後藤新平也深受影響，開始關心國家衛生行政的問題。1877年2月，日本國內爆發西南戰爭，醫生都到大阪陸軍野戰醫院工作，後藤新平經由羅倫茲推薦抵達大阪，進入石黑忠?的野戰醫院當外科醫生。石黑忠?是日本近代軍醫制度的創立者，門生弟子滿天下，因為這樣的契機，後來石黑忠?在內務省當官時，便極力推薦後藤新平出任公職，讓他從一個小醫生躍升為中央機關的官僚。1877年11月，後藤新平回到名古屋的鎮台病院，1878年再度回愛知病院，一年後，後藤新平升為醫學校校長兼代理醫院院長，1881年正式擔任院長的職務，這時候他才24歲。在代理院長時期，後藤新平推動醫院行政革新，醫院和學校的業務令人耳目一新。但是他並不以此為滿足，受到外籍醫生羅倫茲的影響，後藤新平持續關心預防工作的問題，1878年，他就向愛知縣知事提出「設立健康警察醫官的建言」，後來，寫成《關於愛知縣設立衛生警察之概略》，呈給內務省衛生局長長與專齋；同時，他也集結有識之士，成立關心衛生的「愛眾社」，長與局長相當重視這位年輕院長的建議，加上石黑忠?的大力推薦，後藤新平得以發揮所長進入衛生局服務。