Johannes Leimena lahir di Ambon. Sejak usia lima tahun, ayahnya meninggal dunia. Dia bersekolah di Ambonsche Burgerschool, tempat pamannya menjadi kepala sekolah. Ketika pamannya pindah tugas ke Cimahi pada 1914, dia turut serta. Ibunya tak mengijinkan, dia nekat menyelinap ke dalam kapal.