Nació en la Ciudad de Guatemala, el 27 de diciembre de 1922. Hijo de Manuel y Laura, quienes tuvieron cuatro hijos, Juan era el segundo.
A los doce años, insistió firmemente en que quería entrar al Seminario para ser sacerdote. Fue admitido en el Seminario Menor y siguió el camino de la formación para ser sacerdote sin interrupciones. Juan Gerardi terminó los estudios de filosofía en el Seminario de Guatemala y con una beca que le otorgaron, finalizó sus estudios de teología en el seminario diocesano de New Orleans, Estados Unidos.
Su ordenación sacerdotal tuvo lugar en la Catedral Metropolitana de Guatemala el 21 de diciembre de 1946. Los siguientes 20 años, el sacerdote Juan Gerardi conoció más el campo, la pobreza, la vida de los indígenas y la gente pobre, porque sirvió como párroco en lugares del interior del país como Mataquescuintla, Tecpán, Patzicia, San Pedro Sacatepéquez y Palencia. Luego sirvió en la Ciudad de Guatemala en Santa Clara, El Sagrario y Candelaria. Fue canciller de la curia y Provicario General, primero con Monseñor Rosell y luego con Monseñor Casariego.
Electo Obispo de La Verapaz el 9 de mayo de 1967; su ordenación episcopal fue el 30 de julio de 1967 y tomó posesión el 11 de agosto del mismo año. Encontró en La Verapaz una diócesis bastante pobre, con poca estructura y poca vida. Monseñor Gerardi decidió que su prioridad era trabajar con los indígenas y organizó por primera vez en aquella diócesis cursillos para catequistas, el movimiento de los Delegados de la Palabra de Dios y la Pastoral Indígena y junto a los agentes de pastoral organizaron la liturgia en lengua Q'eqchi'. Logró la autorización para una de las primeras radios católicas e impulsó la presencia de comunidades religiosas en la diócesis.
