프랑스 피카르디 지방의 노용에서 태어났다. 칼뱅을 사제로 만들려 했던 아버지의 주선으로 지역 귀족 몽모르가의 자녀들과 함께 교육을 받았으며, 14세 되던 1523년 파리의 라마르슈(La Marche)대학에 입학해 라틴어를 배웠다. 같은 해 몽테귀(Montaigu)대학으로 옮겨 엄격한 금욕주의적인 경건 훈련을 받고 뛰어난 토론 기술을 습득했다. 1528년 오를레앙(Orlean)대학에서 법률을 공부하기 시작했고 이듬해 이탈리아 부르주(Bourges)대학으로 옮겼다. 부친이 세상을 떠나자 자신이 원했던 인문주의를 공부하고자 파리의 왕립대학으로 옮겨 헬라어와 히브리어를 배웠다.

1528년 루터파 신자였던 법학 교수 볼마르(Wolmar)를 만나 헬라어를 배우며 종교개혁 진영의 인물들과 알게 된 것으로 보인다. 1533년 코프(Nicolas Cop)가 파리대학 총장으로 취임하면서 루터의 종교개혁 사상이 담긴 연설을 해서 박해를 받을 때 함께 쫓겨 다녔는데, 이때 만난 사람들이 종교개혁의 신학 사상을 설명해 줄 것을 요청해 1536년에 ≪기독교 강요≫를 써냈다.

파렐(William Farel)의 강권에 의해 1536년 7월 제네바 종교개혁에 동참했으나 실패한 뒤 1538년 4월에 스트라스부르로 가서 프랑스 피난민 목회를 했다. 이때 스트라스부르의 개혁자 부처(Martin Bucer)의 영향을 받았으며, ≪기독교 강요≫ 2판과 ≪로마서 주석≫을 발간하며 학문적으로 성장했고 결혼하여 행복한 시간을 보냈다. 다시 혼란에 빠진 제네바로 귀환 요청을 받은 칼뱅은 1541년 9월에 돌아왔다. 그곳에서 교회법을 제정하여 목사, 박사, 장로, 집사의 4중 직제를 만들어 장로교 제도의 기본적인 틀을 놓았으며, 목사와 장로로 구성된 컨시스터리(consistory: 장로회)를 설립해 제네바 시민들의 도덕적인 삶을 개혁했다. 종교개혁 사상을 해외로 전파하기 위해 1559년에 제네바 아카데미를 설립하여 인문주의와 함께 수준 높은 개혁주의 신학을 교육했다. 그리하여 그의 신학 사상은 프랑스, 네덜란드, 영국, 스코틀랜드, 미국 등으로 전파되었고, 19세기 말에는 미국 선교사들을 통해 한국에까지 전파되었다.