Urodził się we Francji. Poważnie zaczął fotografować w 1953 roku mając 19 lat, kiedy to na corridzie w rodzinnym mieście Arles, miał okazję pokazać parę swoich prac hiszpańskiemu malarzowi Pablo Picasso. Przez następny rok młody Clergue gromadził dla niego portfolio. W późniejszych latach artyści stali się wielkimi przyjaciółmi. Po śmierci Picasso, Clergue wydał książkę ze wspomnieniami "Picasso mój przyjaciel". Jako fotograf szybko stał się znany, lecz odrzucił propozycje pracy m.in. w paryskim Vogue mówiąc, że jest powołany do pracy artysty. Był jednym z założycieli festiwalu fotografii Rencontres d`Arles. Wystawiał w galeriach na całym świecie, włączając słynną wystawę w nowojorskim Museum of Modern Art w 1961 (ostatnią organizowana przez Edwarda Steichena), jego prace znajdują się w najważniejszych kolekcjach fotografii. Niewątpliwie największą popularność przyniosła mu fotografia aktu realizowana konsekwentnie przez cały okres twórczości. Szczególnie charakterystycznie są jego sesje modelek na plaży oraz sesja "Zebra Nudes", gdzie w mistrzowski sposób operując kompozycją i światłem fotografował modelki w świetle przenikającym przez okienne żaluzje.