De advocaat, gespecialiseerd in sportrecht, trad in 1979 in dienst bij het IOC als juridisch adviseur. Hij leidde de administratie van het IOC van 1989 tot 2003 en werkte in die periode samen met de voorzitters Juan Antonio Samaranch en Jacques Rogge. Carrard was de coördinator van het hervormingscomité van het IOC in 2000, na het schandaal omtrent de toekenning van de Olympische Winterspelen aan Salt Lake City (2002). Hij speelde ook een belangrijke rol bij de oprichting van het Wereldantidopingagentschap (WADA).  

Na zijn carrière bij het IOC leidde Carrard de werkgroep die zich boog over de hervormingen binnen de Wereldvoetbalbond (FIFA), in de nasleep van de corruptieschandalen die leidden tot de val van Sepp Blatter.