Po rodu Osetijec je bil rojen leta 1953 v Moskvi in odraščal na Kavkaškem, kjer se je kot izjemno nadarjen otrok začel glasbeno izobraževati. Študij je nadaljeval na konservatoriju v takratnem Leningradu in kot študent leta 1976 zmagal na tekmovanju mladih dirigentov Herbert von Karajan v Berlinu. Po tekmovanju je prejel vabilo Gledališča Kirov (sedanje Marijino) na položaj asistenta glavnega dirigenta, že leta 1978 pa je z opero Vojna in mir Sergeja Prokofjeva tudi sam debitiral kot dirigent. Med letoma 1981 in 1985 je bil vodja Armenskega državnega orkestra, njegova kariera pa se je strmo vzpenjala do leta 1988, ko je z rosnimi 35 leti postal najprej umetniški vodja leningrajskega Gledališča Kirov, leta 1996 pa še ravnatelj iste ustanove, takrat že z novim imenom Marijino gledališče. Po Gergijevem prevzemu vodenja ustanove so začeli tradicionalno slaviti obletnice različnih skladateljev, poleg tega pa je maestro začel oživljati Wagnerjeve opere. Nibelungov prstan je bil po skoraj stoletju premora v Rusiji znova izveden, takrat prvič v nemškem jeziku.
Njegovih velikih uspehov državne meje ne omejujejo, zelo aktiven je tudi drugje po svetu. Hitro se je povezal z vodstvi skoraj vseh najuglednejših opernih hiš po svetu, zlasti z Metropolitansko opero v New Yorku, kjer so, skupaj z ansamblom, kot ugledni predstavniki ruske kulture še vedno redni gosti. Nastopal je v številnih svetovno znanih opernih hišah (Bavarska deželna opera, Kraljeva operna hiša, Covent Garden, Metropolitanska opera), sodeloval z orkestri najboljšega kova (Berlinski, Pariški, Newyorški in Dunajski filharmoniki, Kraljevi orkester Concertgebouw Amsterdam) in bil prvi ruski dirigent po Čajkovskem, ki je dirigiral otvoritveno predstavo nove sezone v Carnegiejevi dvorani. Med letoma 1995 in 2008 je bil glavni dirigent Rotterdamskih filharmonikov, od 2007 do 2015 je vodil Londonski simfonični orkester, leta 2015 pa prevzel vodenje Münchenskih filharmonikov.
Z veseljem in upravičeno velikimi pričakovanji ga vedno znova pozdravljamo tudi pri nas. V Sloveniji je prvič nastopil s svojim Marijinim gledališčem ob projektu Evropski mesec kulture leta 1997, od leta 2003 pa je redni gost Ljubljana festivala. Po njegovi zaslugi velja Marijino gledališče danes za eno od najpomembnejših glasbenih gledališč in je bilo leta 2008 uvrščeno med 20 najboljših ansamblov na svetu. Ravno pod njegovo taktirko je bila z omenjenim orkestrom v Sloveniji prvič v celoti izvedena legendarna tetralogija Nibelungov prstan skladatelja Richarda Wagnerja. Prva dva dela cikla (Rensko zlato in Valkira) sta bila premierno izvedena na Ljubljana festivalu septembra 2011, leta 2017 pa je z drugima dvema deloma (Siegfried in Somrak bogov) sklenil pri nas prvič povedano zgodbo Wagnerjeve tetralogije in s tem postavil pomemben mejnik v slovenski glasbeni kulturi. Predsednik republike Borut Pahor je Gergijevu 31. avgusta 2017 podelil srebrni red za prispevek k plemenitenju slovenskega kulturnega prostora z vrhunskimi glasbenimi doživetji. Eden od najpomembnejših dirigentov današnjega časa in po mnenju revije Times ena izmed sto najvplivnejših osebnosti na svetu bo pri nas z orkestrom Marijinega gledališča znova nastopil 26. avgusta v Cankarjevem domu, solist večera pa bo večkratni zmagovalec najprestižnejših pianističnih tekmovanj Dimitrij Šiškin, ki bo izvedel Rahmaninov Koncert za klavir in orkester št. 3 v d-molu, op. 30.