Jan Graubner se narodil 29. srpna 1948 v Brně. Po maturitě na gymnáziu ve Strážnici roku 1967 se hlásil do kněžského semináře. Na školu jej ale nevzali, protože neměl „dělnický původ“. Stal se proto strojírenským dělníkem v tehdejším Gottwaldově a v následujícím roce už byl na olomouckou teologickou fakultu přijat.
Po vysvěcení v roce 1973 se vrátil do Gottwaldova, ale už jako kaplan. Čekaly ho ještě dva roky na vojně, kam nastoupil ve stejném roce. Poté pokračoval kaplanskou službou v dnešním Zlíně, později působil ve Valašských Kloboukách, administroval farnost Vizovice, spravoval poutní místo Provodov a farnost Horní Lhota u Luhačovic.
V roce 1990 jej papež Jan Pavel II. jmenoval pomocným biskupem olomouckým. Svěcení přijal od tehdejšího arcibiskupa Františka Vaňáka a stal se jeho generálním vikářem. Po smrti arcibiskupa přijal roli administrátora olomoucké arcidiecéze. Arcibiskupem a metropolitou moravským ho jmenoval Svatý otec 28. září 1992, stal se tak 69. biskupem a 14. arcibiskupem v Olomouci.
Dne 13. května 2022 ho papež František jmenoval 37. pražským arcibiskupem a 25. českým primasem, úřadu se ujal 2. července téhož roku.
Jeho biskupským heslem jsou slova Panny Marie v Káni Galilejské Quod dixerit vobis, facite – „Co vám řekne, učiňte“ (Jan 2,5).