1908. április 5-én született Salzburgban egy görög származású, nemesi rangra emelt (innen nevében a von szócska) felső középosztálybeli családban. Nyolcévesen már a Mozarteumba járt, karmesteri diplomáját 21 évesen vette át a bécsi Zeneakadémián. Még abban az évben Ulmba szerződött, szépen ívelő karrierjének további lökést adott, amikor 1935-ben belépett a nemzetiszocialista pártba.

Hamarosan ő lett a Harmadik Birodalom legfiatalabb főzeneigazgatója, dirigált a Salzburgi Ünnepi Játékokon, miután Toscanini az Anschluss miatt lemondta ottani fellépéseit. A Hitler 50. születésnapja alkalmából tartott koncert után állami karmesterré nevezték ki. A nácik kegyeit csak azután vesztette el, hogy 1942-ben a faji törvények értelmében zsidónak számító iparmágnás lányát vette el. A háború után igazolták, de fellépései még évekkel később is tiltakozást váltottak ki külföldön.

1948-ban vezényelte első ízben a Bécsi Filharmonikusokat, 1955-től 1989-ig állt a Berlini Filharmonikusok élén. 1956 és 1964 között a bécsi Staatsoper vezetője, majd a Salzburgi Ünnepi Játékok teljhatalmú irányítója, a milanói Scala vezető karnagya és a New York-i filharmonikusok vendégkarmestere volt, pályafutásának állomásait felsorolni lehetetlen. Egy anekdota szerint amikor egy repülőtéren beült a taxiba és a sofőr megkérdezte, hova vigye, azt válaszolta: mindegy, mindenhol kíváncsiak rám.

A szuggesztív egyéniségű mester sikereinek alapja a mesterségbeli tudás, a fanatikus munkaszeretet és a tökéletességre való törekvés volt. Könyörtelen művészi igényessége nem ismert határt sem önmagával, sem másokkal szemben. Mindezzel számos súrlódást, konfliktust provokált, bírálói nem művészetét, hanem karakterét kritizálták: diktátori ösztöne nem tűrt ellentmondást, s csak a behódolást viselte el. (Karajan egyszer azt mondta: azért szeret jobban a berlini zenekarral dolgozni, mert ha azt mondja: lépjenek előre, azok megteszik. Ha Bécsben mondja ugyanezt, ott is megteszik, de aztán megkérdezik, hogy miért.) Végül a Berlini Filharmonikusokkal is megromlott viszonya, ezért 1989 áprilisában lemondott tisztségéről, s nem sokkal később, július 16-án meghalt.

Karajan interpretációjának pontosságáról és tárgyilagosságáról volt nevezetes. Osztrák létére inkább német lelke, igazi világa Wagner birodalma volt, de ugyanilyen átéléssel szólaltatta meg Beethovent és Mozartot, s otthon volt az olasz opera világában is. Zenei hagyatéka rendkívül gazdag, nyolcszáz lemezt készített, Beethoven szimfóniáit, Mozart és Wagner operáit a tökéletességet hajszolva többször is felvette. Sokan vádolták anyagiassággal, de zenészei lázadni már csak betegsége idején mertek ellene. Nevén a folt a náci párttagság mindig ott maradt, de páratlan művészete feledtetni tudta azt.