1925. február 10-én született Tápiósápon (ma Sülysáp). A félig szlovák, félig magyar, szegény Szvitek család legidősebb gyerekét szülei örökbe akarták adni, hogy eggyel kevesebb éhes szájat kelljen etetniük, ő azonban maradt, s elment szolgálni. Volt kanász, tehenészbojtár, mindenes legény, legmerészebb vágyai között a fűszeres, a pék vagy hentes szakma szerepelt.

Egy újságban olvasta a Színművészeti Főiskola munkás- és parasztfiatalokhoz szóló felhívását, a felvételiről azonban lekésett, a titkár azt mondta neki, jöjjön vissza egy év múlva. Ő az asztalra csapott: hol lesz már egy év múlva, miért hirdetnek az újságban, miért csapják be az embert? A zajos belépő után felvették, s ő lett a Horváth Árpád Népi Kollégium, az új színésznemzedék gyülekezőhelyének első lakója. Óriási gyötrelmek árán tanulta a szakmát, erős volt benne a kisebbségi érzés, sokszor eltöprengett azon, vajon jól választott-e.

1950-ben szerzett diplomát, s előbb a Bányász Színház (a későbbi Honvéd Színház) társulatához szerződött, 1952-ben a miskolci színház tagja lett. 1957-től 1973-ig a budapesti Nemzeti Színházban játszott, ezután a győri Kisfaludy Színház, majd 1976-tól 1985-ös nyugdíjba vonulásáig a Thália Színház művésze volt.

Színpadi színésszé sosem vált igazán, annál nagyobb szerencséje volt a filmmel. 23 évesen, még főiskolásként játszotta el a Talpalatnyi földben Piros Góz Jóska szerepét, s hódított meg minden magaslatot. A teljes hitelesség jellemezte alakítását, amely belülről, az emlékezetből, saját életéből jött. A sikernek azonban ára volt: "beskatulyázták", paraszt- és munkásfigurák sokaságát kellett eljátszania. A Simon Menyhért születésében, a Körhinta parasztlegényében, a Katonazene tisztiszolgájában, a Hideg napok balga tizedesében megmutatta, hogy első színészi csodája nem a véletlen műve volt.

Több mint száz filmben játszott, ezek több mint felében főszerepet, számos tévéjátékban bukkant föl alakja. Ízes beszédmódja, megjelenése szinte predesztinálta arra, hogy a legtöbb paraszt- vagy munkástémájú filmben ő legyen a főhős. Lányát, az immár Kossuth-díjas színésznő Szirtes Ágit kiskorában zavarta is, hogy apja állandóan rongyokban szerepel, ezért amikor a Háry János címszerepét alakította, huszáregyenruhában, csákóval a fején, karddal az oldalán buszozott haza megmutatni magát.

A színpadtól utolsó éveiben fokozatosan visszavonult, de szinte haláláig forgatott, s amikor ráért, szigligeti szőlőskertjét gondozta. A Tiszta Amerika, a Tüske a köröm alatt és A legényanya című szatíra voltak utolsó filmjei. 64 évesen, 1989. július 27-én halt meg.

Már 1955-ben megkapta a Jászai Mari-díjat, aztán az érdemes és kiváló művész címet, a Kossuth-díjat azonban elég későn, halála előtt egy évvel vehette át. Leánya, Szirtes Ági édesapja írásaiból könyvet adott közre Szirtes Ádám: Életünk - életem címmel, amelyben a színész egyéniségének tiszta embersége tükröződik.