Münchenbuchseenben, Bern közelében született német zenész családban. A zenében és a festészetben is ígéretes tehetségnek mutatkozott, a festészet mellett azért döntött, mert úgy érezte, a modern zenének nincs mondanivalója számára. A müncheni akadémián tanult, de tanárai úgy vélték, a színekhez nincs érzéke, maga Klee pedig úgy érezte, soha nem fog megtanulni festeni. Diplomájával kezében hat hónapos itáliai tanulmányutat tett, majd 1902-ben visszatért Bernbe. Ekkor készített Inventionen (Felfedezések) című szatirikus rézkarcait társadalomkritika és a kultúra bírálata jellemzi. 1900-tól vezette műveinek kézírásos katalógusát, első kiállítását tíz évvel később Bernben rendezte.

Klee újfajta rajzstílust fejlesztett ki, melyet leginkább a groteszk elemek és eltorzult alakzatok jellemeztek. 1906-ban Münchenbe költözött, itt ismerkedett meg A Kék Lovas (Der Blaue Reiter) elnevezésű expresszionista mozgalom két alapítójával, Vaszilij Kandinszkijjel és Franz Marc-kal. 1912-es párizsi útja során került kapcsolatba a kubizmussal, s az absztrakt ábrázolás felé mozdult el. A színekkel vívott küzdelme még ekkor sem ért véget, az avantgárdra jellemző harsogó színek helyett sápadt tónusokkal kísérletezett, a színeket egy-egy tömbben, minimális átfedésekkel használta.

1914-ben rövid időre Tunéziába utazott, s végre bekövetkezett a nagy áttörés. "A színek valósággal birtokba vettek, nem kell többé üldöznöm őket, tudom, hogy az enyémek és kitartanak mellettem az örökkévalóságig. A színek és én egy vagyunk. Festő lettem" - írta később. Festészetének ornamentális jellege rácsszerkezetűvé egyszerűsödött, s első képei is vevőre találtak.

1916-ban behívták a német hadseregbe, tartalékosként szolgált. 1920-ban Walter Gropius hívta előadónak a Bauhaushoz, 1925-ben Dessauba utazott, 1931-ben a Düsseldorfi Művészeti Akadémia professzorává avatták. Művészete kiteljesedett, e korszakának leghíresebb alkotása az Ad Parnassum című kép, amely a pointillizmus jegyében, apró pontszerű ecsetvonásokkal. született.

1933-ban, a nácik hatalomátvétele után felfüggesztették düsseldorfi professzori állásából, ezért családjával Bernbe költözött. 1937-ben számos képe szerepelt a nemzetiszocialisták által "az elfajzott művészetről" rendezett kiállításon, a közgyűjteményekben szereplő alkotásait lefoglalták. Komoly betegségének első jelei 1935-ben tüdőgyulladás formájában jelentkeztek, csak halála után diagnosztizálták a scleroderma elnevezésű autoimmun betegség progresszív formáját.

Klee 1940. június 29-én halt meg, állampolgársági kérelmét hat nappal később fogadták el (bár Svájcban született, állampolgársággal nem rendelkezett). Életműve előtt Bern 2005-ben az alkotásai bemutatóhelyéül szolgáló Paul Klee Centrum létrehozásával tisztelgett.