Narodil sa v roku 1879 vo Švajčiarsku ako syn nemeckého učiteľa hudby Hansa Klee a matky Idy Kleeovej-Frickovej, ktorá bola švajčiarska speváčka. Detstvo strávil vo Švajčiarsku v mestách Münchenbuchsee a Bern. Po otcovi zdedil nemecké občianstvo a po maturite sa v októbri roku 1898 presťahoval do Mníchova.