Ludwig Josef Johann Wittgenstein sa narodil vo Viedni 26. apríla 1889 .
Ludwigov otec Karl Wittgenstein bol židovského pôvodu, kým jeho matka bola katolíčka. Jeho rodičia boli veľmi hudobne naladení a Ludwig bol vychovávaný v dome plnom hudby. Jeho rodičia mali 8 detí, všetky boli talentované a to umelecky aj duševne. Boli to 3 dievčatá a 5 chlapci. Rodina bola zámožná, zarábali majetok v oceliarskom priemysle a boli jednou z najbohatších rodín v Rakúsku.
Ludwig bol najmladšie dieťa a bol vzdelávaný doma až do svojich štrnástich rokov. Ukázalo sa, že ako vyrastal začal sa zaujímať o mechanické veci a keď mal 10 rokov, zostrojil robotnícky šijací stroj.