Karol IV. sa narodil 14. mája 1316, miesto narodenia nie je presne známe, pravdepodobne - ako píše kronikár Petr Žitavský – to bolo v Starom meste pražskom.
Ako trojročný bol po hádke medzi rodičmi odlúčený od matky. Izolovaný na Lokti a v apríli roku 1323 po niekoľkom pobyte na hrade Křivoklát (tu ho otec držal takmer ako svojho väzňa), kde bol držaný v akejsi internácii, bol sedemročný korunný princ Václav, budúci Karol IV., odvedený otcom, ktorý sa obával, že je syn vedený k nenávisti k nemu, (stále bol pod dohľadom, avšak Ján Luxemburský, ktorý neveril snáď nikomu, neveril ani jeho pobytu tu), k vychovávaniu na francúzsky dvor.
Francúzsky kráľ, hoci sám negramotný, viedol malého Václava k základom vzdelania. V Paríži získal Karol rozsiahle vzdelanie: budúci cisár vedel po nemecky, francúzsky, latinsky, taliansky a česky. Jeho učiteľom bol Pierre de Rosieres (neskorší pápež Klemnt VI.).