Skriptá: Pravdepodobnosť štatistika - skriptá

V mnohých oblastiach vedeckého skúmania môžu byť rozdiely v meraniach určitej náhodnej veličiny spôsobené vplyvom iných náhodných veličín. Analyzovaním môžeme zistiť povahu vzťahu medzi sledovanými veličinami. Skúmanie takého vzťahu je tiež dôležité z toho dôvodu, že hodnota jednej veličiny môže byť predpovedaná zo správania sa iných veličín.

Javy a procesy, ktoré prebiehajú v prírode a v spoločnosti, sú vzájomne podmienené, súvisiace, či závislé. Jednotlivé veci alebo javy možno plne pochopiť len vo vzťahu k okolitým veciam alebo javom. Výskyt jedného javu často podmieňuje existencia iného javu, ktorý nazývame jeho príčinou. Hovoríme potom o príčinnosti, resp. kauzalite. Pri zložitejších javoch nemusí však následok ovplyvňovať len jeho príčina, ale aj ďalšie podmienky, ktoré môžu pôvodný následok podstatne zmeniť. Keď pozorujeme javy a procesy okolo nás, uvedomujeme si, ako navzájom súvisia. Klasický učebnicový príklad hovorí, že hektárový výnos určitej plodiny závisí od množstva pridávaného hnojiva do pôdy na základe pôdoznaleckého rozboru.

Slovo „regresia“ bolo prvýkrát v súčasnom technickom kontexte použité Francisom Galtonom, ktorý analyzoval výšku synov a priemernú výšku ich rodičov. Galton zo skúsenosti predpokladal, že synovia veľmi vysokých (alebo veľmi nízkych) rodičov sú všeobecne vyšší (alebo nižší) ako priemer, ale nie až takí vysokí ako ich rodičia. V tomto kontexte pojem „regresia“ bol použitý na označenie, že výška synov smeruje skôr k priemernej výške než k extrémnym hodnotám.