Regresja liniowa

Z Wikipedii

Regresja liniowa – w statystyce, metoda estymowania wartości oczekiwanej zmiennej y przy znanych wartościach innej zmiennej lub zmiennych x. Szukana zmienna y jest tradycyjnie nazywana zmienną zależną. Inne zmienne x nazywa się zmiennymi niezależnymi. Zarówno zmienne zależne, jak i niezależne, mogą być wielkościami skalarnymi lub wektorami.

Regresja w ogólności to problem estymacji warunkowej wartości oczekiwanej. Regresja liniowa jest nazywana liniową, gdyż relacja między zmiennymi zależnymi, a niezależnymi, jest funkcją liniową.

[edytuj] Prosta regresji

Funkcja regresji może być w prosty intuicyjny sposób przedstawiona na wykresie.

Przykładowo w ujęciu w formie wykresu dwuwymiarowego (jedna zmienna objaśniana) zagadnienie polega na poprowadzeniu prostej

y = ax + b

jak najlepiej dopasowanej do zbioru n punktów doświadczalnych (x1, y1), (x2, y2), ... , (xn, yn). Celem dopasowania jest nie tylko uzyskanie efektu wizualnego, ale przede wszystkim uzyskanie ocen wartości parametrów a i b opisujących prostą, oraz ich niepewności u(a) i u(b).

Najczęściej wykorzystuje się do tego celu klasyczną metodę najmniejszych kwadratów i jej pochodne. Metoda ta jest najstarsza i najłatwiejsza do zastosowania, choć posiada wady (np. niewielką odporność na elementy odstające), które udało się usunąć w innych, mniej rozpropagowanych metodach. Są to np. odporne metody statystyczne (ang. robust methods), do których należy m.in. regresja medianowa.