Analiza dyskryminacyjna

Z Wikipedii

Masz nowe wiadomości (różnica z poprzednią wersją).

Liniowa Analiza Dyskryminacyjna (ang. Linear discriminant analysis, LDA) i związana z nią liniowa analiza dyskryminacyjna w oparciu o kryterium Fishera (ang. Fisher's linear discriminant, FLD) są używanie w uczeniu maszynowym do znalezienia liniowej kombinacji cech, które najlepiej rozróżniają dwie lub więcej klas obiektów lub zdarzeń. Wynikowe kombinacje są używane jako klasyfikator liniowy lub, częściej, służą redukcji wymiarów do późniejszej klasyfikacji statystycznej.

[edytuj] LDA dla dwóch klas

Rozważmy zbiór obiektów z których każdy jest opisywany przez wektor cech x przy czym dla każdego obiektu znana jest jego przynależność do klasy y. Taki zbiór obserwacji nazywany jest zbiorem uczącym. Problem klasyfikacji polega na znalezieniu dobrego predyktora klasy y dla każdej obserwacji (nie koniecznie pochodzącej ze zbioru uczącego). Predyktor ma się opierać tylko i wyłącznie o obserwacje x. Podejście LDA bazuje na założeniu, że funkcje gęstości prawdopodobieństwa $p(\vec x|y=1)$ i $p(\vec x|y=0)$ mają rozkłady normalne i jednakową kowariancję $Σ y = 0 = Σ y = 1 = Σ$ (podobną analizą, która dopuszcza aby kowariancje się różniły, jest quadratic discriminant analysis. Można pokazać, że wymagane prawdopodobieństwo $p(y| \vec x)$ jest zależne tylko od iloczynu skalarnego $\vec w . \vec x$ gdzie:

$\vec w = \Sigma^{-1} (\vec \mu_1 - \vec \mu_0)$

Oznacza to, że prawdopodobieństwo, że wejściowe x będzie należało do klasy y jest funkcją liniowej kombinacji jego znanych cech.

[edytuj] Zastosowania

FLD i LDA są używane do wielu zastosowań związanych z klasyfikacją. Jednym z nich jest rozpoznawanie twarzy. Obraz twarzy składający się z bardzo dużej ilości pikseli jest redukowany do mniejszego zbioru linowych kombinacji, które mogą następnie być wykorzystane do klasyfikacji. Linowa kombinacja cech obrazu twarzy uzyskana za pomocą FLD określana jest mianem Fisher faces, natomiast obrazy będące efektem redukcji cech przeprowadzonej za pomocą analizy głównych składowych nazywane są eigenfaces.