Statistisches Lernverfahren
aus Wikipedia, der freien Enzyklopädie
Statistische Lernverfahren ist eine Methode des Maschinellen Lernens und gehört zur Klasse der überwachten Lernverfahren. Statistische Lernverfahren können auch als statistische Klassifikation bezeichnet werden. Expertensysteme verwenden statistische Lernverfahren zum Erwerb ihrer Wissensdaten.
[Bearbeiten] Lineare Diskriminanzanalyse
Als Beispiel für ein statistisches Lernverfahren wird die Lineare Diskriminanzanalyse skizziert. Sie wurde 1936 vom Mathematiker Ernst Fischer entwickelt.
Zur Vereinfachung der Beschreibung wird ein Wissensgebiet mit nur zwei Klassen angenommen. Ein Fall werde durch p Attribute charakterisiert. Die zu untersuchenden Fälle werden in einem p-dimensionalen Raum A abgebildet. Dieser Raum A lässt sich in die beiden Unterräume B und A - B aufteilen, die den beiden Klassen des Wissengebietes zugeordnet sind. Die Diskriminanzanalyse der Fallbeispiele versucht eine Vorschrift zu finden, die die Aufteilung des p-dimensionalen Raumes A in die beiden Klassenunterräume B und A - B ermöglicht.
Die Vorschrift für die Aufteilung ist eine numerische Schranke. Sie versucht, möglichst viele Fälle der ersten Klasse dem Unterraum B und die Fälle der zweiten Klasse dem Unteraum A - B zuzuordnen. Eine solche Klassifizierung ist mit zwei Fehlerarten behaftet:
- Einmal dem Fehler der falsch-positiven Zuordnung, bei dem ein Fall der zweiten Klasse fälschlich dem Unterraum B zugeordnet wird.
- Zum anderen der Fehler der falsch-negativen Zuordnung, bei dem ein Fall der ersten Klasse fälschlicherweise dem Unterraum A - B zugeordnet wird.
Die Häuffigkeitsverteilung der Fälle in den beiden Klassen sei mit f1 und f2 beschrieben. Die Wahrscheinlichkeit für das Auftreten einer der beiden genannten Fehlerrarten sei in den beiden Verteilungen gleich. Der Gesamtfehler lässt sich wie folgt berechnen:
| Gesamtfehler = 1 + | ∫ | (f2 − f1)dx |
| B |
.
Die Schranke für die Aufteilung wird während der linearen Diskriminanzanalyse iterativ so verändert, dass der Gesamtfehler möglichst klein wird. Der Gesamtfehler wird minimal, falls
log(f1) = log(f2)
oder kurz
f1 = f2
wird.
Unter der Annahme, dass die Fälle in den beiden Klassen normalverteilt sind, deren Erwartungswerte μ1 und μ2 sind und sie die gleichen Kovarianzmatrix haben, lässt sich die Vorschrift für die Minimierung des Gesamtfehlers wie folgt formulieren:
(Lineare Diskriminanzfunktion) 
.
Für die Klassifikation eines neuen und unbekannten Falles wird folgender Wert D berechnet
.
Falls D > 0 ist, wird der Fall der Klasse 1 (Raum B) zugeordnet, ansonsten der Klasse 2 (Raum A - B).
Wird dieses Verfahren für die Klassifikation mehrerer Klassen verwendet, sind die Schranken zwischen den Klassen-Clustern Hyperebenen.
[Bearbeiten] Literatur
- K.-P. Huber, G. Nakhaeizadeh: Maschinelle Lernverfahren beim Wissenserwerb von Diagnose-Expertensystemen, Proceedings Expertensysteme-93, Informatik Aktuell Seite 167 - 180, Springer Verlag 1994
- D. Michie, D. J. Speigelhalter, C. C. Taylor (ed.): Machine Learning, Neural and Statistical Classification. Elis Horwood 1994
