Evaluation

aus Wikipedia, der freien Enzyklopädie

Du hast neue Nachrichten auf deiner Diskussionsseite.

Evaluation (Evaluierung) bedeutet allgemein die Beschreibung, Analyse und Bewertung von Prozessen und Organisationseinheiten, insbesondere im Bildungsbereich, in den Bereichen Gesundheit und Entwicklungshilfe, der Verwaltung oder der Wirtschaft. Evaluation kann sich sowohl auf den Kontext (Voraussetzungen, Rahmenbedingungen), die Struktur, den Prozess als auch das Ergebnis (Produkt) beziehen. Anders als Grundlagenforschung orientiert sich Evaluation an den konkreten Fragen von Entscheidungsträgern, z. B. in der Bildungspolitik und -verwaltung, aber auch von Lehrern, Schülern und Eltern. Damit ist sie auf ein breiteres Spektrum an Methoden angewiesen, um zeitgerecht hilfreiche Information bereit zu stellen.

Das ursprünglich aus dem Französischen stammende Wort Evaluation (Wortstamm lat.: "valuere"= bewerten) wurde in den USA seit den 30er-Jahren gebräuchlich (in der Eight-Years-Study von R. W. Tyler u.a.). Tylers verhaltensorientiertes Konzept wurde nach dem Sputnikschock 1957 in der danach einsetzenden Bildungsreform kritisiert und verändert. In Deutschland wurde das englische Wort Evaluation Ende der 60er-Jahre aus dieser amerikanischen Tradition übernommen (vgl. Wulf 1972). Die Wortbedeutung "Bewertung" wurde dabei zunächst verengt auf die Bewertung insbesondere der Arbeit von Bildungsinstitutionen (die Curriculum-Entwicklung seit den 30er-Jahren). Inzwischen wird auch in anderen sozialen Handlungsbereichen "evaluiert".

Inhaltsverzeichnis

1 Evaluierung als klassische Bewertung
2 Evaluation als spezifischer Fachbegriff
3 Evaluation auf dem Weg zum Qualitätsmanagement
4 Evaluation im Bildungsbereich
5 Evaluationen im Umweltbereich
6 Literatur zum Thema Evaluation
7 Weblinks

[Bearbeiten] Evaluierung als klassische Bewertung

Gebräuchlicher und verankerter im deutschen Sprachgebrauch gegenüber Evaluation ist das Synonym Evaluierung, welches allerdings keine größere Trennschärfe als die Übersetzung "Bewertung" hat. Damit ist eine Unterscheidung zu anderen Begriffen des Qualitätsmanagements wie Audit, Controlling oder Revision nicht immer eindeutig.

[Bearbeiten] Evaluation als spezifischer Fachbegriff

Dort, wo die Besonderheit der Evaluation zu anderen Bewertungsverfahren betont wird, lässt sich, grob gesagt, als gemeinsamer Nenner festhalten, dass Evaluation sich mit Handlungsfeldern befasst, in denen herkömmliche ökonomische Bewertungen zu kurz greifen. Als ein weiterer Unterschied wird die Beteiligung der Adressaten der Evaluierung an der Auswertung der Ergebnisse genannt.

Die 1997 gegründete Deutsche Gesellschaft für Evaluation (DeGEval) und 2005 in DeGEval-Gesellschaft für Evaluation umbenannte Organisation hat heute (2006) Arbeitskreise für Evaluation an Schulen, an Hochschulen, in der beruflichen und betrieblichen Bildung, im Umweltbereich, von Entwicklungspolitik, von Forschungs-, Technologie- und Innovationspolitik, von Strukturpolitik, im Gesundheitswesen und in der Wirtschaft. 2002 hat sie Standards der Evaluation herausgegeben, 2003 Empfehlungen für die Aus- und Weiterbildung von Evaluatoren, 2004 Empfehlungen zur Selbstevaluation.

Evaluation verspricht Antworten in einer Zeit, in der Entscheidungsträger von der Aufgabe, gesellschaftliche Institutionen an die sich wandelnden Rahmenbedingungen anzupassen, zunehmend überfordert scheinen. Evaluation kann auch als Alibi missbraucht werden: ein negatives Evaluationsergebnis wird vorgeschoben, um die Schließung einer Institution durchzusetzen. In diesem Falle hat aber keine wirkliche Evaluation stattgefunden: zu unterscheiden ist nämlich die Beurteilung von Personen / Institutionen, die mit (oftmals negativen) Sanktionen verbunden ist, von der Beurteilung von Maßnahmen, die auf ihre Wirksamkeit hin untersucht werden. Nur hier kann von Evaluation im eigentlichen Sinne gesprochen werden: Auf der Basis einer Zielvereinbarung wird eine Ausgangserhebung durchgeführt, es werden daraufhin Maßnahmen geplant, mit denen die Ziele erreicht werden sollen. Dann müssen Messinstrumente / Beurteilungskriterien entwickelt werden, mit denen man überprüfen kann, ob die Maßnahmen zum Erfolg geführt haben. Eventuell nach Zwischenerhebungen während der Durchführung wird in einer Schlusserhebung der Erfolg der Maßnahme überprüft, um daraus neue Zielvereinbarungen zu treffen und erneut in den Kreislauf einzutreten. Das Entscheidende hierbei ist, dass Betroffene zu Beteiligten werden, dass der Prozess konsensual verläuft und nicht durch fremde Interessen und unklare Kriterien bestimmt wird, wie das z. B. bei sogenannten "Effizienzvergleichen" im Bildungsbereich immer wieder zu beobachten ist.

Da diese grundlegende Unterscheidung häufig nicht beachtet wird, weist die inflationäre Ausbreitung des Begriffs "Evaluation" Züge einer wissenschaftlichen Mode auf. Eines Tages wird sich auch das Evaluationswesen einer Evaluation stellen müssen (Meta-Evaluation). Der Vorstand der DeGEval hat dazu im April 2002 Leitlinien herausgegeben.

[Bearbeiten] Evaluation auf dem Weg zum Qualitätsmanagement

Evaluation nimmt zunehmend Prüfmodelle vom Qualitätsmanagement in den Blick. Sowohl die Din EN ISO_9000ff. als auch das universell anwendbare EFQM-Modell werden mit ihren Evaluierungs- und Auditierungsgrundlagen als wesentliche Elemente in Evaluationen berücksichtigt. So kann Evaluation ein Zertifikat verleihen und eine externe Auditierung ermöglichen (vgl. auch die Kritik an interner Selbst-Evaluation). Insbesondere bei der Evaluation von Hochschulen und Fakultäten wird zur Fakultätsentwicklung zunehmend auf die Aspekte von TQM, Personalentwicklung und Organisationsentwicklung eingegangen. Der Evaluator wird dadurch zunehmend zum Auditor, Qualitätsmanager, Personal- und Organisationsentwickler, sowie zugleich Change Agent bzw. Prozessberater. Die bekanntesten Qualitätsmodelle, die heutzutage in fast jeder Evaluation Berücksichtigung finden, sind die der EFQM sowie der DIN EN ISO_9000.

[Bearbeiten] Evaluation im Bildungsbereich

siehe auch: Bildungs-Controlling, Fakultätsentwicklung, Besucherforschung, Bildungsprozessmanagement

Als pädagogischer bzw. andragogischer Fachbegriff meint Evaluation gemäß der Definition von J. Reischmann "das Erfassen und Bewerten von Prozessen und Ergebnissen zur Wirkungskontrolle, Steuerung und Reflexion im Bildungsbereich."

Gegenstand von Evaluation können Prozesse (Untersuchungsfrage: Wie läuft etwas ab?) und Outcomes (Untersuchungsfrage z. B. Was kommt heraus? Wie ist das Ergebnis?) aus dem Bereich der Mikrodidaktik ebenso wie der Makrodidaktik sein. Auch gesamte Programme können evaluiert werden.

Für eine Evaluation werden Daten methodisch organisiert erhoben und systematisch dokumentiert, um die Untersuchung, das Vorgehen und die Ergebnisse nachvollziehbar und überprüfbar zu machen.

Standardverfahren zur Datenerfassung sind Befragung, Beobachtung, Test, Fragebogen, und Materialanalyse. Als Datenquellen stehen interne (sind Teile des evaluierten Systems) und externe (stehen außerhalb) zur Verfügung.

Die Bewertung erfolgt durch den Vergleich der ermittelten Ist-Werte mit vorher explizit festgelegten und begründeten Soll-Werten (anzustreben sind dabei operationalisierte Zielformulierungen) anhand nachvollziehbar festgelegter Indikatoren. Dabei unterscheidet man Akzeptanzkriterien (Wie sind die Inhalte bei den Teilnehmern angekommen?), Lernkriterien (Kann der Inhalt von den Teilnehmern korrekt wiedergegeben werden?), Transferkriterien (Führt das Gelernte zu merkbaren Verhaltensänderungen der Teilnehmer?) und Ergebniskriterien (Kann man Veränderungen am Output der Teilnehmer feststellen?).

Evaluation soll bestimmte Gütekriterien erfüllen: neben den Grundvoraussetzungen didaktische Nützlichkeit und Objektivität sind dies Reliabilität, Validität, Ökonomie und Normierung. Mit der Forschung verbindet Evaluation das Bemühen um intersubjektive Überprüfbarkeit, allerdings untersucht sie konkrete Einzelfälle und ist stark praxisorientiert.

Evaluation dient der rückblickenden Wirkungskontrolle (z. B.: Zeigt eine Bildungsmaßnahme den angestrebten Erfolg?), der vorausschauenden Steuerung (Wie muss die Fortsetzung eines Kurses gestaltet, was an der Teilnehmer-Auswahl verändert oder wie der Dozent werden?) und / oder der Reflexion und dem Verständnis von didaktischen Situationen, Prozessen und Problemen.

Programmevaluation ist die systematische Gewinnung von Informationen über Merkmale, Aktivitäten oder Ergebnisse eines Programms, um dessen Bewertung zu ermöglichen, sei es als Grundlage, um das Programm zu beurteilen, seine Wirksamkeit zu verbessern oder die künftige Programmentwicklung zu orientieren (vgl. Hojnik 1998, unveröffentlichtes Skriptum).

[Bearbeiten] Evaluationen im Umweltbereich

Der Umweltschutz gehört bisher weder in den USA noch in Europa zu den zentralen Anwendungsgebieten der Evaluationsforschung. Sozialwissenschaftliche Studien zur Evaluation von Umweltproblemen sind abgesehen von einigen Ausnahmen vor allem im Bereich des Energieverbrauchs, des Lärmschutzes und der Abfallproduktion selbst im Rahmen größerer politischer Programme eher selten (zu den Ausnahmen in Deutschland gehören die Arbeiten des CEval an der Universität Saarbrücken, siehe http://www.ceval.de).

Eine Ursache ist sicherlich in der vergleichsweise geringen Anerkennung der Sozialwissenschaften als kompetente Ansprechpartner in Umweltfragen zu sehen, was sich erst angesichts mangelnder Erfolge von Maßnahmen zur Steigerung des Umweltbewußtseins in den neunziger Jahren grundlegend verändert hat. Nachdem die Formel Umweltaufklärung schafft Umweltbewußtsein und Umweltbewußtsein führt zu einem entsprechenden Verhalten durch eine Vielzahl sozialwissenschaftlicher Studien widerlegt und auf die Bedeutung sozialer Faktoren für das umweltrelevante Individualverhalten hingewiesen wurde, begann sich die Umweltdiskussion auch für sozialwissenschaftliche Fragestellungen zu öffnen und verabschiedete sich zunehmend von der Auffassung, daß Umweltprobleme rein durch technische Lösungen zu bewältigen seien.

Gegenwärtig ist die Nachfrage nach Umweltevaluationen sehr stark durch öffentliche Auftraggeber bestimmt. Die Aufträge beziehen sich vorrangig auf die Bewertung politischer Programme oder einzelner Projekte. Insbesondere bei internationalen Organisationen sind dabei Tendenzen zur Entwicklung von Qualitätsanforderungen, die eine Einführung von Umweltevaluationen als Regelverfahren bei der Durchführung politischer Verfahren vorbereiten sollen, zu erkennen. In Deutschland sind auf Bundes- und Landesebene bei den politischen Instanzen bisher bestenfalls erste Ansätze in dieser Richtung wahrzunehmen. Durch den großen Stellenwert von Evaluationen bei der Stadt- und Raumplanung ist eine Etablierung von sozialwissenschaftlichen Umweltevaluationen durch Einbindung in bestehende, eher technisch orientierte (Planungs-)Verfahren wie z. B. die Umweltverträglichkeitsprüfung sogar eher auf regionaler und kommunaler Ebene zu erwarten. Die private Nachfrage nach Umweltevaluationen sowohl durch Unternehmen als auch durch Verbände und zivilgesellschaftliche Organisationen ist dagegen noch sehr gering. Trotz der Entwicklung von Umweltmanagementsystemen (z. B. EMAS) ist eine Einbindung der Erkenntnisse der sozialwissenschaftlichen Evaluationsforschung in die Qualitätsmanagementsysteme der Betriebe bisher nicht gelungen.

Auf der Angebotsseite dominieren zumindest teilweise staatlich finanzierte Forschungsinstitute den Markt. Institute, die sich ausschließlich auf die Durchführung von Umweltevaluationen spezialisiert haben, gibt es dabei jedoch nicht. Am weitesten geht hier die Entwicklung beim Centrum für Evaluation der Universität des Saarlandes (CEval) und dem Centre for Sustainable Management (CSM) der Universität Lüneburg. Auch bei den privaten Consultings haben nur wenige den Schwerpunkt ihrer Tätigkeiten auf sozialwissenschaftliche Umweltevaluationen gelegt. Hier sind als Beispiele das Institut für Sozialökologische Forschung (ISOE) und das Institut für ökologische Wirtschaftsforschung (IOEW) zu erwähnen. Darüberhinaus haben auch eingeführte Umweltwissenschaftliche Institute wie das Wuppertal-Institut, das Öko-Institut in Freiburg oder das IFEU-Institut in Heidelberg ihr Angebot in Richtung sozialwissenschaftlicher Forschungsarbeiten erweitert, ohne hierin jedoch ein primäres Geschäftsfeld zu sehen und entsprechende Aufbauarbeiten zu leisten. Angesichts der steigenden Anforderungen, die sich durch das Leitbild der „nachhaltigen Entwicklung“ für die Einführung entsprechender Maßnahmen ergeben, ist allerdings trotz der schwierigen Ausgangslage auch im Umweltbereich eine expansive Entwicklung des Evaluationsmarktes und eine fortschreitende Professionalisierung des Angebots zu erwarten.

[Bearbeiten] Literatur zum Thema Evaluation

Balzer, Lars (2005): Wie werden Evaluationsprojekte erfolgreich? - Ein integrierender theoretischer Ansatz und eine empirische Studie zum Evaluationsprozess. Landau: Verlag Empirische Pädagogik. mehr Infos zum Buch
Beywl, W. (1988): Zur Weiterentwicklung der Evaluationsmethodologie. Grundlegung, Konzeption und Anwendung eines Modells der responsiven Evaluation. Frankfurt a.M. u.a.: Peter Lang. mehr Infos zum Buch sowie redigitalisierte PDF
Bortz, Jürgen & Döring, Nicola (2003). Forschungsmethoden und Evaluation für Sozialwissenschaftler. Berlin: Springer.
Brügelmann, H. (1976): Curriculumevaluation - eine Dienstleistung für die Unterrichtspraxis. [www.uni-siegen.de/~agprim/printbrue.htm]
Brügelmann, H. (1983): Unterstützung der pädagogischen Praxis durch naturalistische Evaluation. [www.uni-siegen.de/~agprim/printbrue.htm]
Bülow-Schramm, Margret (2003): Evaluation auf dem Weg zum Qualitätsmangement. in: Hochschulrektorenkonferen (Hg.): Evaluation und ihre Konsequenzen. Beiträge zur Hochschulpolititk 2/2003. Bonn: HRK, 13-14.
Bussmann, Werner / Klöti, Ulrich, Knoepfel, Peter (Hg.) (1997): Einführung in die Politikevaluation. Basel: Helbing & Lichtenhahn. Redigitalisierte Fassung 2004 als PDF[1]
Cook, Thomas D. / Reichardt, Charles S. (Eds.) (1979): Qualitative and quantitative methods in evaluation research. Beverly Hills, CA: Sage.
Deutsche Gesellschaft für Evaluation (2002): Standards für Evaluation. Köln. mehr Infos
DFG, Deutsche Forschungsgemeinschaft (2002): Reform des Begutachtungssystems
Haas, Oliver (2002): Wirkungsbeobachtung von Trainingsmaßnahmen für Klein(st)unternehmer. Berlin, Verlag für Wissenschaft und Forschung.
Heiner, Maja (1988): Von der forschungsorientierten zur praxisorientierten Selbstevaluation. Entwurf eines Konzeptes. In: dies. (1988) (Hg.): Selbstevaluation in der Sozialen Arbeit. Fallbeispiele zur Dokumentation und Reflexion beruflichen Handelns. Freiburg i.B.
Heinrich, Lutz J.; Häntschel, Irene (2000) (Hg.): Evaluation und Evaluationsforschung in der Wirtschaftsinformatik. München / Wien: Oldenbourg Wissenschaftsverlag. ISBN 3-486-25175-9
Joint committee on Standards for Educational Evaluation (Hg.) (2000): Handbuch der Evaluationsstandards. Opladen: Leske + Budrich. mehr Infos zum Buch
Kromrey, Helmut (2002): Empirische Sozialforschung. Opladen: Leske + Budrich.
Kohn, Alfie (1999): Punished by rewards. Houghton Mifflin, N.Y and Boston
Lück, Kerstin (2006): Evaluationsmethoden der Bildungsforschung. Ludwigsfelde: LISUM
Palumbo, D.J. (Hrsg.) (1987): The Politics of Program Evaluation. Thousand Oaks, CA: Sage.
Patton, Michael Q. (1997): Utilization-Focused Evaluation: The New Century Text (3rd Edition). Thousand Oaks, CA: Sage.
Patton, Michael Q. (2002): Qualitative research & evaluation methods (3rd edition). Thousand Oaks, CA: Sage.
Sanders, James R. (2006): Handbuch der Evaluationsstandards - Die Standards des "Joint Committee on Standards for Educational Evaluation" (3. Auflage). Übersetzt von Beywl, W. & Widmer, T.. VS Verlag für Sozialwissenschaften/GWV Fachverlag GmbH, Wiesbaden.
Scriven, M.S. (1991): Evaluation Thesaurus (4th Edition). Newbury Park, CA: Sage.
Scriven, Michal (1980): The Logic of Evaluation. California: Edgepress.
Stockmann, Reinhard (2006): Evaluation und Qualitätsentwicklung - Eine Grundlage für wirkungsorientiertes Qualitätsmanagement; Aus der Reihe sozialwissenschaftliche Evaluationsforschung, Band 5; © Waxmann Verlag GmbH, Münster 2006. mehr Infos zum Buch
Stockmann, Reinhard (Hrsg., 2004): Evaluationsforschung. Grundlagen und ausgewählte Forschungsfelder (2.). Wiesbaden/Opladen: VS-Verlag.
Stockmann, Reinhard (2002): Qualitätsmanagement und Evaluation – Konkurrierende oder sich ergänzende Konzepte? In: Zeitschrift für Evaluation. Jg. 1, H. 2, S. 209-243.
Univation (Hg.) (2004): Das A-B-C der wirkungsorientierten Evaluation. Glossar - Deutsch / Englisch - der wirkungsorientierten Evaluation. Köln.
Weiss, C.J. (1998): Evaluation (2nd Ed.): Upper Saddle River, NJ: Prentice Hall.
Weiss, Carol (1972): Evaluating Action Programs. Boston: Allyn & Bacon.
Weiss, Carol H. (1974): Evaluierungsforschung. Opladen: Westdeutscher Verlag.
Wholey, J.S. / Hatry, H.P/Newcomer, K.E. (Eds.) (1994): Handbook of Practical Program Evaluation. San Francisco, CA: Jossey-Bass.
Widmer, Thomas (1996): Meta-Evaluation. Kriterien zur Bewertung von Evaluationen. Bern u.a.: Haupt.
Wottawa, H./Thierau, H. (1998): Lehrbuch Evaluation. (2. Aufl.). Bern: Hans Huber.
Wulf, Ch. (Hg.)(1972): Evaluation. Beschreibung und Bewertung von Unterricht, Curricula und Schulversuchen, München.