EVA

Evaluation-Vergleich und Analyse

Dr. Martina Gasser, Institut für Sozialdienste

Erlebnispädagogische Einzelbetreuung ist gerade in Zeiten des Budgetsparkurses der Regierung ein sehr umstrittenes Thema. Auch das Jugend-Intensivprogramm (JIP) des Instituts für Sozialdienste war am Anfang seines Bestehens, da noch keine Erfahrungen vorhanden waren, mit dieser Kritik konfrontiert. So brachte die FPÖ, als sie vom Start des Jugend-Intensivpro-gramms hörte, eine parlamentarische Anfrage ein. Diese wurde von den Medien sofort aufgegriffen (Zeitungen: DIE NEUE und Vorarlberger Nachrichten 10.10.1997). Im Projektstatus wurde das Programm mit Methoden qualitativer Forschung evaluiert. Daraus wurde schlussendlich das PC Programm E.V.A. entwickelt. Eine Evaluation, die auch im erlebnispädagogischen Bereich umfassend und benutzerfreundlich durchführbar ist.

Ursprünglich betonte die deutsche Pädagogik angefangen von Rousseau bis hin zur Reformpädagogik der Jahrhundertwende, ihre Wurzeln in der Geistesgeschichte. Erziehungsvorgänge sollten unabhängig von gesellschaftspolitischen Einflüssen stattfinden.
Diese Konzeption erhielt Mitte der 60er Jahre massive Kritik, welche die geisteswissenschaftliche Pädagogik immer mehr in die Defensive drängte.
Daraufhin erfolgte eine Veränderung, die die Methodologie und die Methoden von Psychologie und Soziologie übernahm.
Heute findet man wieder ein Bekenntnis zu den geisteswissenschaftlichen Wurzeln, ohne einen restaurativen Rückgriff auf die Tradition zu wollen.
Gefragt ist nicht mehr die Theorie des Geistes und des pädagogischen Wollens, sondern die Theorie des Handelns. Daher gibt es auch handlungstheoretische Ergänzungen. Der Handelnde wurde als Forschungsobjekt entdeckt.
Es wurde erkannt, dass das pädagogische Handeln nicht nur ein „Erzieher- Zögling-Bezug“ ist, sondern dass das ganze System (Schule, Elternhaus, Jugendwohlfahrtsbehörde, Peer Group) in seiner historischen und gesellschaftlichen Einlagerung gesehen werden muss.

Zentraler Ansatzpunkt war die Art, wie Menschen Gegenstände, Ereignisse, Erfahrungen mit Bedeutung versehen. Die Rekonstruktion der subjektiven Sichtweisen ist das Instrument zur Analyse sozialer Welten.
Daraus ergaben sich zwei Grundkonzepte:
einerseits, dass ein wesentliches Gütekriterium der Forschung der Praxisbezug sein muss, und
andererseits, das hermeneutische Prinzip des Verstehens. Das besagt, dass soziale Realität, über Texte vermittelt, immer nur auf dem Hintergrund des Vorverständnisses des Interpreten zu verstehen ist (Schleiermacher).

Was bedeutet das genau?

Man könnte sagen, dass in der Pädagogik ein unüberwindliches Chaos herrscht, da unter fast identischen Ausgangsbedingungen völlig unterschiedliche Ergebnisse möglich sind. Die komplexe Struktur einer Persönlichkeit führt zur Vielschichtigkeit des Selbstkonzeptes, welches wiederum die Gesamtheit der Einstellungen zur eigenen Person darstellt. Personen, Konstellationen, Ausgangsbedingungen, Stimmungen, Gefühle, Einflüsse sind dadurch so einmalig und vielfältig, dass kaum eindeutige, sichere Aussagen über die Wirkung gemacht werden können.
Erlebnisse, wie sie im JIP stattfinden, sind dazu noch einmalig, da nicht wiederholbar.

Angelehnt an den symbolischen Interaktionismus heißt dies, der subjektive Sinn, den Individuen mit ihren Handlungen verbinden, wird zum empirischen Ansatzpunkt.

Dieser Ansatzpunkt beinhaltet folgendes Verständnis:

1. Der Mensch handelt auf der Grundlage von Bedeutungen, die die Gegebenheit/ Situation für ihn besitzt.
2. Die Bedeutung einer solchen Gegebenheit/Situation wird aus der sozialen Interaktion, die die Person mit anderen eingeht, abgeleitet und verstanden.
3. Diese Bedeutungen werden in einen interpretativen Prozess aufgenommen bzw. verändert.

QUALITATIVE EVALUATIONSFORSCHUNG

Evaluationsforschung beschäftigt sich nicht nur mit der Beurteilung der Tätigkeiten einer Organisation bzw. mit Teilbereichen oder Programmen, sondern auch allgemein mit der Beschreibung, Bewertung und Optimierung von Maßnahmen oder Interventionen unter systematischer Anwendung empirischer Forschungsmethoden mit qualitativen Methoden.

Ziele sind:
- die Praxis der Programme zu verbessern,
- Wandlungsprozesse zu initiieren, begleiten, bewerten,
- der Professionalität Geltung zu verschaffen,
- im sozialen Dienstleistungsbereich, Legitimation gegenüber den Geldgebern,
- Aufgabe der Handlungsoptimierung ,
- Überprüfen der Programmannahme durch die Teilnehmer,
- Veränderungseinschätzung bei den Klienten; dabei genügt es nicht, dass beispielsweise in dieser Studie nur die Jugendlichen bekunden, was sie jetzt alles anders machen. Vielmehr muss diese Tendenz auch in der Transferphase beobachtbar sein (z.B. durch Eltern).

Die qualitative Evaluationsforschung entwickelte sich als Alternative zu den praktischen Problemen der quantitativen Evaluationsforschung.
Ein Problem ist, dass die vielfältigsten Realitäten mit denen man in diesem Feld zu tun hat, als Grundlage für Entscheidungen herangezogen werden sollen. Da dieses Praxisfeld so komplex ist, kann nicht von einer exakten Wissenschaftlichkeit im Sinne der Gütekriterien Validität, Reliabilität, Objektivität quantitativer Methoden ausgegangen werden.

Auch ist die Generalisierbarkeit der Ergebnisse kein primäres Ziel der Evaluation im pädagogischen Setting.


QUANTITATIVE UND QUALITATIVE METHODEN IM VERGLEICH

Merkmale quantitativer Forschung, sind die Konstruktion eines Modells vermuteter Bedingungen und Zusammenhänge; Hypothesen zu testen, die Untersuchten haben einen Status des Exemplarischen, die Untersuchungsanordnungen müssen verallgemeinert werden können und klar von Ursache und Wirkung isoliert werden.
Theorie und Methoden haben Priorität, wurden aber speziell im erlebnispädagogischen Bereich nicht eingehalten. Beschrieben werden hier vor allem Grundlagen und Abläufe von Programmen. D.h. es erfolgt eine Verbindung bestimmter Teile des Programms mit bestimmten menschlichen Verhaltensweisen.
Diese Art der Forschung sagt hier Änderungen des menschlichen Verhaltens voraus, indem sie zu beweisen versucht, dass die Änderungen durch das Programm verursacht werden.
Das hatte zur Folge, dass die Resultate unbefriedigend waren.
Das Unbehagen basierte auf der Erfahrung, dass durch standardisierte Fragebögen das soziale Feld in seiner Vielfalt zu stark eingeschränkt wurde. Auch wurden komplexe Strukturen sehr vereinfacht und reduziert.
Die Forschungsergebnisse wurden schließlich weder im Alltag wahrgenommen, noch fanden sie den erwarteten Niederschlag in der Politik.

So lauteten die Kritikpunkte seitens Vertretern der qualitativen Methoden:

- Soziale Tatsachen können nicht objektiv identifiziert werden. Stattdessen sind sie als soziale Handlungen je nach Situation anders zu interpretieren.
- Soziale Phänomene existieren nicht außerhalb einer Person. Vielmehr sind sie Interpretationen der Individuen einer sozialen Gruppe.
- Quantitative Messungen können soziales Handeln nicht wirklich erfassen. Sie reduzieren diese auf Variablenaspekte, und das ist oft ihr Problem.
- Das Aufstellen von Hypothesen vor einer Untersuchung birgt die Gefahr, dem Handelnden etwas zu suggerieren.
Durch die Distanz des Forschers, welche durch standardisierte Methoden bedingt ist, bleibt ihm der Untersuchungsgegenstand fremd. Daraus resultiert die Gefahr, dass die Interpretationen der Ergebnisse an der Realität vorbei laufen.
- Die Distanz zwischen Forscher und Befragtem, ist oft hinderlich für die Bereitschaft der Interviewten offen zu sprechen.

Speziell im Bezug auf die Untersuchung handlungsorientierter Arbeit, wie sie in der Erlebnispädagogik stattfindet, sprechen noch weitere Gründe gegen den Einsatz quantitativer Methoden:

- „quantitative Ansätze verlangen ein experimentelles Design incl. Kontrollgruppen und eine ausschließlich summative Evaluation (vgl. Bortz, Wottawa); das ist aber oftmals nicht realisierbar und nicht sinnvoll“ (Philipp Mayring)
- die Stichprobe ist nie wirklich zufällig,
- die Kleingruppe entwickelt spezielle Dynamiken und ist daher nicht verallgemeinerbar,
- die Problematik der Kleingruppe kann nicht durch die Untersuchung mehrerer Gruppen beseitigt werden, da sich die Programme an den Klientenbedürfnissen orientieren und daher einmalig sind,
- es gibt keine Kontrollgruppen,
- es gibt kaum valide, reliable Instrumente.

Durch die aufgezählten Kritikpunkte einerseits und die Tatsache andererseits, dass die Pluralisierung der Lebenswelten in der modernen Gesellschaft eine neue Aufmerksamkeit erlebt, erhält die qualitative Forschung eine besondere Aktualität.
Der rasche soziale Wandel und die daraus resultierende Diversifikation von Lebenswelten, ergeben neue Kontexte. Grundlage menschlichen Sinnverstehens, und damit Grundlage qualitativer Sozialforschung sollte die Beschreibung sein . Diese ist perspektivisch, d.h. eine Beschreibung für ein Subjekt aus deren Position heraus. Das bedeutet z.B. aus der Position der Eltern heraus. Diese Erlebnisdeskription der eigenen Situation gibt dem Forscher konkrete Informationen, welchen konkreten Sinn die Person an der Teilnahme an gesellschaftlichen Zuständen sieht. Hier zum Beispiel an der Teilnahme am Programm. Auch die Beschreibung, die wir von anderen geben, ist eine perspektivische. Wichtig ist dabei immer die Bewahrung des originären Sinns.

Dabei lassen sich folgende Prinzipien erkennen:
- Stetiges Überprüfen der Gegenstandsangemessenheit von Methoden und Theorien, auch während der Untersuchung, sodass flexibel auf veränderte Situationen reagiert werden kann.
- Die Methoden sind so offen, dass sie der Komplexität des untersuchten Feldes gerecht werden. Der zu untersuchende Gegenstand ist der Bezugspunkt für die Auswahl der Methode.
Mit E.V.A. wird die Bearbeitung der großen Komplexität der Erfassung der Daten von vier unterschiedlichen Interviewgruppen zu drei verschiedenen Zeitpunkten erfüllt.
- Qualitative Forschung verdeutlicht die Unterschiede der Perspektiven auf einen Gegenstand und setzt bei den subjektiven und sozialen Bedeutungen für die Betroffenen an. Dieses Prinzip ist mit E.V.A. ebenfalls gewährleistet. So ist es möglich die Bedeutungen der Individuen zu analysieren, aber auch was es für die ganze Gruppe (z.B. die Jugendlichen) bedeutet.
- Die Kommunikation des Forschers mit den Interviewten, gilt in qualitativen Verfahren nicht als Störvariable, sondern ist Bestandteil der Untersuchung. Dazu bedarf es aber auch der Beherrschung von bestimmten Kommunikationsregeln. In den Interviewsituationen ist es wichtig, sich Zeit zu nehmen für die Befragten und eine stimmige Atmosphäre zu schaffen, so dass die Menschen bereit sind, über ihre Situation zu sprechen. Gerade durch ein großes Empathieverhalten gelingt es, die Basis zu schaffen, damit die Befragten auch über für sie „sensible“ Themen sprechen.
- Einzelschritte des Untersuchungsprozesses sollen möglichst offen gelegt werden.

Vorgehensweisen bei E.V.A.:

1. Zunächst geht es um die Auseinandersetzung mit der Authentizität und Strukturierung in Bezug auf Annäherung an das Forschungsfeld und der Darstellung der Ergebnisse.
Da E.V.A. bei der alltäglichen Arbeit verwendet wird, versteht der Untersuchende die speziellen Strukturen und Besonderheiten.
2. Als nächster Schritt werden Annahmen getroffen. In der direkten Arbeit gibt es ein Konzept, dessen praktische Anwendung und daraus implizierte Hypothesen über die Wirkungen. Diese sollen im Hinblick auf die persönlichen Erfahrungen der Probanden überprüft werden. Die Frage lautete: „Hat das Programm den Betroffenen in irgendeiner Weise geholfen und wie?“

3. Durch eine Kombination gezielter Forschungsperspektiven und Methoden, können unterschiedlichste Aspekte eines Problems berücksichtigt werden (systematische Triangulation).

Uns ist in der Arbeit sehr wichtig, dass die Meinungen der Betroffenen nicht beeinflusst werden, und die Ansichten mehrerer Personengruppen (Jugendliche, Eltern, Einweiser, Betreuer) erfragt werden. Ein großes Anliegen des Jugend- Intensivprogrammes ist es, die Sicht der agierenden Personen zu verstehen. Daher wird mit einer offenen Befragung, aber eingeschränkt auf das Thema JIP gearbeitet.
Es wurde spezifisch nach Stärken und Schwächen, nach Ursachen und Wirkungen gefragt. Jedoch wurden keine Inhalte vorgegeben.

4. Als nächster Schritt erfolgt die Entscheidung für die Methode.
Die Motivation E.V.A. zu entwickeln, war, ein alltagstaugliches, qualitatives Instrumentarium zu haben und dennoch quantifizierbare Ergebnisse zu erhalten, da diese transparenter zu kommunizieren sind.
Dabei sollen sowohl bei sozialen und politischen Entscheidungen, als auch bei den inhaltlichen Veränderungen, die Überzeugungen und Erfahrungen möglichst vieler Betroffener berücksichtigt werden. Es geht daher um die Achtung voreinander und vor der Meinung der Betroffenen.

5. Die Fixierung der Daten erfolgt durch verschiedene Methoden der Aufzeichnung (Notizen, Tonband) und Transkription. Dabei muss sich der Forscher zumindest mit der Thematik des Textes als Realität auseinandersetzen. Sind die Daten transkribiert, so substituiert dieser Text im weiteren die Realität.
Daher sollte man sich die Frage stellen, was und wie viel vom eigentlich interessierenden Gegenstand letztlich im Text noch übrig bleibt. Dies ist bei E.V.A. sehr viel, da der Originaltext als Ganzes eingegeben wird und über den PC die originären Aussagen jederzeit abrufbar sind.

6. Interpretation der Daten

Abschließend noch ein paar Gedanken zur Geltungsbegründung qualitativer Verfahren.
Generell ist zu sagen, dass kaum eine Untersuchung perfekt ist. Wichtig ist, sich die Begrenztheit einzugestehen und nicht so zu tun, als wäre es anders.
Die Vertrauenswürdigkeit wird bei quantitativen Methoden über die Validität, Reliabilität und Objektivität eingefordert.
Kritiker der qualitativen Methoden kritisieren gerade die Tatsache, dass diese Faktoren nicht überprüfbar wären und damit keine Aussagekraft hätten.
Sie meinen, qualitative Forschung mache Interpretationen und Ergebnisse für den Leser nur über illustrative Zitate nachvollziehbar. Dabei entscheide der Forscher was relevant und was irrelevant sei. Daher bestehe die Gefahr, dass wichtige Aspekte ausgeblendet blieben.
Dies ist mit E.V.A. nicht gegeben, da die Ergebnisse quantifiziert wurden und alle Ergebnisse bis zum originären Text zurück zu verfolgen sind.
Auch erheben wir einerseits nicht den Anspruch auf Generalisierbarkeit und gibt es hier andererseits Faktoren, die diese Vertrauenswürdigkeit steigern sollen:

- Z.B. Triangulationen. Damit sind mehrere Kombinationsvariationen, wie die Einbindung verschiedener Forscher, verschiedener Methoden, mehrerer örtlicher und zeitlicher Settings oder Daten gemeint.
„Als Subtypen der Daten-Triangulation differenziert Denzin nach Zeit, Raum und Personen und propagiert die Untersuchung von Phänomenen zu verschiedenen Zeitpunkten, an verschiedenen Orten und Personen.“

Mit E.V.A. findet eine Datentriangulation statt, da ein Einbezug verschiedener Datenquellen durch verschiedene Interviewgruppen (Eltern, Jugendliche, Einweiser, Betreuer), zu verschiedenen Zeitpunkten (vor dem Projekt, nach dem Projekt und nach einem Jahr) und an verschiedenen Orten (zuhause, im Büro der Organisation, in einem Cafe) gemacht wird.

- Übertragbarkeit als Gegenstück zur externalen Validität. Überprüft wird das Ausmaß zu dem ein Ergebnis vielleicht auf andere Situationen übertragen werden könnte. Diesen Anspruch erheben wir hier nur eingeschränkt. Allerdings ermöglicht E.V.A. ein benchmarking gleicher Arbeitsbereiche.

- Verlässlichkeit als Gegenstück zur Reliabilität. Hier stellt sich die Frage, in wie weit man sich auf den Untersuchenden verlassen kann, ein Phänomen richtig zu messen. Es geht also um die Beantwortung der Fragen: Sind die Erkenntnisse in den Daten begründet? Sind die Schlüsse logisch? Eine Auditierung zur Offenlegung des Vorgehens und der Durchführung im Prozess, scheint dabei eine Lösung zu sein. Da E.V.A. noch ein sehr junges Produkt ist, steht die Überprüfung dieses Kriteriums noch aus.
- Bestätigbarkeit als Gegenstück zur Objektivität. Sie erkennt das Ausmaß, zu dem eine Untersuchung neutral ist. Dabei wird überprüft, in wie weit der Forscher seine persönlichen Vorurteile in der Wahrnehmung und Auslegung der Ergebnisse anerkennt.

Bei E.V.A. wird die Vertrauenswürdigkeit vor allem durch die Vollständigkeit der Analyse versucht, die durch die Rekonstruierbarkeit und Rückführbarkeit jedes Ergebnisses auf die Rohdaten, nachweisbar ist.

Was bedeutet dies nun in der praktischen Arbeit für das Jugend-Intensivprogramm?

Die Zielgruppe der Befragung sind:
- im Programm betreute Jugendliche
- deren Eltern / Bezugspersonen
- Einweiser (Geldgeber)

Themenbereiche, die uns interessieren:
- Zugangswege: Wie erfahren die Klienten vom Angebot? Wie erleben sie die erste Kontaktaufnahme?
- Erwartungen an das Programm?
- Beurteilung des Programms in Bezug auf: Erfüllung der Erwartungen? Was hat es für sie persönlich gebracht? Was war gut? Was war schlecht? Verbesserungsvorschläge?

Vorgangsweise:

Da das Jugend- Intensivprogramm mittlerweile auch von Partnerorganisationen des Instituts für Sozialdienste angeboten wird, wird die Zahl der zu Befragenden immer größer.
Ein Beauftragter, führt mit allen beteiligten Personen eines JIP Programms insgesamt 2-3 Interviews (am Anfang und nach ca. 6-12 Monaten nach Beendigung des Programms) ab. Dafür erhält er lediglich einen Leitfaden für die zu stellenden Fragen.
In manchen Fällen, können die Fragen auch schriftlich beantwortet werden.
Die Ergebnisse, werden an die Zentrale weitergeleitet, welche diese dann mittels des PC Programms E.V.A. auswertet.

Die Interviews werden aus einem Word Dokument in das Programm E.V.A. importiert. Nach dem Festlegen der Kriterien (z.B. Jugendlicher, Alter, Einweisungsgrund), wird der Text in einzelne, zu analysierende Elemente zergliedert. Bereits in Vorarbeiten wurden spezifische Codierungen in Bezug auf das Untersuchungsfeld vorgenommen und zu Klassen zusammengefasst. Diese Datenbank ist fester Bestandteil von E.V.A., kann aber jederzeit erweitert werden, falls neue relevante Aspekte hinzukommen.
In der Bearbeitung der einzelnen Basistexte erfolgt eine Analyse der Bewertungen der Aussagen der Interviewten und welche kognitiven Zusammenhänge sie daraus schließen.

Ein Beispiel:

Der Themenbereich „Verhaltensänderungen“ wurde von den Interviewten zunächst von sich aus angesprochen. 94mal wurde er in einem positiven Bezug genannt, 56mal in einem Negativen. Weiters beschrieben die Befragten Zusammenhänge des Themenbereichs „Verhaltensänderungen“ mit den Themenbereichen „Beziehungsarbeit“, „Auslandsaufenthalt“, „Systemischer Arbeit“ und „Ambulanter Betreuung“.

Die Komprimierung in Themenbereiche, kann mittels des Programms rückverfolgt werden bis hin zum Originaltext. Daher ist eine Problemfeldanalyse einfach und effizient.
Mittels des Programms können die Ergebnisse in Form von Tabellen
und Grafiken anschaulich dargestellt werden und dienen so einer optimalen Präsentation, z.B. gegenüber Geldgebern.

Weiter Informationen zum Jugend-Intensivprogramm unter www.ifs.at/html-texte/jipd.htm

EVA zum Download (PDF, 50KB)