Deutsch Englisch
Navigation

Leitung

Prof. Dr. Reinhard Stockmann

Inhaber des Lehrstuhls für Soziologie der Universität des Saarlandes und Direktor des CEval

E-Mail:

r.stockmann(at)mx.uni-saarland.de

Telefon:

+49 (0)6 81 - 3 02 - 33 72

Telefax:

+49 (0)6 81 - 3 02 - 38 99

Sprechzeiten

Nach Vereinbarung

Anschrift

Universität des Saarlandes

Centrum für Evaluation
Zi. E 19, Geb. C 5 3
Postfach 15 11 50

D-66041 Saarbrücken

 

 

 

 

Prof. Dr. Reinhard Stockmann beschäftigt sich seit fast 30 Jahren mit Theorien und Methoden der Evaluationsforschung, hat über 200 Evaluationsstudien insbesondere in den Bereichen Entwicklungszusammenarbeit, Bildung und Umwelt geleitet oder selbst durchgeführt sowie ein umfangreiches Programm zur Aus- und Weiterbildung entwickelt. Darüber hinaus hat er zahlreiche Monitoring- und Evaluationssysteme für EZ-Projekte in Ländern Afrikas, Asiens und Lateinamerika entwickelt und implementiert sowie eine Vielzahl von Lehrbüchern geschrieben, die in mehrere Sprachen übersetzt wurden.

Um den Bereich der Evaluation weiter zu professionalisieren, hat er 2002 an der Universität des Saarlandes das Centrum für Evaluation (CEval) gegründet, dem er vorsteht. Er ist Mitbegründer der DeGEval-Gesellschaft für Evaluation (1997) und war zehn Jahre lang Leiter des DeGEval-Arbeitskreises „Evaluation von Entwicklungspolitik“. Außerdem ist er Initiator und geschäftsführender Herausgeber der „Zeitschrift für Evaluation“ sowie der Reihe „Sozialwissenschaftliche Evaluationsforschung“ im Waxmann Verlag. Neben Fortbildungsprogrammen im Bereich der Evaluation hat Prof. Stockmann in Kooperation mit weiteren Hochschulen des Saarlandes den Studiengang „Master of Evaluation“ entwickelt, der im WS 2004/05 an der Universität des Saarlandes als erster Evaluationsstudiengang in Deutschland eingeführt wurde.

Wissenschaftlicher Tätigkeiten

seit 1/1997 C4-Professur für Soziologie an der Universität des Saarlandes,
Saarbrücken
4/1996-3/1997 Hochschuldozent (C2) an der Universität Mannheim
4/1995-3/1997 Vertretung einer C4-Professur für Soziologie an der Universität des Saarlandes, Saarbrücken
10/1987-3/1995 Wissenschaftlicher Assistent am Lehrstuhl für Methoden der empirischen Sozialforschung und angewandte Soziologie an der Universität Mannheim
1/1983-9/1986

Wissenschaftlicher Angestellter am Lehrstuhl für Methoden der empirischen Sozialforschung und angewandte Soziologie an der Universität Mannheim
Mitarbeiter im Forschungsprojekt „Vergleichende Analysen der Sozialstruktur mit Massendaten“ (VASMA)

   

Tätigkeiten außerhalb der Universität

seit 1/1988 freier Gutachter für nationale und internationale, staatliche und nicht-staatliche Organisationen der Entwicklungszusammenarbeit
10/1986-9/1987 Referent im Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung für die Entwicklungszusammenarbeit mit den Ländern Venezuela, Kolumbien, Panama u. Mexiko
seit 1/1974 freie journalistische Tätigkeit für mehrere überregionale Zeitungen, Zeitschriften und Rundfunkanstalten (insbes. Länderanalysen, Reise- und entwicklungspolitische Berichte)
 

Leitungsfunktionen

2007-2008 Leiter des Arbeitskreises „Evaluation von Kultur und Kulturpolitik“ in der Gesellschaft für Evaluation (DeGEval)
seit 2004
Leiter des MA-Studiengangs „Evaluation“ der Universität des Saarlandes und der Hochschule für Technik und Wirtschaft des Saarlandes
seit 2002
Leiter des Centrums für Evaluation (CEval) an der Universität des
Saarlandes
1997-2007
Leiter des Arbeitskreises „Evaluation von Entwicklungspolitik“ in der Gesellschaft für Evaluation (DeGEval)
seit 1997
Geschäftsführender Direktor des Instituts für Soziologie der Universität des Saarlandes

 

Herausgeberfunktionen

seit 2002 Initiator und geschäftsführender Herausgeber der „Zeitschrift für Evaluation“
seit 2001
Herausgeber der Reihe „Sozialwissenschaftliche Evaluationsforschung“ im Waxmann Verlag

 
Ausbildung
1995 Habilitation:
venia legendi für Soziologie,
verliehen von der Universität Mannheim
1986
Promotion
1979-1982 Studienförderung: Stipendiat des Studienförderungswerkes CUSANUS
1978-1982
Wissenschaftliche Hilfskraft in den Forschungsprojekten SPES (Sozial-Politisches-Entscheidungs-System) und
VASMA (Vergleichende Analysen der Sozialstruktur mit Massendaten)
1976-1982 Universität:

Studium an der Universität Mannheim.
Fächer: Soziologie, Sozialpsychologie, Zeitgeschichte und Politische Wissenschaften
Abschluss: Diplomsoziologie

[Nach oben]

Bücher

JahrTitelAutor
2017Berufsbildungszusammenarbeit mit der VR China. Ein Langzeitvergleich, Waxmann: Münster (erscheint im Herbst 2017)Stockmann, Reinhard; Meyer, Wolfgang
2017Die Zukunft der Evaluation - Trends, Herausforderungen, PerspektivenStockmann, Reinhard; Meyer, Wolfgang
2015Entwicklungspolitik. Theorien - Probleme - Strategien. München: Oldenbourg Wissenschaftsverlag. (2. überarbeitete und erweiterte Auflage) Stockmann, Reinhard; Menzel, Ulrich; Nuscheler, Franz
2015The Future of Evaluation Global Trends, New Challenges, Shared PerspectivesStockmann, Reinhard; Meyer, Wolfgang
2014Evaluation. Eine Einführung. Opladen: Verlag Barbara Budrich. (2. Auflage)Stockmann, Reinhard; Meyer, Wolfgang
2013Metaevaluierung Berufsbildung. Ziele, Wirkungen und Erfolgsfaktoren der deutschen Berufsbildungszusammenarbeit. Münster u.a.: Waxmann.Stockmann, Reinhard; Silvestrini, Stefan
2013Evaluation in Kultur und Kulturpolitik. Eine Bestandsaufnahme. Münster u.a.: Waxmann. Hennefeld, Vera; Stockmann, Reinhard; (Hg.)
2013Functions, Concepts and Methods for Evaluation Research, Basingstoke: Palgrave MacmillanStockmann, Reinhard; Meyer, Wolfgang
2011A Practitioner Handbook on Evaluation.Cheltenham: Edward Elgar.Stockmann, Reinhard; (ed.)
2009Evaluación y Desarrollo de la Calidad. (Spanischsprachige Übersetzung) San Jose: Universidad de Costa Rica.Stockmann, Reinhard
2009Evaluation in der deutschen Entwicklungszusammenarbeit. Bd. 1 Systemanalysen, Bd. 2 Fallstudien. Studie im Auftrag des Bundesministeriums für Wirtschaftliche Zusammenarbeit und Entwicklung – BMZ. 2 Bde. Bd. 8 der Reihe „Sozialwissenschaftliche Evaluationsforschung“. Münster u.a.: Waxmann.Stockmann, Reinhard; Borrmann, Axel
2009Evaluation in German Development Cooperation. A System Analysis. Vol. 9 of the series „Socio-Scientific Evaluation Research“. Muenster: Waxmannn.Stockmann, Reinhard; Borrmann, Axel
2008Evaluation and Quality Management. Principles of Impact-Based Quality Management. Englische Übersetzung des Buches: Evaluation und Qualitätsentwicklung. Frankfurt u.a.: Peter Lang.Stockmann, Reinhard
2008Evaluation und Qualitätsentwicklung. (Übersetzung in chinesische Sprache). Peking: China Social Sciences Press.Stockmann, Reinhard
2007Handbuch zur Evaluation. Eine praktische Handlungsanleitung. Bd. 6 der Reihe Sozialwissenschaftliche Evaluationsforschung. Münster u.a.: Waxmann.Stockmann, Reinhard; (Hg.)
2006Evaluation und Qualitätsentwicklung. Eine Grundlage für wirkungsorientiertes Qualitätsmanagement. Bd. 5 der Reihe Sozialwissenschaftliche Evaluationsforschung. Münster u.a.: Waxmann.Stockmann, Reinhard
2006Evaluationsforschung. Grundlagen und ausgewählte Forschungsfelder. Bd. 1. Münster: Waxmann, dritte überarbeitete und aktualisierte Auflage.Stockmann, Reinhard
2006Evaluation von Nachhaltigkeit. Studienbrief zum Fernstudium "Nachhaltige Entwicklungszusammenarbeit". TU Kaiserslautern.Stockmann, Reinhard; Meyer, Wolfgang
2005Umweltkommunikation im Handwerk: Bestandsaufnahme – vergleichende Analyse – Entwicklungsperspektiven. Bd. 4 der Reihe Sozialwissenschaftliche Evaluationsforschung. Münster: Waxmann.Jacoby, Klaus-Peter; Schneider, Vera; Meyer, Wolfgang; Stockmann, Reinhard
2005Evaluation des DAAD-Programmbereichs I „Stipendien für Ausländer“. Bd. 58 in der Reihe Dokumentation und Materialien. Bonn: DAAD.Stockmann, Reinhard; Krapp, Stefanie
2002Soziologie im Wandel. Universitäre Ausbildung und Arbeitsmarktchancen in Deutschland. Opladen: Leske & Budrich.Stockmann, Reinhard; Meyer, Wolfgang; Knoll, Thomas (Hg.)
2001Nachhaltige Umweltberatung. Eine Evaluation von Umweltberatungsprojekten. Opladen: Leske & Budrich.Stockmann, Reinhard; Meyer, Wolfgang; Gaus, H.; Urbahn, J.; Kohlmann, U.
2001Nachhaltige Umweltberatung. Evaluation eines Förderprogramms der Deutschen Bundesstiftung Umwelt, Opladen: Verlag Leske + BudrichStockmann, Reinhard; Meyer, Wolfgang; Gaus, Hansjörg; Kohlmann, Uwe; Urbahn, Julia
2001Umweltberatung und Nachhaltigkeit. Dokumentation einer Tagung der deutschen Bundesstiftung Umwelt. Berlin u.a.: Erich Schmidt Verlag.Stockmann, Reinhard; Urbahn, Julia
2000Wirksamkeit deutscher Berufsbildungszusammenarbeit. Ein Vergleich zwischen staatlichen und nichtstaatlichen Programmen in der Volksrepublik China. Opladen: Westdeutscher Verlag.Stockmann, Reinhard; Meyer, Wolfgang; Krapp, Stefanie; Koehne, Godehard
2000 Berufliche Umweltbildung und Umwelt­beratung. Grundlagen, Konzepte und Wirkungsmessung, Bielefeld: W. Bertelsmann VerlagHärtel, Michael; Stockmann, Reinhard; Gaus, Hansjörg; (Hrsg.) im Auftrag des Bun­desinstituts für Berufsbildung (BIBB)
1998Transferierbarkeit des Dualen Systems. Eine Evaluation dualer Ausbildungsprojekte in Entwicklungsländern. Berlin: Overall Verlag.Stockmann, Reinhard; Kohlmann, Uwe
1997Implementationsbedingungen eines kooperativen Ausbildungssystems in Ägypten. Berlin: Overall Verlag.Leicht, René; Stockmann, Reinhard
1997Vierzig Jahre Berufsbildungszusammenarbeit mit Ländern der Dritten Welt. Baden-Baden: Nomos.Greinert, Wolf - Diedrich; Heitmann, W.; Stockmann, Reinhard; Vest, B.
1997The Sustainability of Development Cooperation. Baden-Baden: Nomos.Stockmann, Reinhard
1997Qualifikation in kleinen Betrieben Thailands. Berlin: Overall Verlag.Leicht, René; Stockmann, Reinhard
1997Qualifikation in kleinen Betrieben Thailands. Ein Modell für die partizipative Erhebung und Auswertung von Daten. Berlin: Overall Verlag.Stockmann, Reinhard; Leicht, Réné
1996Die Wirksamkeit der Entwicklungshilfe. Opladen: Westdeutscher Verlag. (Habilitationsschrift)Stockmann, Reinhard
1996Ansätze betriebsbezogener Ausbildungsmodelle. Beispiele aus dem islamisch-arabischen Kulturkreis. Berlin: Overall-Verlag.Stockmann, Reinhard; Greinert, Wolf-Dietrich; Heitmann, Werner
1995La eficacia de la ayuda al desarrollo. Baden-Baden: Nomos.Stockmann, Reinhard
1993Hilft die Entwicklungshilfe langfristig? Eine Bestandsaufnahme zur Nachhaltigkeit von Entwicklungsprojekten. Opladen: Westdeutscher Verlag.Stockmann, Reinhard
1992Die Nachhaltigkeit von Entwicklungsprojekten. Eine Methode zur Evaluierung am Beispiel von Berufsbildungsprojekten. Opladen: Westdeutscher Verlag.Stockmann, Reinhard
1987Gesellschaftliche Modernisierung und Betriebsstruktur. Die Entwicklung von Arbeitsstätten in Deutschland 1875-1980. Frankfurt/New York: Campus Forschung. (Dissertation)Stockmann, Reinhard
1985Erwerbsstatistik in Deutschland. Frankfurt a. M./New York: Campus.Stockmann, Reinhard; Willms-Herget, Angelika

Aufsätze

JahrTitelAutor
2017Gemeinsames bedarfs- und qualitätsorientiertes globales Lernen: Entwicklung eines Blended-Learning Masterstudiengangs "Evaluation" in Costa Rica, Deutschland und Uganda. In: Arnold, Rolf; Wolf, Konrad; Wanken, Simone (Hrsg.): Offene und kompetenzorientierte Hochschule. Band I zur Fachtagung "Selbstgesteuert, kompetenzorientiert und offen?!". Baltmannsweiler: Schneider Verlag Hohengehren, S. 243-256Meyer, Wolfgang; Schopper, Sandra; Stockmann, Reinhard
2017Didactical Handbook for the Blended Learning Master of Evaluation (noch nicht veröffentlicht)Meyer, Wolfgang; Schopper, Sandra; Stockmann, Reinhard; Wannemacher, Sophie
2017Evaluation in Deutschland. Woher sie kam, wo sie steht, wohin sie geht. Zeitschrift für Evaluation, Jg. 16, H. 2 (erscheint im September 2017)Stockmann, Reinhard; Meyer, Wolfgang
2017Evaluation multimedialen Lernens. In: Niegemann, H. M.; Weinberger, A. (eds.): Handbuch Bildungstechnologie, Berlin u.a.: Springer (erscheint im Frühjahr 2017)Stockmann, Reinhard; Meyer, Wolfgang
2017Evaluation of Sustainable Development. In: von Hauff, M. (Hrsg.): Sustainable Development Cooperation, Cheltenham: Edward Elgar (erscheint im Frühjahr 2017)Stockmann, Reinhard; Meyer, Wolfgang
2017Berufsbildungsforschung in der Entwicklungszusammenarbeit. In: Rauner, F.; Grollmann, P. (Hrsg.): Handbuch für Berufsbildungsforschung. Bielefeld: W. Bertelsmann (3.) (erscheint im Frühjahr 2017)Stockmann, Reinhard; Meyer, Wolfgang
2016Evaluation und Publikumsforschung. Schnittmengen, Stellenwert und Bedeutung sowie methodische Überlegungen, in: P. Glogner-Pilz, P.S. Föhl (Hrsg.): Handbuch Kulturpublikum. Forschungsfragen und -befunde. Wiesbaden: Springer VS, S. 105-140Stockmann, Reinhard; Hennefeld, Vera
2016Are Some Countries More Prone to Pressure Evaluators than Others? Comparing Findings on Independence of Evaluations from the USA, the UK, Germany and Switzerland. In: American Journal of Evaluation: early online (August 22, 2016)Pleger, L. ; Sager, F.; Morris, M.; Meyer, Wolfgang; Stockmann, Reinhard
2015Evaluation in der Zivilgesellschaft. CEval Arbeitspapier im Auftrag des Deutschen Evaluierungsinstitutes (DEval)Stockmann, Reinhard; Röhrig, Selina
2014Gemeinsames bedarfs- und qualitätsorientiertes globales Lernen: Entwicklung eines Blended-Learning-Masterstudiengangs "Evaluation" in Costa Rica, Deutschland und Uganda. In: Arnold, Rolf; Wolf, Konrad; Wanken, Simone (Hrsg.): Offene und kompetenzorientierte Hochschule. Band 1 zur Fachtagung "Selbstgesteuert, kompetenzorientiert und offen?!". Baltmannsweiler: Schneider Verlag Hohengehren, S. 243-256Meyer, Wolfgang; Schopper, Sandra; Stockmann, Reinhard
2013Evaluation in der Entwicklungszusammenarbeit. In: Wilhelm, J. und Ihne, H. (Hg.): Einführung in die Entwicklungspolitik. Neuauflage (Im Erscheinen).Stockmann, Reinhard
2013Erwartungen, Hoffnungen und Ergebnisse zur Nachhaltigkeit der deutschen staatlichen Berufsbildungsförderung. In: Zeitschrift für Berufs- und Wirtschaftspädagogik Heft 2, 2013, Band 109, S. 170-190Stockmann, Reinhard; Silvestrini, Stefan
2013Zur Methodik von Evaluation in der Kultur und Kulturpolitik. In: Hennefeld/Stockmann (Hg.): Evaluation in Kultur und Kulturpolitik. Eine Bestandsaufnahme. Stockmann, Reinhard
2012Von der Idee zur Institution. Institut für deutsche Entwicklungsevaluierung gegründet. In: Zeitschrift für Evaluation.Stockmann, Reinhard
2012Evaluation und Gesellschaft. In: Rainer Strobl, Olaf Lobermeier und Wilhelm Heitmeyer (Hg.): Evaluation von Programmen und Projekten für eine demokratische Kultur. Wiesbaden: Springer VSStockmann, Reinhard
2012Understanding Sustainability Evaluation and Its Contributions to Policy Making. In: Anneke von Raggamby and Frieder Rubik (Hg.): Sustainable Development, Evaluation and Policy-Making. Theory, Practice and Quality Assurance. Cheltenham (UK) and Northampton (USA): Edward Elgar.Stockmann, Reinhard
2011An introduction to evaluation. In: Stockmann, Reinhard (ed.): A Practitioner Handbook on Evaluation. Cheltenham: Edward Elgar.Stockmann, Reinhard
2011Introduction: what do we need evaluation for? In: Stockmann, Reinhard (ed.): A Practitioner Handbook on Evaluation. Cheltenham: Edward Elgar.Stockmann, Reinhard
2011Competing and complementary approaches to evaluation. In: Stockmann, Reinhard (ed.): A Practitioner Handbook on Evaluation. Cheltenham: Edward Elgar.Stockmann, Reinhard
2011Wer beweist Qualität? Stellungnahme zum VENRO Positionspapier zur Wirkungsbeobachtung. In: Zeitschrift für Evaluation, 10. Jg., Nr. 1: S. 135-140.Meyer, Wolfgang; Rech, Jörg; Silvestrini, Stefan; Stockmann, Reinhard; Wolf, Sonja; Gaus, HansJörg
2011Wie wirken Entwicklungshelfer? Zwei Standpunkte zur Evaluation von Personaleinsätzen. In: Welt-Sichten, Heft 7. Stockmann, Reinhard; Steeb, Michael
2011Unabhängigkeit von Evaluationen. In: Zeitschrift für Evaluation, Heft 1. Stockmann, Reinhard; Meyer, Wolfgang; Schenke, Hanna
2011Zum zehnjährigen Jubiläum der Zeitschrift für Evaluation (Editorial). In: Zeitschrift für Evaluation, Heft 1.Stockmann, Reinhard
2010Evaluation. In: Rolf Arnold, Sigrid Nolda und Ekkehard Nuissl (Hg.): Wörterbuch Erwachsenenbildung. Bad Heilbrunn: Julius Klinkhardt (UTB)Stockmann, Reinhard
2010Der gesellschaftliche Stellenwert von Evaluation. In: Magazin Forschung. Saarbrücken: Universität des Saarlandes.Stockmann, Reinhard
2009Wirkungsorientierung und Evaluierung in der Entwicklungszusammenarbeit. In: Online-Handbuch Demografie des Berlin-Instituts für Bevölkerung und Entwicklung.Stockmann, Reinhard; Reade, Nicolà
2009Entwicklungszusammenarbeit im Bereich der Erwachsenenbildung. Akteure, Strukturen und Wirkungen. In: Zeitschrift für Erwachsenenbildung. 16. Jahrgang, Heft IV.Meyer, Wolfgang; Stockmann, Reinhard
2009Das Evaluationssystem in der deutschen Entwicklungszusammenarbeit. In: Zeitschrift für Evaluation, Heft 2.Stockmann, Reinhard; Borrmann, Axel
2008Zur gesellschaftlichen Bedeutung von Evaluation. Nr. 15 aus der Reihe der Arbeitspapiere des CEval. Saarbrücken: Centrum für Evaluation Stockmann, Reinhard
2008Evaluation. In: Arnold, R.; Nolda, S.; Nuissl, E. (Hrsg.): Wörterbuch Erwachsenenpädagogik. Klinkhardt Verlag UTB.Stockmann, Reinhard
2008Was ist eine gute Evaluation? – Einführung zu Funktionen und Methoden von Evaluationsverfahren. In: Bildungscontrolling und Evaluation, Lerneinheit 3+4, AKPD.Stockmann, Reinhard
2008Wirkungsmessung in der Entwicklungszusammenarbeit: Rigorous Impact Evaluation. In: Ökologisches Wirtschaften, Heft 4/2008. S. 23f.Meyer, Wolfgang; Reade, Nicolà; Stockmann, Reinhard
2008Development Aid and VET Research. In: Felix Rauner und Rupert Maclean (Hg.): Handbook of Technical and Vocational Education and Training Research. Heidelberg: Springer.Godehard Köhne; Stockmann, Reinhard
2008Rigorous Impact Evaluation. Wirkungsmessung in der Entwicklungszusammenarbeit, in: Ökologisches Wirtschaften 4/ 2008, pp. 23-24.Meyer, Wolfgang; Reade, N.; Stockmann, Reinhard
2007Wozu brauchen wir Evaluation? In: Stockmann, Reinhard (Hg.): Handbuch zur Evaluation. Eine praktische Handlungsanleitung. Münster: Waxmann Verlag.Stockmann, Reinhard
2007Einführung in die Evaluation. In: Stockmann, Reinhard (Hg.): Handbuch zur Evaluation. Eine praktische Handlungsanleitung. Münster: Waxmann Verlag.Stockmann, Reinhard
2007Konkurrierende und komplementäre Ansätze zur Evaluation. In: Stockmann, Reinhard (Hg.): Handbuch zur Evaluation. Eine praktische Handlungsanleitung. Münster u.a.: Waxmann Verlag.Stockmann, Reinhard
2007Evaluation als Instrument der kulturpolitischen Steuerung. Grundsätze und Zusammenhänge. In: Kulturmanagement & Kulturpolitik. Vol. 5. Berlin: Raabe-Verlag.Stockmann, Reinhard
2007Evaluation als Instrument der kulturpolitischen Steuerung. Grundsätze und Zusammenhänge. In: Erfolgreich Kultur finanzieren. Vol. 4. Berlin: Raabe-Verlag.Stockmann, Reinhard
2007Konzepte des Qualitätsmanagements und der Evaluation im Vergleich. In: Dieter Schimanke (Hg.): Qualität und Ergebnis öffentlicher Programme. Ein Werkstattbericht. Münster u.a.: Waxmann.Stockmann, Reinhard
2007Zehn Jahre DeGEval (Editorial). In: Zeitschrift für Evaluation. Heft 2.Stockmann, Reinhard
2007Evaluation in der Gesellschaft: Entwicklung, Stand und Perspektiven. In: Zeitschrift für Evaluation. Heft 2.Stockmann, Reinhard
2006Qualitätsmanagement und Evaluation im Vergleich. In: W. Böttcher, H.G. Holtappels, M. Brohm (Hg.): Evaluation im Bildungswesen. Eine Einführung in Grundlagen und Praxisbeispiele. Weinheim und München: Juventa.Stockmann, Reinhard
2006Institutional Quality Guarantee Instead of Program Evaluation? In: Peking University Education Review. Vol. 4, No.1.Stockmann, Reinhard
2005Evaluation des DAAD-P rogrammbereichs I „Stipendien für Ausländer“. Bd. 58 in der Reihe Dokumentation und Materialien. Bonn, DAAD.Stockmann, Reinhard; Krapp, Stefanie
2005 Qualitätsmanagement und Evaluation bei eLearning Programmen. In: Igel, Christoph und Daugs, Reinhard: Handbuch eLearning. Beiträge zur Lehre und Forschung im Sport. Schorndorf, Hofmann.Stockmann, Reinhard
2005Zur Umgestaltung des Evaluationssystems in der Entwicklungszusammenarbeit. In: Schriften des Vereins für Socialpolitik (Hg.): Zur Bewertung der Entwicklungszusammenarbeit. Berlin, Duncker & Humblot.Stockmann, Reinhard
2005Evaluation von Nachhaltigkeitskommunikation. In: Michelsen, G. & Godemann, J. (Hg.) Handbuch Nachhaltigkeitskommunikation. Grundlagen und Praxis. München, Ökom- Verlag, S. 349-360.Meyer, Wolfgang; Stockmann, Reinhard
2004Berufsbildung braucht neue Impulse. Entwicklungspolitische Bedeutung muss gestärkt werden. In: Berufsbildung in Wissenschaft und Praxis. (2/2004).Stockmann, Reinhard
2004Wirkungsorientierte Programmevaluation: Konzepte und Methoden für die Evaluation von E-Learning. In: D. M. Meister, S-O. Tergan u. P. Zentel (Hrsg.): Evaluation von E-Learning. Zielrichtungen, methodologische Aspekte, Zukunftsperspektiven. Waxmann Verlag, 2004.Stockmann, Reinhard
2004Bildung als zentraler Faktor für Entwicklung. In: K.M. Girardet (Hrsg.): Bildung. Ziele-Wege- Probleme. St. Ingbert: Röhrig Universitätsverlag, 2004.Stockmann, Reinhard
2004Evaluationsforschung – Ansatz und Methoden. In: Eva- Net, (http://www.llevanet.his. de), 2004.Stockmann, Reinhard
2004Institutionelle Qualitätssicherung statt Programmevaluation? In: Hochschulrektorenkonferenz (Hrsg.): Qualitätssicherung an Hochschulen – Neue Herausforderungen nach der Berlin-Konferenz. Bielefeld: Bertelsmann, 2004.Stockmann, Reinhard
2004Was ist eine gute Evaluation? Einführung zu Funktionen und Methoden von Evaluationsverfahren. In: K. Ermert (Hrsg.): Evaluation in der Kulturförderung. Wolfenbüttel: Bundesakademie für kulturelle Bildung, 2004.Stockmann, Reinhard
2004Nachbetreuung ehemaliger Studierender aus Entwicklungsländern. Teilbericht: Methodische Konzeption und Ergebnisse des Alumni Survey. In: DAAD (Hrsg.): Programmstudie. Nachbetreuung ehemaliger Studierender aus Entwicklungsländern. Bonn.Stockmann, Reinhard; Heise, Maren
2003Das Schweigen des Parlaments: Die vergessene Frage der Nachhaltigkeit deutscher Entwicklungszusammenarbeit. In: Aus Politik und Zeitgeschichte (B13-14/2003), 7-14.Caspari, Alexandra; Kevenhörster, Paul; Stockmann, Reinhard
2003Umweltkommunikation in Verbänden. Von der Aufklärungsarbeit zur institutionellen Steuerung nachhaltiger Entwicklung, in: Linne, G.; Schwarz, M. (Hrsg.), Wie ist nachhaltiges Wirtschaften machbar? Ein Handbuch für nachhaltige Entwicklung, Opladen: Leske+Budrich.Meyer, Wolfgang; Jacoby, Klaus-Peter; Stockmann, Reinhard
2003Sustainability of Development Projects: Different Findings according to Definitions. A new Approach based on a German Example. (Zus. mit Alexandra Caspari).Stockmann, Reinhard
2003Entwicklungszusammenarbeit – Schlüssel zur Nachhaltigkeit. In: punkt.um (7/2003), S. 18.Caspari, Alexandra; Stockmann, Reinhard
2003Umweltkommunikation in Verbänden. Von der Aufklärungsarbeit zur institutionellen Steuerung nachhaltiger Entwicklung. In: Linne, G./Schwarz, M. (Hrsg.), Handbuch Nachhaltige Entwicklung. Wie ist nachhaltiges Wirtschaften machbar? Opladen: Leske+ Budrich, S. 209-221.Meyer, Wolfgang; Stockmann, Reinhard; Jacoby, Klaus-Peter
2003Nachhaltige Entwicklung ohne Staat? Politische Steuerung zwischen globalen Ansprüchen, nationalen Interessen und lokaler Machbarkeit. In: Allmendinger, J. (Hrsg.), Entstaatlichung und Soziale Sicherheit. Verhandlungen des 31. Kongresses der Deutschen Gesellschaft für Soziologie in Leipzig 2002 Bd. 1, Opladen: Leske+Budrich (auf CD-ROM; Beitrag zur Sitzung der gleichnamigen Ad-hoc-Gruppe).Meyer, Wolfgang; Stockmann, Reinhard
2003Wirkungsorientierte Programmevaluation: Konzepte und Methoden für die Evaluation von E-Learning. In: D. M. Meister, S-O. Tergan u. P. Zentel (Hrsg.): Evaluation von E-Learning. Zielrichtungen, methodologische Aspekte, Zukunftsperspektiven. Münster u.a.: Waxmann Verlag.Stockmann, Reinhard
2003Das Schweigen des Parlaments: Die vergessene Frage der Nachhaltigkeit deutscher Entwicklungszusammenarbeit. (Zus. mit Alexandra Caspari und Paul Kevenhörster). In: Aus Politik und Zeitgeschichte, B 13-14.Stockmann, Reinhard
2003Neue Pfade für altes Paradepferd gesucht. Wie Deutschland die Berufsbildung im Süden fördert. In: der Überblick, 39. Jg., Heft 1.Stockmann, Reinhard
2003Umweltkommunikation in Verbänden. Von der Aufklärungsarbeit zur institutionellen Steuerung nachhaltiger Entwicklung. In: G. Linne u. M. Schwarz (Hrsg.): Handbuch Nachhaltige Entwicklung. Wie ist nachhaltiges Wirtschaften machbar? Opladen: Leske + Budrich.Stockmann, Reinhard
2003Nachhaltige Entwicklung ohne Staat? In: Entstaatlichung und soziale Sicherheit. 31. Kongress der Deutschen Gesellschaft für Soziologie. Bd. Ad-hoc-Gruppen.Stockmann, Reinhard
2003Eine Konzeption zur Evaluation der Nachhaltigkeit politischer Programme. In: Entstaatlichung und soziale Sicherheit. 31. Kongress der Deutschen Gesellschaft für Soziologie. Bd. Ad-hoc-Gruppen.Stockmann, Reinhard
2003Qualitätsmanagement und Evaluation bei e-Learning Programmen. In: Ch. Igel u. R. Daugs: e-Learning in Sportwissenschaft und Sport. Schriftenreihe des Bundesinstituts für Sportwissenschaft. Schorndorf: Hofmann.Stockmann, Reinhard
2003Zur Umgestaltung des Evaluationssystems der Entwicklungszusammenarbeit. In: Schriften des Vereins für Socialpolitik (Hrsg.): Zur Bewertung der Entwicklungszusammenarbeit.Stockmann, Reinhard
2003Institutionelle Qualitätssicherung statt Programmevaluation? In: Hochschulrektorenkonferenz (Hrsg.): Qualitätssicherung an Hochschulen – Neue Herausforderungen nach der Berlin-Konferenz. Bonn: Beiträge zur Hochschulpolitik.Stockmann, Reinhard
2003Die Standards für Evaluation zeigen, worauf es bei ´guten` Evaluationen ankommt. In: Berufsbildung in Wissenschaft und Praxis. 32. Jg., Heft 6.Stockmann, Reinhard
2002Measuring the Impact of Vocational Training Projects (erscheint auf russischer Sprache in einer russischen Berufsbildungszeitschrift).Stockmann, Reinhard; Meyer, Wolfgang
2002Evaluation im Rahmen des 31. Kongresses der Deutschen Gesellschaft für Soziologie in Leipzig 07-12.10.2002. In: Zeitschrift für Evaluation 2/2002.Kromrey, H.; Meyer, Wolfgang; Stockmann, Reinhard
2002Nachhaltigkeit der Entwicklungszusammenarbeit. Ein mehrdimensionales Nachhaltigkeitskonzept und seine Anwendung. In: V. Jäggi, U. Mäder u. K. Windisch (Hg.): Entwicklung, Recht, Sozialer Wandel. Festschrift für Paul Trappe. Bern u.a.: Peter Lang.Stockmann, Reinhard
2002Quo vadis Soziologie? In: R. Stockmann, W. Meyer u. T. Knoll: Soziologie im Wandel. Universitäre Ausbildung und Arbeitsmarktchancen in Deutschland. Opladen: Leske + Budrich.Stockmann, Reinhard
2002Soziologie, die Erfolgsgeschichte eines akademischen Faches. In: R. Stockmann, W. Meyer u. T. Knoll: Soziologie im Wandel. Universitäre Ausbildung und Arbeitsmarktchancen in Deutschland. Opladen: Leske + Budrich.Stockmann, Reinhard
2002 Zur Notwendigkeit und Konzeption einer deutschsprachigen "Zeitschrift für Evaluation" (Editorial). In: Zeitschrift für Evaluation, 1. Jg.Stockmann, Reinhard
2002Herausforderungen und Grenzen, Ansätze und Perspektiven der Evaluation in der Entwicklungszusammenarbeit. In: Zeitschrift für Evaluation, 1. Jg.Stockmann, Reinhard
2002Evaluation der Umweltberatungsprojekte des Bundesumweltminis-teriums und des Umweltbundesamtes. Nachhaltige Wirkungen der Förderung von Bundesverbänden, Berlin: Umweltbundesamt (UBA-Texte 02-36).Meyer, Wolfgang; Jacoby, Klaus-Peter; Stockmann, Reinhard
2002Umweltberatung in Verbänden. Berlin: UBA-Textreihe.Stockmann, Reinhard; Meyer, Wolfgang; Jacoby, Klaus-Peter
2002Nachhaltigkeit der Entwicklungszusammenarbeit. Ein mehrdimensionales Nachhaltigkeitskonzept und seine Anwendung. In: V. Jäggi, U. Mäder u. K. Windisch (Hg.): Entwicklung, Recht, Sozialer Wandel. Festschrift für Paul Trappe. Bern u.a.: Peter Lang.Stockmann, Reinhard
2002Evaluation und Qualitätsmanagement. In: Zeitschrift für Evaluation, 1. Jg., Heft 2, 2002.Stockmann, Reinhard
2002Evaluation als integriertes Lehr- und Forschungsprogramm. Das Centrum für Evaluation (CEval) an der Univer-sität des Saarlandes. In: Zeitschrift für Evaluation, 1. Jg., Heft 2, 2002.Stockmann, Reinhard
2002Qualitätsmanagement und Evaluation - Konkurrierende oder sich ergänzende Konzepte? In: Zeitschrift für Evaluation, 1.Jg., Heft 1.Stockmann, Reinhard
2001Der Arbeitskreis "Evaluation von Entwicklungspolitik" in der DeGEval - Vernetzung von Politik, Praxis und Wissenschaft, in: DeGEval e.V.; Evaluation - Reformmotor oder Reformbremse? Köln: DeGEval.Caspari, Alexandra; Stockmann, Reinhard
2001Nachhaltigkeit deutscher EZ-Projekte. Eine operationale Nachhaltigkeitsdefinition und ihre Anwendung; epd-Entwicklungspolitik (14/2001), 26-29.Caspari,Alexandra; Stockmann, Reinhard
2001 Wissenschaftlicher Rigorismus oder praxisorientierter Pragmatismus? Zum Verhältnis zwischen Entwicklungspolitik und Wissenschaft. (Zus. mit Paul Kevenhörster). In: Entwicklung und Zusammenarbeit. 42. Jg., Heft 4.Stockmann, Reinhard
2001Der Arbeitskreis "Evaluation von Entwicklungspolitik" in der DeGEval - Vernetzung von Politik, Praxis und Wissenschaft, in: DeGEval e.V.; Evaluation - Reformmotor oder Reformbremse?, Köln: DeGEval, S. 81-89.Stockmann, Reinhard; Caspari, Alexandra
2001Evaluation der Nachhaltigkeit von Umweltberatung. In: Stockmann, Reinhard; u.a. (Hg.): Umweltberatung und Nachhaltigkeit. Berlin u.a.: Erich Schmidt Verlag.Stockmann, Reinhard
2001Evaluation entwicklungspolitischer Wirkungen in der staatlichen Zusammenarbeit. In: Kurt Hammerich u. Bettina Franke. (Hg.): Nord-Süd/Süd-Nord-Beziehungen. Sankt Augustin: Academia.Stockmann, Reinhard
2001Nachhaltigkeit deutscher EZ-Projekte. Eine operationale Nachhaltigkeitsdefinition und ihre Anwendung, in: epd-Entwicklungspolitik (14/2001), S. 26-29.Stockmann, Reinhard; Caspari Alexandra
2000Soziologie im Abwärtstrend? Eine empirische Untersuchung zur Lage des Fachs Soziologie an deutschen Hochschulen, in: Soziologie. Forum der Deutschen Gesellschaft für Soziologie, H: 4/2000, S. 5-24.Knoll, T.; Meyer, Wolfgang; Stockmann, Reinhard
2000Langfristige Wirkungen der staatlichen EZ. Ergebnisse einer Querschnittsevaluierung zur Nachhaltigkeit, in: E+Z (41/10), 285-287.Caspari, Alexandra; Stockmann, Reinhard; Kevenhörster, P.
2000Evaluation in Deutschland. In: Stockmann, Reinhard; (Hg.): Evaluationsforschung. Opladen: Leske + Budrich.Stockmann, Reinhard
2000Evaluation staatlicher Entwicklungspolitik. In: Stockmann, Reinhard; (Hg.): Evaluationsforschung. Opladen: Leske + Budrich.Stockmann, Reinhard
2000Soziologie im Abwärtstrend? Eine empirische Untersuchung zur Situation der Soziologie an den bundesdeutschen Hochschulen (Zus. mit Thomas Knoll und Wolfgang Meyer). In: Soziologie. Forum der Deutschen Gesellschaft für Soziologie, Heft 4.Stockmann, Reinhard
2000Wirkungsevaluation in der Entwicklungspolitik. In: Vierteljahreshefte zur Wirtschaftsforschung. 69. Jg., Heft 3.Stockmann, Reinhard
2000 Evaluation der Nachhaltigkeit von Umweltberatungsprogrammen: Theoretische und methodische Grundlagen. In: M. Härtel, R. Stockmann, Hj. Gaus (Hg.): Berufliche Umweltbildung und Umweltberatung. Bielefeld: Bertelsmann.Stockmann, Reinhard
1999The Implementation of Dual Vocational Training Structures in Developing Countries - An Evaluation of "Dual-Projects" Assisted by the GTZ. In: Hans-Peter Blossfeld und Stockmann, Reinhard; (Hg.): Globalization and Changes in Vocational Training Systems in Developing and Advanced Industrialized Societies (III). International Journal of Sociology. Bd. 29, Nr. 2, S. 29-65.Stockmann, Reinhard
1999 Wirkungsevaluation in der Entwicklungszusammenarbeit: Notwendige Grenz-überschreitungen. In: Grenzenlose Gesellschaft? 29. Kongress der Deutschen Gesellschaft für Soziologie. Bd. II/2 Ad-hoc-Gruppen. Pfaffenweiler: Centaurus-Verlagsgesellschaft.Stockmann, Reinhard
1999Grenzenlose Evaluation? In: Grenzenlose Gesellschaft? 29. Kongress der Deutschen Gesellschaft für Soziologie. Bd. II/2 Ad-hoc-Gruppen. Pfaffenweiler: Centaurus Verlagsgesellschaft.Stockmann, Reinhard
1999Duale Berufsbildungsmodelle in Entwicklungsländern. Typologie der Implementationsversuche und ihrer Strategien. In: Zeitschrift für internationale erziehungs- und sozialwissenschaftliche Forschung. 16. Jg., Heft 1/2.Stockmann, Reinhard
1999International Journal of Sociology Vol.29 No.2 Globalization and Changes in Vocational Training Systems in Developing and Advanced Industrialized Societies (III).Blossfeld, Hans-Peter; Stockmann, Reinhard
1999International Journal of Sociology Vol.29 No.1 Globalization and Changes in Vocational Training Systems in Developing and Advanced Industrialized Societies (II).Blossfeld, Hans-Peter; Stockmann, Reinhard
1998Viel Kritik - aber wenig profundes Wissen: Der Mangel an Erkenntnissen über die Wirksamkeit der Entwicklungszusammenarbeit und wie er behoben werden könnte. In: Stefan Brüne (Hg.): Erfolgskontrolle in der entwicklungspolitischen Zusammenarbeit. Hamburg: Schriften des Deutschen Übersee-Instituts.Stockmann, Reinhard
1998Kleine Entwicklungsgeschichte der Evaluationsforschung. In: Stefan Brüne (Hg.): Erfolgskontrolle in der entwicklungspolitischen Zusammenarbeit. Hamburg: Schriften des Deutschen Übersee-Instituts.Stockmann, Reinhard
1998Transferierbarkeit dualer Systemelemente in Länder der Dritten Welt. In: Friedhelm Schütte u. Ernst Uhe (Hg.): Die Modernität des Unmodernen. Berlin: Bundesinstitut für Berufsbildung.Stockmann, Reinhard
1998Globalization and Changes in Vocational Training Systems in Developing and Advanced Industrialized Countries - The German Dual System in Comparative Perspective (Zus. mit Hans-Peter Blossfeld). In: Hans-Peter Blossfeld und Stockmann, Reinhard; (Hg.): Globalization and Changes in Vocational Training Systems in Developing and Advanced Industrialized Societies (I). International Journal of Sociology. Bd. 28, Nr. 4, S. 3-28.Stockmann, Reinhard
1998International Journal of Sociology Vol.28 No.4 Globalization and Changes in Vocational Training Systems in Developing and Advanced Industrialized Societies (I).Blossfeld, Hans-Peter; Stockmann, Reinhard
1997 Anwendungsprobleme empirischer Erhebungsmethoden in Entwicklungsländern (Zus. mit Frauke Kreuter). In: Wolf-Dietrich Greinert, Werner Heitmann u. Stockmann, Reinhard; (Hg.): Ansätze betriebsbezogener Ausbildungsmodelle. Beispiele aus dem islamisch-arabischen Kulturkreis. Berlin: Overall-Verlag.Stockmann, Reinhard
1997Ein Modell zur partizipativen Partnerqualifizierung für die Erhebung und Auswertung von Daten. In: René Leicht u. Stockmann, Reinhard; (Hg.): Qualifikation in kleinen Betrieben Thailands. Berlin: Overall-Verlag.Stockmann, Reinhard
1997The Sustainability of Development Projects: An Impact Assessment of German Vocational-Training Projects in Latin America. In: World Development, Vol. 25; Nu. 11.Stockmann, Reinhard
1996Defizite in der Wirkungsbeobachtung. Ein unabhängiges Evaluationsinstitut könnte Abhilfe schaffen. In: Entwicklung und Zusammenarbeit, Heft 8.Stockmann, Reinhard
1996Ausbildungsmodelle in der Berufsbildungszusammenarbeit mit islamisch-arabischen Ländern. In: Wolf-Dietrich Greinert; Werner Heitmann u. Reinhard Stockmann(Hg.): Ansätze betriebsbezogener Ausbildungsmodelle. Beispiele aus dem islamisch-arabischen Kulturkreis. Berlin: Overall-Verlag.Stockmann, Reinhard
1995Ein methodisches Konzept zur Evaluierung der Wirksamkeit von Entwicklungsprojekten. In: Werner Heitmann u. Wolf-Dietrich Greinert (Hg.): Analyseinstrumente in der Berufsbildungszusammenarbeit. Berlin: Overall-Verlag.Stockmann, Reinhard
1995Die Krise der Entwicklungszusammenarbeit: Viel Kritik - aber wenig empirisches Wissen über Nachhaltigkeit. In: Paul Trappe (Hg.): Krisenkontinent Afrika - Ansätze zum Krisenmanagement. Social Strategies, Vol. 27, Basel.Stockmann, Reinhard
1994Zur Nachhaltigkeit von Entwicklungsprojekten. In: Dialog-Forum.Stockmann, Reinhard
1994The Pattern of Changes in the Development of Establishment Size. (Zus. mit René Leicht) In: Small Business Economics, 6. Jg.Stockmann, Reinhard
1994Konzepte der Bildungsförderung und ihre Umsetzung in Entwicklungsgesellschaften (Zus. mit Stefanie Krapp). In: Zeitschrift für Berufs- und Wirtschaftspädagogik, Vol. 90; Heft 4.Stockmann, Reinhard; Krapp, Stefanie
1993Dreißig Jahre Entwicklungszusammenarbeit auf dem Gebiet der Berufsbildung: Programme, Konzepte und ihre Umsetzung. In: Interdisziplinärer Arbeitskreis für Entwicklungsländerforschung (Hg.): 25 Jahre interdisziplinäre Entwicklungsländerforschung in Deutschland - Rückblick und Vorschau. Aachen.Stockmann, Reinhard
1993Langfristige Wirkungen - bisher wenig untersucht. In: Entwicklung und Zusammenarbeit, Heft 2.Stockmann, Reinhard
1993Sind Ex-post-Analysen wirklich nutzlos? Replik auf den Beitrag von Hans-Jörg Elshorst. In: Entwicklung und Zusammenarbeit, Heft 2.Stockmann, Reinhard
1993Die Bewertung der Entwicklungszusammenarbeit. In: Stockmann, Reinhard; Wolf Gaebe (Hg.): Hilft die Entwicklungshilfe langfristig? Bestandsaufnahme zur Nachhaltigkeit von Entwicklungsprojekten. Opladen: Westdeutscher Verlag.Stockmann, Reinhard
1993Die Nachhaltigkeit von Berufsbildungsprojekten. In: Stockmann, Reinhard; Wolf Gaebe (Hg.): Hilft die Entwicklungshilfe langfristig? Bestandsaufnahme zur Nachhaltigkeit von Entwicklungsprojekten. Opladen: Westdeutscher Verlag.Stockmann, Reinhard
1993Nachhaltigkeit. Bilanz eines Themas. In: Stockmann, Reinhard; Wolf Gaebe (Hg.): Hilft die Entwicklungshilfe langfristig? Bestandsaufnahme zur Nachhaltigkeit von Entwicklungsprojekten. Opladen: Westdeutscher Verlag.Stockmann, Reinhard
1993Mehr Kontinuität als Wandel: Rückblick auf 30 Jahre Berufsbildungshilfe. In: Entwicklung und Zusammenarbeit, Heft 5/6.Stockmann, Reinhard
1993Die Kleinen ganz groß? Der Wandel der Betriebsgrößenstruktur im Branchenvergleich. (Zus. mit René Leicht) In: Soziale Welt, 44.Jg.Stockmann, Reinhard
1993The Long Term Impact of Development Aid. A Neglected Field of Research. In: Development and Cooperation, Heft 5.Stockmann, Reinhard
1993Predominó la continuidad. 30 anos de ayuda a la capacitatión profesional. In: Desarrollo y Cooperación, Heft 6.Stockmann, Reinhard
1993Dreißig Jahre Entwicklungszusammenarbeit auf dem Gebiet der Berufsbildung: Programme, Konzepte und ihre Umsetzung. In: Zeitschrift für internationale erziehungs- und sozialwissenschaftliche Forschung, 10. Jg., Heft 2.Stockmann, Reinhard
1992Kolumbien. (Zus. mit Heinrich Krumwiede) In: Peter Waldmann und Heinrich Krumwiede (Hg.): Politisches Lexikon Lateinamerika. München: Beck.Stockmann, Reinhard
1992Kolumbien. (Zus. mit Heinrich Krumwiede) In: Dieter Nohlen und Franz Nuscheler (Hg.): Handbuch der Dritten Welt. Bonn: Dietz.Stockmann, Reinhard
1992Ein Analyse- und Erhebungsinstrumentarium zur Erfassung der Nachhaltigkeit von Entwicklungsprojekten. In: Ch. Reichert, E. K. Scheuch und H.D. Seibel (Hg.): Empirische Sozialforschung über Entwicklungsländer - Methodenprobleme und Praxisbezug. Saarbrücken u.a.: Breitenbach.Stockmann, Reinhard
1991Bedeutung der Klein- und Mittelbetriebe am Arbeitsmarkt. Eine betriebsgrößenspezifische Untersuchung auf Grundlage der Arbeitsstättenzählungen. (Zus. mit René Leicht) In: Statistisches Landesamt Baden-Württemberg. Jahrbücher für Statistik und Landeskunde von Baden-Württemberg. 36. Jg.Stockmann, Reinhard
1989Zwischen wirtschaftlicher Prosperität und gesellschaftlicher Zerrüttung. In: Hispanorama. Nürnberg. Vol. 52.Stockmann, Reinhard
1989Die neue Violencia. Kolumbien in der Tradition der Gewalt. In: Ibero-Amerikanisches Archiv. Vol.15, Heft 3.Stockmann, Reinhard
1989Administrative Probleme staatlicher Entwicklungszusammenarbeit. Entwicklungsengpässe im Bundesministerium für wirtschaftliche Zusammenarbeit? In: Manfred Glagow (Hg.): Deutsche und internationale Entwicklungspolitik. Opladen: Westdeutscher Verlag.Stockmann, Reinhard
1989Nachhaltigkeit als Prüfstein erfolgreicher Entwicklungspolitik. In: Entwicklung und Zusammenarbeit. Heft 6.Stockmann, Reinhard
1988Strukturelle Einflußfaktoren der gewerblichen Beschäftigung von Frauen im Wandel der Zeit. In: Soziale Welt. 39. Jg.Stockmann, Reinhard
1988Kolumbien: Eine Gesellschaft in Auflösung. In: Die Americas, Vol. 2.Stockmann, Reinhard
1988Gesellschaftliche Zerrüttung trotz wirtschaftlicher Prosperität. Kolumbiens Rechts- und Gesellschaftsordnung droht zu zerbrechen. In: Jahrbuch Dritte Welt. Hrsg. vom Deutschen Übersee-Institut Hamburg. München: Beck.Stockmann, Reinhard
1987Historisch-vergleichende Studien zum langfristigen Wandel der Erwerbsstruktur in Deutschland. In: Historical Social Research. Vol. 44.Stockmann, Reinhard
1986Wachstum und Strukturwandel des Beschäftigungssystems. Eine Analyse der historischen Berufs- und Arbeitsstättenzählungen in Deutschland. (Zus. mit Wolfgang Kleber). In: Soziale Welt. 37. Jg., S. 48-78.Stockmann, Reinhard
1985Gewerbliche Frauenarbeit in Deutschland 1875-1980: Zur Entwicklung der Beschäftigtenstruktur. In: Geschichte und Gesellschaft. 11. Jg., S. 447-475.Stockmann, Reinhard
1985 Indikatoren zum langfristigen Strukturwandel des Beschäftigungssystems, 1882-1982. (Zus. mit Wolfgang Kleber) In: Franz, H.W. (Hg.): Materialienband: Beiträge aus den Sektions- und ad-hoc-Veranstaltungen des 22. Deutschen Soziologentages in Dortmund. Köln u. Opladen: Westdeutscher Verlag.Stockmann, Reinhard
1984Ein Klassifikationsschema für den Vergleich der Deutschen Arbeitsstättenzählungen von 1875 bis 1970. In: Historical Social Research. Vol. 32, S. 59-84.Stockmann, Reinhard
1983Konzentration und Reorganisierung von Unternehmen und Betrieben. Empirische Analysen zur Entwicklung der nichtlandwirtschaftlichen Arbeitsstätten und Unternehmen in Deutschland, 1875-1970. (Zus. mit Guido Dahm und Klaus Zeifang) In: Walter Müller und Max Haller: Beschäftigungssystem im gesellschaftlichen Wandel. Frankfurt/New York: Campus.Stockmann, Reinhard
1980Peru: Am Ende eines Weges. Militärs werden nach zwölfjähriger Herrschaft von einer Zivilregierung abgelöst. In: Entwicklung und Zusammenarbeit, Heft 4.Stockmann, Reinhard

Manuskripte und Gutachten

JahrTitelAutor
2017MABLE Didactical Handbook Version 1.1 (March 2017). Saarbrücken: CEval.Stockmann, Reinhard; Meyer, Wolfgang; Schopper, Sandra; Wannemacher, Sophie
2016Weiterentwicklung und Erprobung eines Konzeptes zur Dokumentation und Evaluierung von Leistungen der Agrarforschung für Praxis und Gesellschaft (Praxis-Impact II). Abschlussbericht des durch das Bundesministeriums für Ernährung und Landwirtschaft im Rahmen des Bundesprogramms Ökologischer Landbau und andere Formen nachhaltiger Landwirtschaft geförderten Projekts, Kassel/SaarbrückenWolf, Birge; Szerencsits, Manfred; Heß, Jürgen; Gaus, Hansjörg; Müller, Christoph; Stockmann, Reinhard
2013Wirkungsorientiertes Monitoring und Evaluation, Studienbrief OE0330 zum Fernstudiengang Organisationsentwicklung der Technischen Universität Kaiserslautern, Kaiserslautern: DISC.Stockmann, Reinhard; Meyer, Wolfgang
2012Synthese und Meta-Evaluierung Berufliche Bildung. Im Auftrag der GIZ, Eschborn.Stockmann, Reinhard; Silvestrini, Stefan
2011Re-Evaluation des Aufbaustudiengangs ‚Regionalwissenschaft und Raumplanung‘ am Karlsruher Institut für Technologie (KIT) im Auftrag des DAAD, Bonn.Stockmann, Reinhard; Müller, Bernhard; Stückradt, Michael
2010Unabhängigkeit von Evaluationen, Draft-Version zur DeGEval-Jahrestagung in Luxemburg. Universität des Saarlandes, Saarbrücken.Stockmann, Reinhard; Meyer, Wolfgang; Schenke, Hanna
1999Wirkungsanalyse ausgewählter Berufsbildungsprojekte in der VR China (2 Bde), Saarbrücken: Universität des Saarlandes.Stockmann, Reinhard; Meyer, Wolfgang; Krapp, Stefanie
[Nach oben]

Laufende Projekte

ProjektnameBeginnEndeAuftraggeber
Hochschulkooperation mit der Universität von Costa Rica (UCR) und der Päpstlichen Katholischen Universität von Ecuador (PUCE) gefördert durch das DAAD-Programm "Fachbezogene Partnerschaften mit Hochschulen in Entwicklungsländern"7/201712/2020Deutscher Akademischer Austauschdienst (DAAD)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: M.Sc. Lena Taube

Beschreibung

Die Universität des Saarlandes (UdS) und die Universität von Costa Rica (UCR) pflegen seit 2008 eine intensive Zusammenarbeit, welche zwischen 2012 und 2015 durch das DAAD Programm "Fachbezogene Partnerschaften mit Hochschulen und Entwicklungsländern" unterstütz wurde. Durch das DAAD-Beraterprogramm war bereits die vorangegangene Zusammenarbeit der beiden Hochschulen finanziell unterstützt worden. Vor dem Hintergrund eines stetig steigenden Bedarfs an Evaluationen und Evaluationskompetenzen sind beide Partner bestrebt die Zusammenarbeit im Rahmen des DAAD-Programms weiterzuführen und durch die Einbindung einer weiteren Partnerschule nachhaltig auszuweiten. Hierfür konnte die Päpstliche Katholische Universität von Ecuador (PUCE) gewonnen werden.

Kernstücke dieser dritten Phase der Kooperation sollen die Einführung eines neuen Blended Learning Masterstudiengangs in Evaluation an der PUCE bzw. eines Blended Learning Weiterbildungsangebotes am Centrum für Forschung und Weiterbildung in Öffentlicher Verwaltung (CICAP) der UCR sowie die Qualitätssicherung der Aus- und Weiterbildung in Evaluation in Costa Rica, Ecuador und Lateinamerika sein (Verbesserung der Aus- und Weiterbildung sowie der Forschung in Evaluation). Zudem stehen der Aufbeau eines lateinamerikanischen Hochschulnetzwerkes im Fachbereich Evaluation (Netzwerkbildung und Internationalisierung), die Stärkung des Praxisbezugs der akademischen Evaluationsausbildung sowie der Beitrag zu evidenzbasiertet Politikgestaltung (Anwendung wissenschaftlicher Evaluationsforschung in der politischen Praxis) und schließlich die Vertiefung und institutionelle Erweiterung der Zusammenareit zwischen den beteiligten Universitäten sowie dem Forschungsinstitut CICAP (Dreiecks- und Süd-Süd-Kooperation) auf dem Programm der auf vier Jahre angelegten Partnerschaft.

Abgelaufene Projekte

ProjektnameBeginnEndeAuftraggeber
Wirkungsmonitoring im Rahmen der TZ-Maßnahme und Wirkungsevaluation auf systemischer Ebene zum Beitrag der Maßnahme zur Verzahnung von EZ und AWF3/20172/2018Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: M.Sc. Elisabeth Schneider

Kooperationspartner: iSPO Institut - Institut für Sozialforschung, Praxisberatung und Organisationsentwicklung GmbH

Beschreibung

Die Herausforderungen des Klimawandels und des kontinuierlichen Rückgangs fossiler Brennstoffvorräte treffen die verschiedenen Regionen der Erde in unterschiedlicher Weise. Die Staaten haben sich dabei ambitionierte Ziele gesetzt: Mexiko möchte z.B. bis zum Jahr 2024 mehr als ein Drittel seiner Energieproduktion durch erneuerbare Energien erzeugen. Trotz aller Bemühungen ist der Umweltschutz bisher im nördlichen Lateinamerika noch nicht sonderlich erfolgreich gewesen. Eine Ursache hierfür ist die mangelhafte Verbreitung moderner Umwelttechnologien in der Region. Hier setzt das Projekt "Kooperationsplattform Lateinamerika Nord (KOPLAN)" an und nimmt vor allem zentrale Defizite in den Blick, die internationalen Investitionen und Kooperationen entgegenstehen. Diese sind vor allem fehlende Fachkompetenzen in der mittelständigen Wirtschaft im Bereich moderner Umwelttechnologien.

Im Rahmen des gegenwärtigen Auftrags unterstützt das CEval gemeinsam mit dem iSPO-Institut das Vorhaben in den Komponenten Wirkungsmonitoring und Evaluation. Ausgangspunkt eines wirkungsorientierten Monitoring ist in aller Regel das Zielsystem inkl. Zielerreichungsindikatoren und relevanter Annahmen der betreffenden Maßnahme. Veränderungen auf anderen Ebenenen, insbesondere im Rahmen von Kooperationsmechanismen, werden dagegen nicht direkt oder nur am Rande im Rahmen des Monitoring thematisiert. Diese Entwicklung von Kooperationssystemen oder aber die Eignung der diesbezüglichen Förderinstrumente werden darüber hinaus im Rahmen der Komponente Evaluation in den Blick genommen.

Im Ergebnis sollen im Rahmen dieses Auftrags neben dem Monitoring und der Erfassung von Wirkungen der Einzelmaßnahmen Erkenntnisse zum Beitrag KOPLANS zur besseren Verzahnung von EZ und AWZ sowie von öffentlichem und privatem Sektor aus systemischer Ebene generiert werden.
Ex-Post Evaluation des Regional-Entwicklungsprogramms „La Malacateca“ in Guatemala 11/20153/2016World Vision Deutschland e.V. (WVD)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Von Oktober 1998 bis September 2012 setzte World Vision in der Gemeinde Malacatán in Guatemala ein Regional-Entwicklungsprogramm um. Das Programm umfasste vier Bereiche: Gesundheit, Bildung, wirtschaftliche Entwicklung und Patenschaften und hatte zum Ziel, die Lebenssituation der Familien zu verbessern. Drei Jahre nach Beendigung des Programms lies World Vision eine Ex-Post-Evaluierung durchführen, um die Nachhaltigkeit der erreichten Wirkungen zu überprüfen. Zu diesem Zweck arbeitete das Centrum für Evaluation mit einer lokalen guatemaltekischen Beratungsfirma (CONSULTA) an der Umsetzung einer quantitativen Haushaltsbefragung mit Kontrollgruppe und qualitativen Erhebungen mit der Zielgruppe und relevanten Schlüsselinformanten.
Fallstudie für Thüringen im Rahmen der Evaluation des “European Dynamics for DEAR Efficiency” Projektes10/201511/2015Planète Publique

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Mitarbeiter: M.A. Christine Nolte

Beschreibung

Das CEval wurde von Planète Publique (Paris) mit der Durchführung einer Fallstudie im Rahmen der Evaluation des EU-Projekts „European Dynamics for DEAR Efficiency“ beauftragt. Das Projekt diente dazu, Maßnahmen der entwicklungspolitischen Bildungsarbeit in vier europäischen Regionen (Thüringen/ Deutschland, Picardie/ Frankreich, Marches/ Italien und Luxembourg/ Belgien) zu fördern sowie den Austausch und das gegenseitige Lernen der teilnehmenden Akteure anzuregen. In Thüringen wurden entwicklungspolitische Bildungsmaßnahmen der schulischen und außerschulischen Bildung sowie verschiedene Vernetzungsaktivitäten auf regionaler wie auf europäischer Ebene gefördert. Für die Erstellung der Fallstudie hat das CEval qualitative Experteninterviews mit verschiedenen Stakeholdern des Projekts durchgeführt.
Trend- und Wirkungsstudie zum Fairen Handel in Deutschland8/20158/2016Transfair, Servicestelle Kommunen in der Einen Welt, MISEREOR, Brot für die Welt, Forum Fairer Handel; mit Unterstützung der Friedrich-Ebert-Stiftung

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: M.A. Sandra Bäthge

Beschreibung

Der Faire Handel blickt in Deutschland auf eine über 40-jährige Geschichte zurück, in deren Verlauf er sukzessive stärker ins öffentliche Bewusstsein vordrang. Die Wirkungen des Fairen Handels in den Produktionsländern fair gehandelter Produkte sind inzwischen in zahlreichen Studien bearbeitet worden. Demgegenüber fehlen bislang Erkenntnisse darüber, welche Auswirkungen der Faire Handel in den Konsumentenländern zeigt. Diese Lücke schließt die vom CEval durchgeführte Studie zum Fairen Handel in Deutschland. Ihr Ziel ist es, durch den fairen Handel hervorgerufene gesellschaftliche Veränderungen sowie den Beitrag der Fairhandelsbewegung auf diese Trends zu identifizieren. Mithilfe eines partizipativen Ansatzes wird dabei sichergestellt, dass die Expertise und Perspektiven wichtiger Akteure angemessen in die Studie einfließen. Dem Untersuchungsgegenstand widmet sich die Studie weiter entlang eines theoriebasierten Ansatzes und wendet einen ausgewogenen Mix aus qualitativen und quantitativen Methoden an. Zur Datenerhebung werden eine intensive Literaturstudie, qualitative Experteninterviews, Fokusgruppendiskussionen, Online-Erhebungen und eine telefonische Konsumentenbefragung durchgeführt. Die Auswertung der Daten erfolgt unter anderem mittels qualitativer Inhaltsanalysen, Zeitreihenanalysen sowie deskriptiver statistischer Auswertungen. Nach der Datenauswertung werden die Ergebnisse der Studie in einem Bericht aufbereitet und bei einem Abschlussworkshop gemeinsam mit den Auftraggebenden und Unterstützenden der Studie reflektiert.
Synthese von drei Instrumentenevaluationen der Technischen Zusammenarbeit der PTB5/20158/2015Physikalisch-Technische Bundesanstalt (PTB)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: M.A. Sandra Bäthge

Beschreibung

Das CEval wurde von der Physikalisch Technischen Bundesanstalt (PTB) mit der Ergebnissynthese dreier Instrumentenevaluationen beauftragt. 2014 hatte die PTB die separate Evaluation von drei Instrumenten ihrer technischen Zusammenarbeit in Auftrag gegeben – CALIDENA, QuISP und NMI-Metrology User Relations – von denen die ersten beiden vom CEval durchgeführt wurden. Ihrer Ergebnisse sollen nun aggregiert, verglichen und kontrastiert werden um übergeordnete Erfolgsfaktoren und Lernerfahrungen zu identifizieren und relevante Empfehlungen abzuleiten, unter anderem mit Blick auf den zukünftigen Einsatz der Instrumente in der technischen Zusammenarbeit der PTB. Zu diesem Zweck wird das CEval die Evaluationsberichte einer qualitativen Inhaltsanalyse unterziehen und über qualitative Experteninterviews ergänzende Daten sammeln. Die Ergebnisse werden in einem Bericht aufbereitet und der PTB bei einem Workshop präsentiert.
Evaluation der Initiative „Schulen – Partner der Zukunft“ (PASCH)4/201510/2016Auswärtiges Amt

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Mitarbeiter: Dr. Clemens Fell

Beschreibung

Die im Jahr 2008 ins Leben gerufene Initiative „Schulen – Partner der Zukunft“ (PASCH) gehört zu den zentralen Initiativen der Auswärtigen Kultur- und Bildungspolitik der aktuellen Legislaturperiode. PASCH ist ein weltweites Netzwerk von derzeit ca. 1800 Partnerschulen mit hoher Deutschlandbindung, an denen verstärkt Deutsch unterrichtet wird. Die Initiative bündelt breit gefächerte Maßnahmen, die dazu beitragen sollen, lebendige, langfristige Bindungen zu Deutschland aufzubauen und die Schulen, ihre Lehrkräfte sowie Schülerinnen und Schüler zum Austausch und zur Zusammenarbeit anzuregen. PASCH wird vom Auswärtigen Amt koordiniert und gemeinsam mit der Zentralstelle für das Auslandsschulwesen (ZfA), dem Goethe-Institut (GI), dem Pädagogischen Austauschdienst (PAD), der Kultusministerkonferenz (KMK) und dem Deutschen Akademischen Austauschdienst (DAAD) umgesetzt. Im Rahmen der Evaluation wurde PASCH hinsichtlich Relevanz, Effizienz, Effektivität, Wirksamkeit (Impact) und Nachhaltigkeit überprüft. Dabei wurde auch untersucht, inwiefern sich die bestehenden Angebote, Prozesse und Strukturen zukünftig zur Zielerreichung eignen. Auf Basis der Ergebnisse wurden Empfehlungen zur Optimierung der Maßnahmen, Prozesse und Strukturen und zur Schaffung von Synergien abgeleitet. Die Evaluation fand in zwei Phasen statt: In der ersten Phase wurden die Dokumentenanalysen sowie persönliche und telefonische leitfadengestützte Interviews mit Stakeholdern in Deutschland und ausgewählten Partnerländern (Polen, Türkei, China) geführt. Schwerpunkt der zweiten Phase war eine breit angelegte quantitative Onlinebefragung mit den PASCH-Zielgruppen in insgesamt zehn Partnerländern.
Konzeption, (Erst-)Durchführung und Auswertung eines Expertenpanels in Chile zur Analyse qualitativer Rahmenfaktoren des Erneuerbaren Energien Sektors11/20141/2015Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dipl.Reg.Wiss. Christina Gollan

Beschreibung

Die Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ) GmbH unterstützt im Auftrag des Bundesministeriums für Umwelt, Naturschutz, Bau und Reaktorsicherheit (BMUB) das Chilenische Energieministerium bei der Umsetzung von Maßnahmen zur Diversifizierung der Energieversorgung des Landes. Hierfür setzt die GIZ eine Reihe von Vorhaben um, zu denen auch ein Projekt zur Förderung des Ausbaus der Solarenergienutzung zählt. Zu Beginn des Projekts sollten die quantitativen und qualitativen Rahmenfaktoren erfasst werden, die Einfluss auf die Wirksamkeit und Nachhaltigkeit und damit die Zielerreichung des Projekts haben. Insbesondere für die Dokumentation der qualitativen Faktoren waren empirische Daten erforderlich, die im Rahmen eines Expertenpanels, also einer strukturierten Befragung von Energieexperten, erhoben werden sollten. Die CEval GmbH erbrachte im Rahmen dieses Auftrags die folgenden Leistungen: • Konzeptentwicklung: Festlegung der zu befragenden Experten in Abstimmung mit GIZ-Mitarbeitern, Erstellung strukturierter und an verschiedene Akteursgruppen angepasster Fragenkataloge, Konzeption der zukünftig periodisch durchzuführenden Panelerhebungen, methodisches Konzept zur längerfristigen Weiterführung des Expertenpanels • Durchführung der Ersterhebung des Expertenpanels • Auswertung, Nachbereitung und Berichterstattung der Ersterhebung des Expertenpanels • Konzeptentwicklung zur Ableitung quantitativer Wirkungen basierend auf der qualitativen Erhebung unter Anwendung des von Stockmann entwickelten „Trichterverfahrens.
Unterstützung der Aufbereitung von möglichen methodischen Ansätzen zur Evaluierung mittel- und langfristiger Wirkungen der (Politik-) Beratung im spezifischen Kontext des CEPAL-Vorhabens11/201411/2015Hertie School of Governance

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dipl.Reg.Wiss. Christina Gollan

Beschreibung

Die Gesellschaft für Internationale Zusammenarbeit (GIZ) ist im Juli 2014 mit der Durchführung eines zweijährigen TZ-Beratungsvorhabens „Strukturwandel für eine nachhaltige und inklusive Entwicklung“ mit der CEPAL (Wirtschaftskommission für Lateinamerika und die Karibik) beauftragt worden. Vor diesem Hintergrund arbeitet das Vorhaben aktuell mit einem Monitoring-System, welches eine Nachverfolgung der durchgeführten Aktivitäten/Beratungsdienstleistungen der CEPAL (inputs) und deren Nutzung (outputs) erlaubt. Eine Beobachtung der langfristigen Wirkungen findet bisher nur bedingt statt.

Die Hertie-School of Governance (HSoG) wurde mit der Aufbereitung von möglichen methodischen Ansätzen zur Evaluierung mittel- und langfristiger Wirkungen von (Politik-) Beratung im spezifischen Kontext des CEPAL-Vorhabens beauftragt. Da es für eine erfolgreiche Umsetzung des Beratungsprozesses neben Kenntnissen aus der Politikberatung umfassender Expertise in der Evaluationsforschung und -praxis bedarf, ist die HSoG an das Centrum für Evaluation (CEval) herangetreten um dieses als Konsortialpartner zu gewinnen.

Der Beratungsprozess setzt sich dabei aus den folgenden drei Arbeitspaketen zusammen:

  • Grundlegende Aufbereitung theoretischer Ansätze zur Evaluierung von Politikberatung (unter Bezugnahme auf qualitative Methoden der empirischen Sozialforschung);

  • Aufarbeitung von praktischen Erfahrungen aus der Politikberatung, wenn möglich in vergleichbaren Kontexten;

  • Darstellung eines methodischen Ansatzes zur Messung von mittel- und langfristigen Wirkungen aufbauend auf den Erkenntnissen der ersten beiden Arbeitspakete für den spezifischen Kontext des Kooperationsprogramms mit der CEPAL.

    Das CEval war schwerpunktmäßig am dritten Arbeitspaket beteiligt und entwickelte einen methodischen Ansatz, welcher eine Kombination von vorhabenübergreifendem Impact- und programmspezifischem Outcome-M&E umfasst. Der Ansatz sieht dabei einen Methodenmix aus Dokumentenanalyse, standardisierten (Online)Befragungen und leitfadengestütztem Expertenpanel vor.

Aufbau eines wirkungsorientierten M&E-Systems in Deutschland für die Kooperationsplattform Lateinamerika Nord (KOPLAN)2/201412/2015Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Mitarbeiter: Dipl.Reg.Wiss. Christina Gollan

Beschreibung

Innovative Umwelt- und Klimatechnologien werden bislang nur in geringem Maße in Zentralamerika und Mexiko genutzt. Eine Ursache hierfür ist die mangelhafte Verbreitung moderner Umwelttechnologien in der Region. Hier setzt KOPLAN („Kooperationsplattform Lateinamerika Nord“) an: Ziel ist die Verbreitung von (deutschen) umwelt- und klimaverträglichen Technologien in Mexiko und Zentralamerika, um so einen Beitrag zum Umweltschutz zu leisten. Die deutsche Umweltwirtschaft hat in den letzten Jahren dabei weltweit eine Vorreiterrolle eingenommen und sich gerade im Bereich anwendungsorientierter Technologien für viele Innovationen verantwortlich gezeichnet. Die Studie verfolgte drei Hauptfragestellungen, nämlich a) die Frage nach dem Exportpotenzial der deutschen Umwelttechnologiebranche, b) ob und inwieweit deutsche Angebote der potenziellen Nachfrage in Mexiko und Zentralamerika entsprechen und c) welche Exporthemmnisse existieren und wie diese überwunden werden können.

Neben einem wirkungsorientierten Monitoring vor Ort in Mexiko war aufgrund der angestrebten Projektwirkungen in Deutschland auch dort ein ergänzendes Monitoring notwendig. Zentrale Aufgabe des Projektes war daher die Entwicklung eines wirkungsorientierten Monitoring- und Evaluationssystems zur Messung der angestrebten Wirkungen von KOPLAN in Deutschland. Hierzu wurden ein umfassendes Indikatorentableau sowie ein Erhebungsplan entwickelt, welche als Grundlage für die Etablierung zweier Panels dienen sollten, um Veränderungen bei den wichtigsten Zielgruppen des Projekts, den deutschen Unternehmen der Umwelttechnologiebranche und zentralen Multiplikatoren der deutschen Umweltwirtschaft, messen zu können. Nach Abschluss der Entwicklung des M&E-Systems wurde das CEval mit der Durchführung der ersten Panelbefragung beauftragt. Dabei wurden quantitative und qualitative Datenerhebungsmethoden angewandt (standardisierte Befragung teilnehmender Unternehmen, einer Vergleichsgruppe und Multiplikatoren, Dokumente- und Sekundärdatenanalyse, leitfadengestützte Experteninterviews).
Assessing the Impacts of Multinational Corporations on Global Development and Value Creation (Global Value)1/20146/2017Europäische Union (EU)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Mitarbeiter: Dr. Hansjörg Gaus

Beschreibung

Die Bedeutung Multinationaler Unternehmen für die globale wirtschaftliche und soziale Entwicklung wird kontrovers diskutiert. Durch ihre Investitionen sind sie ein wichtiger Treiber wirtschaftlichen Wachstums, stellen Arbeitsplätze zur Verfügung und erzeugen dadurch Einkommen. Außerdem tragen sie durch die Bezahlung von Steuern zur Bereitstellung von öffentlichen Dienstleistungen bei. Gleichzeitig wird ihnen vorgeworfen, ausbeuterische Arbeitsbedingungen und Menschenrechtsverletzungen zu fördern, Umweltschäden zu verursachen und Korruption zu verbreiten. Vor allem in Entwicklungsländern werde es versäumt, verantwortungsvolle Geschäftspraktiken zu etablieren.

Im Rahmen des GLOBAL VALUE Projekts wurde ein innovatives Rahmenkonzept entwickelt, um die Auswirkungen multinationaler Unternehmen hinsichtlich nachhaltiger Entwicklung, verantwortungsvoller Arbeitsbedingungen, der Achtung von Menschenrechten und Korruptionsbekämpfung zu erfassen. Dazu wurden institutionelle Strukturen und Konzepte verantwortungsvoller Geschäftspraktiken untersucht, die Komplementarität zwischen öffentlichem und privatwirtschaftlichem Engagement bewertet sowie Empfehlungen für Entscheidungsträger in Wirtschaft, Politik und Nichtregierungsorganisationen erarbeitet.

Das Projekt wurde von verschiedenen europäischen Universitäten und zivilgesellschaftlichen Organisationen sowie Partnern der Internationalen Zusammenarbeit durchgeführt. Ein zu erarbeitendes Toolkit zur Wirkungsuntersuchung in den o.g. Bereichen wurde an führenden multinationalen Unternehmen (BATA (Bekleidung, Bangladesch), OLAM (Nahrungsmittel, Tansania)) getestet.

Die Hauptaufgabe des CEval bestand darin, einen Beitrag zur Vorbereitung und Entwicklung des Toolkits und des Rahmenkonzepts zu leisten, welches auf den Millennium Development Goals sowie den nachfolgenden Sustainable Development Goals, Menschenrechten, Gender & Diversity sowie Korruptionsbekämpfung und Transparenz basiert und Managementansätze wie Supply Chain Management, Life Cycle Analysis und Base-of-Pyramid sowie verantwortungsvolle Geschäftspraktiken, Wettbewerb und Komplementarität mit öffentlicher Entwicklungshilfe berücksichtigt. Außerdem wurden zwei Fallstudien zur Komplementarität von Aktivitäten Multinationaler Unternehmen mit öffentlicher Entwicklungshilfe durchgeführt.
Begleitende Evaluation des Karriereförderprogramms „Talente sichern – Zukunft gestalten“ (2013-2014) 10/201311/2014Cusanuswerk - Bischöfliche Studienförderung

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Das Programm „Talente sichern – Zukunft gestalten“ des Cusanuswerks – Bischöfliche Studienförderung hat eine Förderung des weiblichen Führungsnachwuchses zum Ziel. Hierzu setzt das Programm auf Mentoringelemente – also eine tutorielle Betreuung von Stipendiatinnen deutscher Begabtenförderungswerke durch berufserfahrene Akademikerinnen und Akademiker – auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks.

Seit Beginn des Karriereförderprogramms im Jahr 2007 führt das Centrum für Evaluation (CEval) zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Auch im vierten Programmdurchlauf 2013-2014 findet nun eine begleitende Evaluation statt. Zentrale Aufgabe dieser Evaluation ist es, den durchführungsverantwortlichen Mitarbeiterinnen und Mitarbeitern des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse sind entsprechend der Zielsetzungen des Programms hierbei Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten.

Das bestehende und bewährte Evaluationskonzept wird im Rahmen der Evaluation inhaltlich durch eine Anwendung des CIPP-Modells geschärft, wobei jedoch eine Vergleichbarkeit von Evaluationsergebnissen seit Beginn des Karriereförderprogramms sichergestellt wird. Methodisch umfasst die Evaluation standardisierte Online-Befragungen der Mentees und Mentorinnen und Mentoren zu drei Zeitpunkten. Dieses Vorgehen ermöglicht eine frühzeitige Identifikation eventueller Probleme und eine zeitnahe Entwicklung geeigneter Maßnahmen, um diesen entgegenzuwirken.

Begleit- und Akzeptanzforschung zu aktuellen Fragen des Stromnetzausbaus in Deutschland - Wissenschaftliche Begleitung der Planungspraxis (Modul III)9/20134/2016Bundesministerium für Wirtschaft und Energie (BMWi)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Hansjörg Gaus

Kooperationspartner: Institut für ZukunftsEnergieSysteme (IZES) gGmbH

Beschreibung

Im Rahmen des Gesamtvorhabens wurden in einem ganzheitlichen und systematischen Ansatz die verschiedenen Einflussfaktoren auf die Akzeptanz des Netzausbaus ermittelt und vergleichend dargestellt. Aus den wissenschaftlichen Ergebnissen wurden für die anstehenden Fragen des Netzausbaus, wie z.B. Planungsverfahren und Kommunikationsstrategien, praktisch nutzbare Empfehlungen abgeleitet. Das Forschungsvorhaben gliederte sich insgesamt in drei Module, in welchen akzeptanzrelevante Prozesse und Faktoren in verschiedenen Regionen und auf unterschiedlichen Akteursebenen untersucht wurden. Um ein gesamtgesellschaftliches Verständnis für den Leitungsausbau zu erreichen, waren übergeordnete und breitenwirksame Informations- und Kommunikationsmaßnahmen erforderlich. Im vom CEval bearbeiteten Modul III wurde ein Überblick über die momentan existierenden und geplanten Maßnahmen erstellt und bei ausgesuchten Elementen genauer spezifiziert, welche Maßnahme welche Zielgruppe anspricht. Folgend wurden die Informations- und Kommunikationsmaßnahmen begleitet, um Effekte auf Einstellungsveränderungen bzgl. des Netzausbaus festzustellen, Erfolgskriterien zu identifizieren und Rückmeldungen in Hinblick auf deren Wirkweisen und Optimierungsmöglichkeiten geben zu können.
Nachhaltige Wirtschaftsentwicklung Myanmar5/201312/2016Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Stefan Silvestrini

Beschreibung

Gemeinsam mit dem Deutschen Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) begleitet das CEval drei Vorhaben zur Nachhaltigen Wirtschaftsentwicklung in Myanmar zur Schaffung der Voraussetzungen für deren Wirkungserfassung und Bewertung. Die Beratung trägt zur Verbesserung der Qualität, Relevanz und Vollständigkeit der Projektkonzepte und Programmbildung, einschließlich eines kohärenten Ziel- und Wirkungssystems bei. Damit werden die methodischen Voraussetzungen für einen späteren Wirkungsnachweis sichergestellt. Gegenstand des Beratungsvorhabens sind drei Projekte in den Bereichen Berufliche Bildung, Privatwirtschaftsentwicklung und Finanzsektorreform, aus denen in der Zukunft ein kohärentes Programm im Bereich der Nachhaltigen Wirtschaftsentwicklung gebildet werden soll.

Aufgabe des CEval ist es dementsprechend, gemeinsam mit dem DEval:

  1. einen Beitrag zur Qualität, Relevanz und Vervollständigung der Projektkonzeptionen und zum Aufbau eines kohärenten Ziel- und Wirkungssystems zu leisten
  2. Voraussetzungen für die Wirkungserfassung und Bewertung der Vorhaben zu schaffen
  3. einen Beitrag zur Programmbildung zu leisten sowie
  4. eine Wirkungsevaluierung umzusetzen.

Hierfür wurde ein mehrstufiges Analyse- und Beratungskonzept ausgearbeitet, das im Kern aus

  1. der Entwicklung eines umfassenden Wirkungsmodells,
  2. der Erarbeitung eines entsprechend vollständigen Indikatorentableaus,
  3. der Umsetzung einer Baseline-Studie sowie
  4. der Ausarbeitung eines wirkungsorientierten Monitoring-Systems besteht.
Praxis-Impact II: Weiterentwicklung und Erprobung eines Konzeptes zur Dokumentation und Evaluierung von Leistungen der Agrarforschung für Praxis und Gesellschaft 12/20129/2016BÖLN - Bundesprogramm Ökologischer Landbau und andere Formen nachhaltiger Landwirtschaft, Bundesanstalt für Landwirtschaft und Ernährung (BLE)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Hansjörg Gaus

Mitarbeiter: Dr. Hansjörg Gaus

Beschreibung

Kooperationspartner: Universität Kassel, Fachbereich Ökologische Agrarwissenschaft, Fachgebiet Ökologischer Land und Pflanzenbau

Die etablierte Forschungsevaluierung erfasst vornehmlich den wissenschaftlichen Impact und nutzt dafür Indikatoren wie begutachtete Publikationen, zitationsbasierte Indikatoren und Drittmittel. Damit wird jedoch nur unzureichend erfasst, inwieweit Beiträge zur Lösung gesellschaftlich relevanter Probleme geleistet und ein Nutzen für Praxis und Gesellschaft generiert werden. Gerade die Agrarforschung hat hier jedoch ein wichtiges Tätigkeitsfeld, das angesichts der Herausforderungen Klimawandel, Ernährungssicherung und Ressourcenverknappung künftig noch stark an Bedeutung gewinnen wird. Dieses Forschungsprojekt sollte dazu beitragen, die Evaluierung der Agrarforschung grundsätzlich um eine Bewertung der Leistungen für Praxis und Gesellschaft zu erweitern. Die Forschungsarbeiten bauten auf den zahlreichen bestehenden Evaluierungskonzepten auf. Diese umfassen sowohl die Aktivitäten der Forschung, die einen Impact wahrscheinlich machen (z.B. Vorträge, Workshops, Praxispublikationen), als auch eine Erfassung des tatsächlichen Impacts. Hindernisse für eine breitere Etablierung dieser Konzepte bestehen jedoch bisher hinsichtlich des Aufwandes für die Datenerfassung.

Kernziel des Projektes war die Entwicklung eines auf die Agrarforschung abgestimmten, erprobten und anschlussfähigen Dokumentations- und Evaluierungskonzeptes. Dieses sollte so breit angelegt sein, dass die gesamte Agrarforschung damit abgedeckt werden kann, um die Nutzung für verschiedene Evaluierungsgegenstände (Wissenschaftler, Projekte, Programme, Institutionen) zu gewährleisten. Die Dokumentation soll einen hohen Nutzwert für die Verwendung in der Antragsstellung und Berichterstattung haben, um durch Synergieeffekte den Dokumentationsaufwand für die Wissenschaftler nicht zu erhöhen. Erstellt wurden strukturierte Dokumentationsvorlagen, die für die technische Umsetzung in einem Datenbanksystem ausgereift sind, sowie Analyse- und Bewertungsraster. Die Entwicklung und Erprobung erfolgte anhand realer Forschungsprojekte, in welche jeweils drei Perspektiven dokumentierende Wissenschaftler, Forschungsförderung und Evaluation – eingebunden waren. Ferner engagierte sich das Projekt darin, mit der der Agrarforschung und relevanten Akteuren und Experten umsetzbare und akzeptierte Etablierungswege zu erarbeiten.

Final Evaluation Evaluation of “SCAMPIS” – Scaling up micro-irrigation systems in India, Madagascar and Guatemala8/201212/2012International Fund for Agricultural Development (IFAD)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Since 1977, IFAD has worked to raise productivity and income of rural poor populations to overcome poverty and improve the quality of their lives. In its long history, the Fund has developed and implemented various programs and projects all over the world. Scaling up micro-irrigation systems in India, Madagascar and Guatemala (SCAMPIS) is one of the IFAD’s latest projects, financed by COOPERNIC with a budget of 3 million Euro. In the period of 2008-2012, it has aimed at improving livelihoods and food security of 30.000 smallholder households in the three pilot countries of India, Madagascar and Guatemala by providing them with micro irrigation systems (MIS) and liquid organic fertilizer systems (LOF). Before the program is phasing out in December 2012, an external evaluation of SCAMPIS is conducted in order to assess the achievement of program objectives and outcomes. In particular, according to the Terms of Reference, the evaluation should pursue three objectives:
  • The review has to assess the achievement of the programme objectives and outcomes with regard to its components and corresponding target groups.
  • Lessons learnt and recommendations have to be provided for IFAD with regard to improvement of design and implementation of future programmes. Replicability and scaling up are core concepts in this context.
  • Special attention has to be put on the sustainability especially with regard to any future activities to be implemented by the different stakeholders along the water value chain of MIS/LOF.
The CEval evaluation team will visit each project country for 12 days to conduct interviews with main stakeholders in the implementing organizations, key persons along the MIS value chain and the primary beneficiaries. In addition, a quantitative survey will be conducted in each of the three project countries to learn more about the impact MIS has on food security in different country contexts. Finally, IFAD’s perspective is taken into account by using data from interviews with most important representatives for the SCAMPIS project.
Evaluation zweier DAAD-Fachprogramme („Moderne Anwendungen in der Biotechnologie – Postdoktoranden-Austausch mit ausgewählten Ländern in Mittel- und Osteuropa“ und „Studieren und Forschen für Nachhaltigkeit“)5/201212/2012Deutscher Akademischer Austauschdienst (DAAD)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Hansjörg Gaus

Beschreibung

Gegenstand der Evaluation waren zwei aus Mitteln des BMBF-geförderte Fachprogramme des DAAD, die beide 2005 begonnen wurden und Ende 2012 ausliefen. Ziel des Programms „Moderne Anwendungen der Biotechnologie – Postdoktoranden-Austausch mit ausgewählten Ländern in Mittel- und Osteuropa“ war es, besonders qualifizierten Nachwuchswissenschaftlerinnen und -wissenschaftlern mit Stipendien die Möglichkeit zu geben, für bis zu 12 Monate mit eigenen wissenschaftlichen Vorhaben an der Forschung selbst gewählter Institute an Hochschulen und außeruniversitären Forschungseinrichtungen im In- bzw. Ausland mitzuarbeiten. Damit sollten ihre Vernetzung in wichtigen Feldern der modernen Biotechnologie gefördert und ggf. Kooperationen angestoßen werden.

Das Programm „Studieren und Forschen für Nachhaltigkeit“ verfolgte das Ziel, die internationale Fachkommunikation und die Vernetzung zwischen Instituten, Studierenden und Wissenschaftlern in Deutschland und im Ausland zu entwickeln. Dazu wurden an besonders qualifizierte Studierende, Doktoranden und Postdoktoranden aus Deutschland, den BRICS-Staaten sowie der Mongolei Langzeitstipendien für Studium bzw. Forschung in ausgewählten Feldern der Nachhaltigkeitsforschung vergeben und die Durchführung von Sommerschulen gefördert. In einer dritten Programmlinie wurden zusätzliche Forschungsstipendien für Doktoranden und Postdoktoranden aus China und Deutschland vergeben.

Im Rahmen der Evaluation der beiden Programme sollten Aussagen über die wissenschaftliche Qualität der Stipendiatinnen und Stipendiaten und ihre persönlichen Motivationen für die Bewerbungen sowie die Nachhaltigkeit der Förderung und Vernetzung gewonnen werden. Weiterhin sollte die Erreichung der Ziele der Programme untersucht werden. Aus den gewonnenen Erkenntnissen sollten Schlussfolgerungen und Empfehlungen für die Gestaltung vergleichbarer Fachprogramme abgeleitet werden.

Zur Datengewinnung folgte das CEval einem „mixed-methods“ Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Dokumente vorgenommen und es wurden eigene Erhebungen (qualitative Leitfadeninterviews und standardisierte Onlinebefragungen) durchgeführt.
Evaluierung des Projekts „Diakonie und Caritas als Orte zukunftsfähigen Lebensstils und nachhaltiger Beschaffung“4/201212/2012Institut für Kirche und Gesellschaft der Evangelischen Kirche von Westfalen

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Hansjörg Gaus

Mitarbeiter: Dr. Hansjörg Gaus

Beschreibung

Gegenstand der Evaluation war das von der Deutschen Bundesstiftung Umwelt geförderte Projekt „Diakonie und Caritas als Orte zukunftsfähigen Lebensstils und nachhaltiger Beschaffung“, das am 1.11.2010 gestartet wurde und bis zum 30.4.2013 lief. Im Rahmen dieses Projekts sollte die Beschaffung in Einrichtungen der stationären Altenhilfe sowie der Kinder-/Jugend- und Behindertenhilfe im Sinne der Nachhaltigkeit verbessert werden. Gleichzeitig sollten MitarbeiterInnen, BewohnerInnen und BesucherInnen informiert und zu einer nachhaltigen Lebensgestaltung motiviert werden. Darüber hinaus sollten die in Testeinrichtungen erprobten Ansätze zur Senkung des Ressourcenverbrauchs und der Einführung nachhaltiger Beschaffungsstandards deutschlandweit sowohl innerhalb der Projektträger als auch in nichtkirchlichen Wohlfahrtseinrichtungen verbreitet und verstetigt werden.

Es handelte sich um eine formative, den Prozess begleitende Evaluation nach ca. 1,5 Jahren, die Erkenntnisse für die restliche Laufzeit des Projekts und seine geplante Weiterführung über das Förderende hinaus gewinnen sollte. Ganz allgemein wurde dazu die detaillierte inhaltliche Beschreibung der vier Projektphasen mit dem Projektstand zum Zeitpunkt des Beginns der Evaluierung abgeglichen. Konkreter gesagt, ging es darum, die bis zum Evaluationszeitpunkt realisierten Aktivitäten zu dokumentieren, Informationen zur Erreichung der Teilziele („Verbesserung der Beschaffung unter Nachhaltigkeitskriterien“, „Bundesweite Verbreitung des Projektes“, „Aufbau von Netzwerkstrukturen“) zu gewinnen und Hinweise für die Optimierung von Prozessen abzuleiten. Besonderes Augenmerk sollte dabei darauf gerichtet werden, wie die LeiterInnen und MitarbeiterInnen der Einrichtungen für die nachhaltige Beschaffung gewonnen werden können.

Zur Bearbeitung der Evaluationsaufgaben folgte das CEval einem „mixed-methods“ Ansatz, wobei zur Bearbeitung der einzelnen Fragestellungen vorwiegend qualitative Leitfadeninterviews sowie standardisierte Onlinebefragungen als Datenerhebungsinstrumente genutzt wurden. Zur vertiefenden Analyse sowie zur Instrumentenanalyse wurde zudem auf das Instrument der Dokumentenanalyse zurückgegriffen.

Evaluation der Arbeit der Deutschen UNESCO-Kommission 4/201212/2012Auswärtiges Amt

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Mitarbeiter: Dr. Christoph E. Müller

Beschreibung

Die UNESCO fordert von ihren Mitgliedsstaaten die Einrichtung nationaler Kommissionen, die zu einer effektiveren Ausgestaltung der Mitgliedschaft beitragen sollen. Dementsprechend hat die Bundesrepublik Deutschland die Deutsche UNESCO-Kommission e.V. (DUK) eingerichtet. Neben Beratungsaufgaben von Regierung und Parlament bearbeitet die DUK gemäß ihrer Satzung weitere Aufgaben wie bspw. die Mitwirkung an der Ausgestaltung der Mitgliedschaft Deutschlands in der UNESCO, die Förderung internationaler Verständigung, die Leistung eines Beitrags zur friedenssichernden Arbeit der UNESCO oder das Unterrichten der Öffentlichkeit über die Zwecke und die Arbeit der DUK.

Das Centrum für Evaluation (CEval) wurde mit der Evaluation der Arbeit der DUK beauftragt und bearbeitete dabei unterschiedliche Aufgabenstellungen. So wurde eine Bewertung der von der DUK erbrachten Beratungsleistungen für die Bundesregierung und das Parlament vorgenommen. Zudem wurden die Ziel- und Steuerungssysteme der DUK analysiert sowie die Arbeitsabläufe innerhalb der DUK einer Prozessanalyse unterzogen. Schließlich wurden unterschiedliche Programmbereiche wie die „Kontaktstelle kulturelle Vielfalt“, das Kooperationsprojekt mit afrikanischen Nationalkommissionen und die Aktivitäten der DUK im Zusammenhang mit den „UNESCO-Biosphärenreservaten“ evaluiert.

Die Ziele der Evaluation leiteten sich aus ihren Aufgabenstellungen ab und bestanden unter anderem in der Entwicklung erkenntnisbasierter Empfehlungen zur Optimierung des Beitrags der DUK im Hinblick auf das Ziel der Bundesregierung, die Rolle Deutschlands in der UNESCO zu stärken und zur Optimierung der Zielerreichung der DUK. Zudem sollte die Evaluation zur Optimierung der Arbeitsabläufe hinsichtlich Wirtschaftlichkeit, Prozess- und Produktqualität, Wirksamkeit und Relevanz sowie zur Optimierung der Instrumente zur Erfolgsmessung, u.a. im Hinblick auf die Notwendigkeit der Rechenschaftslegung gegenüber dem Auswärtigen Amt, beitragen.

Die Herangehensweise des CEval ist grundsätzlich theoriegeleitet. Mit Blick auf die Validität der Forschungsergebnisse waren für die Evaluationskonzeption sowohl theoretische Modelle als auch methodische Grundannahmen bedeutsam. Auf der theoretischen Ebene war im Hinblick auf den Evaluationsgegenstand vor allem das organisationstheoretische Wirkungsmodell von besonderem Interesse. Aus methodischer Sicht kamen ein Multimethodenansatz sowie der partizipative Evaluationsansatz des CEval zur Anwendung.

Strengthening evaluation capacities within government and civil society in Uganda (ECD Uganda): Development of a blended-learning Master of Evaluation (2012-2015)4/201212/2016Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Mitarbeiter: M.A. Sandra Schopper, M.Sc. Sophie Wannemacher

Beschreibung

In den letzten Jahren erfährt Evaluation als wissenschaftliches Verfahren zur Beschreibung und Bewertung von Interventionen weltweit einen Bedeutungszuwachs. Auch in Uganda steigt der Bedarf an qualifizierten Fachleuten im Bereich Evaluation an. Allerdings kann dieser Bedarf durch bisher aufgelegten Trainings- und Evaluationsprogramm nicht ausreichend gedeckt werden. Aus diesem Grund initiierte das BMZ gemeinsam mit dem CEval und der GIZ ein Programm zur Entwicklung von Evaluationskapazitäten(ECD) in Uganda.

Die wichtigste Komponente dieses Programmes ist die Entwicklung und Durchführung eines Masterstudiengangs in Evaluation im Blended-learning Format an der Uganda Technology and Management University (UTAMU). Blended-learning stellt ein innovatives Konzept dar, das sich weltweit steigender Popularität erfreut und an der UTAMU als Standardlehrverfahren eingeführt wurde. Dabei vereint Blended-learning didaktisch kohärent traditionelle Präsenzveranstaltungen mit modernen Formen des eLearnings. Ein Vorteil dieses Konzepts ist, dass durch dieses Konzept nicht nur Ugandische Studenten sondern auch Studenten aller englischsprachigen afrikanischen Länder angesprochen wurden.

Der Master of Evaluation der Saarland Universität sowie der HTW des Saarlandes dient als Vorlage für den ugandischen Master, der im Herbst 2015 eingeführt wurde. Die Inhalte des Masters wurden in enger Kooperation zwischen der CEval GmbH, den Dozenten des deutschen Masters und ugandischen Bezugspersonen an der Makarere Universität abgestimmt und an den ugandischen Kontext angepasst. Der ugandische Master of Monitoring and Evaluation umfasst insgesamt 15 Module, von denen sieben dem Basisprogramm zur Evaluation der saarländischen Hochschule entsprechen. Abgedeckt wurden dadurch alle relevanten Themen zum Erwerb profunder Evaluationskompetenzen. UTAMU hat diese durch weiterführende Module zum Projektmanagement, zum Monitoring und zur Existenzgründung von Consultings ergänzt. Die Module setzen sich im Groben aus Web based trainings, eTutoring und Präsenzveranstaltungen zusammen, wobei die Lehrkonzepte ebenfalls gemeinsam mit allen Akteuren entwickelt werden. Die Verantwortung für die technische Umsetzung der eLearning-Komponente oblag der GIZ.

Zwei Module des Masters of Evaluation wurden in einer Pilotphase gemeinsam mit UTAMU getestet. In dieser Pilotphase wurden sowohl das eTutoring als auch die Präsenzphasen im Sinne des Tandemprinzips von Dozenten der UTAMU und der Universität des Saarlandes/HTW betreut. Das "Hosting" des Online-Studiengangs wurde von der GIZ-Plattform gc21 übernommen. Anschließend wurden die sieben Module in den bereits bestehenden Master der UTAMU integriert und der neue Studiengang wurde den entsprechenden Gremien in Uganda vorgelegt. Mittlerweile ist der Studiengang in Uganda aggregiert und wurde im September 2015 testweise eingeführt.

Evaluation des "Programms zur Förderung der Integration ausländischer Studierender" (PROFIN)3/201212/2012Deutscher Akademischer Austauschdienst (DAAD)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Hansjörg Gaus

Beschreibung

Gegenstand der Evaluation war das BMBF-geförderte ‚Programm zur Förderung der Integration ausländischer Studierender‘ (PROFIN), das vom Deutschen Akademischen Austauschdienst (DAAD) in einer vierjährigen Förderlaufzeit von 2009 bis 2012 durchgeführt wurde. Der DAAD zielte mit PROFIN auf eine verbesserte Integration ausländischer Studierender in Hochschule und Gesellschaft durch Projekte an Hochschulen zur allgemeinen, fachlichen und sozialen Integration ab. Durch das Programm sollte auch ein Paradigmenwechsel im Verhältnis der deutschen Hochschule zu ihren ausländischen Studierenden erreicht werden: von der Betreuung zur Integration.

Im Rahmen der Evaluationsstudie wurde untersucht, ob die angestrebten Ziele des Programms erreicht wurden und welche Maßnahmen und Projekte sich als besonders erfolgreich und wirksam erwiesen haben.

Zur Datengewinnung folgte das CEval einem „mixed-methods“ Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Dokumente vorgenommen und es wurden eigene Erhebungen (qualitative Leitfadeninterviews und standardisierte Onlinebefragungen) durchgeführt.

Hochschulkooperation mit der Universität von Costa Rica (UCR) gefördert durch das DAAD-Programm „Fachbezogene Partnerschaften mit Hochschulen in Entwicklungsländern“ 1/201212/2015Deutscher Akademischer Austauschdienst (DAAD)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: M.A. Sandra Bäthge, Dr. Susanne Johanna Väth

Beschreibung

Nach einer erfolgreichen dreijährigen Zusammenarbeit zwischen dem Centrum für Evaluation (CEval) der Universität des Saarlandes und der Universität von Costa Rica (UCR) zur Weiterentwicklung des seit 1995 an der UCR implementierten ‚Masterstudiengangs in Evaluation von Projekten und Programmen zur sozialen Entwicklung‘ (MEPPD), planten die beiden Universitäten ab 2011 die Intensivierung und Vertiefung ihrer Kooperation. Der DAAD, der durch sein Beraterprogramm seit 2008 bereits die vorangegangene Zusammenarbeit der beiden Hochschulen finanziell unterstützt hatte, begrüßte dieses Vorhaben. Aus diesem Grund förderte er von 2012 bis 2015 über sein Programm „Fachbezogene Partnerschaften mit Hochschulen in Entwicklungsländern“ auch die zweite Phase der Kooperation zwischen UCR und UdS.

Gemäß der Zielsetzung des DAAD-Programms, durch den akademischen Austausch eine Verbesserung der Lehrsituation zu erreichen und einen Beitrag zum Aufbau von nachhaltigen Strukturen im Bereich der Lehre im Partnerland zu leisten, bildete der Austausch von Studierenden, Promovierenden und Dozierenden einen Schwerpunkt der vierjährigen Kooperation. Weiterhin standen die Öffnung des MEPPD für den zentralamerikanischen Raum (Regionalisierung), die Anpassung der Lehre im Masterstudiengang Evaluation der UCR an die regionale Nachfrage und die daraus abgeleiteten Ausbildungsbedürfnisse (Profilierung) sowie die Einbindung der Hochschulkooperation in bestehende internationale Netzwerke (Internationalisierung) im Mittelpunkt der engeren Zusammenarbeit. Durch die vierjährige Zusammenarbeit konnte die Praxis- und Bedarfsorientierung des MEPPD gestärkt, bestehende regionale und internationale fachliche Netzwerke etabliert bzw. erweitert sowie die Kapazitäten in Lehre und Forschung ausgebaut werden.

Eine Fortsetzung der Kooperation unter Aufnahme einer weiteren Hochschule aus dem lateinamerikanischen Raum ist für 2017 vorgesehen.
Unterstützung der Evaluationsaktivitäten des Doktorandenkollegs DES11/20113/2012Universität Luxemburg

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Mitarbeiter: Dr. Christoph E. Müller

Beschreibung

Die Doctoral School in Educational Sciences (DES) bietet qualifiziertem wissenschaftlichem Nachwuchs die Möglichkeit, innerhalb von maximal vier Jahren ein Studium mit einem PhD in Psychologie, Geschichts-, Sozial-, Erziehungs- oder Sprachwissenschaften abzuschließen. Um von den Studierenden Rückmeldungen über diverse Aspekte des Studiums (allgemeine Zufriedenheit, Nutzen und Qualität der Lehrveranstaltungen etc.) zu erhalten, wurden seitens des Centrums für Evaluation zwei Instrumente im Auftrag des Doktorandenkollegs entwickelt.

Dabei handelte es sich zum einen um einen lehrangebotsbezogenen Seminarbeurteilungsbogen, der in den Kursen des Kollegs eingesetzt wurde und Erkenntnisse über die Qualität der Veranstaltungen generieren sollte. Zum anderen wurde ein DES-übergreifendes Evaluationsinstrument entwickelt. Dabei handelte es sich um einen Online-Fragebogen, mit dessen Hilfe allgemeine Aspekte des Doktorandenkollegs eruiert wurden, etwa bezüglich der Erwartungen der Studierenden an das Graduiertenkolleg und ihre Erfahrungen mit dem Kolleg.

Während das CEval bei dem Seminarbeurteilungsbogen lediglich für die Instrumentenentwicklung zuständig war, zeichnete das CEval sich im Rahmen der DES-übergreifenden Befragung für den gesamten Befragungsprozess (von der Instrumentenentwicklung über die Durchführung bis hin zur Auswertung der Befragung) verantwortlich.
Evaluation des Mentoring-Programms 2010 des „MentorinnenNetzwerks für Frauen in Naturwissenschaft und Technik“ 11/20111/2012MentorinnenNetzwerk für Frauen in Naturwissenschaft und Technik

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Als Basis für eine fortlaufende Qualitätssicherung und -entwicklung der Angebote des „MentorinnenNetzwerks für Frauen in Naturwissenschaft und Technik“ erhielt das CEval den Auftrag, in Zusammenarbeit mit dem Hessischen Koordinierungsbüro ein Monitoring- und Evaluationssystem (M+E-System) für die Aktivitäten und Angebote des Netzwerks zu entwickeln und zu implementieren. Hierzu wurden im Jahr 2011 zwei Instrumente entwickelt, mittels derer die Teilnehmerinnen der jährlichen Mentoring-Programme (Mentorinnen und Mentees) künftig regelmäßig, in standardisierter Form zu relevanten Aspekten befragt werden. Die Auswertung und Analyse der erhobenen Daten dient sowohl der kontinuierlichen Prüfung und ggf. Optimierung der verschiedenen Aktivitäten als auch der jährlichen Rechenschaftslegung gegenüber den Mittelgebern. Während diese M+E-Aktivitäten ab dem Jahr 2012 von den Mitarbeiterinnen des Hessischen Koordinierungsbüros in Eigenregie durch- bzw. fortgeführt werden, wurde in 2011 (noch) das CEval mit der in einen Evaluationsbericht mündenden Auswertung der zum Mentoring-Programm 2010 erhobenen Daten beauftragt.
Grenzüberschreitende Koordination und Kooperation in interregionalen Organisationen am Beispiel Interregionaler Gewerkschaftsräte 11/20118/2013Hans-Böckler-Stiftung

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Beschreibung

Dieses Forschungsprojekt widmete sich der grenzüberschreitenden Zusammenarbeit von Gewerkschaften auf regionaler Ebene, indem es die historische Entwicklung sowie die Funktionsweisen und Problemlösungspotenziale des IGR Saar-Lor-Lux-Trier/Westpfalz vertiefend untersuchte und mit drei weiteren Interregionalen Gewerkschaftsräten verglich. Auf einem institutionalistischen Ansatz aufbauend, wurde in dem Forschungsprojekt ein theoretischer Rahmen entwickelt, der drei Faktorenbündel identifiziert, um vor dem Hintergrund der Entstehung, Entwicklung und Funktionsweise das Problemlösungspotenzial Interregionaler Gewerkschaftsräte zu erfassen: Die strukturelle Einbettung eines IGRs in unterschiedliche nationale Arbeitsmärkte und Wohlfahrtsregime, die Arbeitsbeziehungen und Gewerkschaftsstrukturen in den einzelnen Regionen sowie die interkulturelle Kommunikation und unterschiedliche Gewerkschaftskulturen zwischen den Gewerkschaften, die zusammen einen IGR bilden.
Datenauswertung und Evaluation der Aktivitäten der DW-AKADEMIE in Ruanda10/201112/2011Deutsche Welle (DW)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Für die Deutsche Welle evaluierte das Centrum für Evaluation das von der Deutsche Welle-AKADEMIE in Ruanda durchgeführte Training „Reporting for Democracy“. Das von Deutsche Welle-AKADEMIE und der School of Journalism and Communication an der National University of Rwanda gemeinsam organisierte Training umfasste im Zeitraum von Juni 2010 bis April 2011 zehn verschiedene Module zum Thema „Wahlberichterstattung“. Journalisten aus allen Bereichen (Print, Online, Radio, TV) waren Zielgruppe der Veranstaltungen.

Im Rahmen der Datenauswertung und Evaluation wurden die quantitativen und qualitativen Daten der Seminarbeurteilungen der Module ausgewertet. Weiterhin wurden telefonische Kurzinterviews mit sechs bis acht Trainern geführt. Mit Unterstützung der Deutschen Welle-AKADEMIE wurden schließlich alle Teilnehmer in einer Abschlusssitzung einige Monate nach dem letzten Trainingsmodul mittels eines standardisierten Fragebogens um eine Bewertung des langfristigen Nutzens des Trainings gebeten. Ziel der Evaluation war über die deskriptive, summative Auswertung der Rückmeldungen hinaus die Ableitung von Empfehlungen zur Durchführung derartiger Trainings.
Wirkungsevaluation der internen Weiterbildungsmaßnahmen der Aktien-Gesellschaft der Dillinger Hüttenwerke7/201110/2012AG der Dillinger Hüttenwerke

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Ein zentrales Anliegen der Dillinger Hütte ist es, ihre Mitarbeiter und Mitarbeiterinnen dazu zu befähigen, mit dem fortwährenden technischen und wirtschaftlichen Wandel in der Gesellschaft Schritt zu halten. Gemäß dem Grundsatz „Weiterbildung ist ein unverzichtbares Element für die eigene und die Zukunft des Unternehmens“ bietet die Dillinger Hütte für ihre Mitarbeiterinnen und Mitarbeiter ein umfassendes Weiterbildungsprogramm an. Dieses zielt darauf ab sowohl fachliche als auch soziale Kompetenzen zu stärken.
Die Dillinger Hütte ist bestrebt qualitative hochwertige Weiterbildungen anzubieten und sich in diesem Zusammenhang kontinuierliche weiterzuentwickeln. Aufgrund dessen führte das Centrum für Evaluation ein umfassendes Evaluationsprojekt durch. Dieses besteht aus zwei Teilprojekten:

1. Einer Wirkungsevaluation der internen Weiterbildungsmaßnahmen
2. Die Entwicklung und Implementierung eines M+E-Systems

Ziel des ersten Teilprojekts war es, strategisch relevante, interne Weiterbildungen bezüglich ihrer Wirkung und Nachhaltigkeit zu beurteilen, um dadurch den Lernprozess und die kontinuierliche Verbesserung des Programms voranzutreiben.
Methodisch umfasste diese Evaluation eine Dokumenten-und Sekundäranalyse sowie explorative Interviews zur Entwicklung von Wirkungsindikatoren. Anhand leitfadengestützter Interviews mit Vorgesetzten der Teilnehmenden sowie einer Online-Erhebung wurden Wirkung und Nachhaltigkeit der Weiterbildungen erfasst.

Entwicklung und Implementierung eines Monitoring- und Evaluations (M+E)-Systems für die Weiterbildungsaktivitäten der Aktien-Gesellschaft der Dillinger Hüttenwerke7/20118/2013AG der Dillinger Hüttenwerke

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Ein zentrales Anliegen der Dillinger Hütte ist es, ihre Mitarbeiter und Mitarbeiterinnen dazu zu befähigen, mit dem fortwährenden technischen und wirtschaftlichen Wandel in der Gesellschaft Schritt zu halten. Gemäß dem Grundsatz „Weiterbildung ist ein unverzichtbares Element für die eigene und die Zukunft des Unternehmens“ bietet die Dillinger Hütte für ihre Mitarbeiterinnen und Mitarbeiter ein umfassendes Weiterbildungsprogramm an. Dieses zielt darauf ab sowohl fachliche als auch soziale Kompetenzen zu stärken.
Die Dillinger Hütte ist bestrebt qualitative hochwertige Weiterbildungen anzubieten und sich in diesem Zusammenhang kontinuierliche weiterzuentwickeln. Aufgrund dessen führte das Centrum für Evaluation ein umfassendes Evaluationsprojekt durch. Dieses besteht aus zwei Teilprojekten:

1. Einer Wirkungsevaluation der internen Weiterbildungsmaßnahmen
2. Die Entwicklung und Implementierung eines M+E-Systems

Ziel des zweiten Teilprojekts war es, ein kontinuierliches Monitoring- und Evaluationssystem (M+E) für interne und externe Weiterbildungen zu entwickeln und zu implementieren, welches die Dillinger Hütte dazu in die Lage versetzt, selbst regelmäßige M+E-Aktivitäten durchzuführen, die erhobenen Daten zu analysieren und zu verwerten.
In diesem Zusammenhang wurden gemeinsam mit der Dillinger Hütte geeignete Erhebungsinstrumente entwickelt und ein Instrument zur technischen Umsetzung von Befragungen eingeführt. Darüber hinaus wurden Schulungen sowohl zur Handhabung des Instruments als auch zur Datenauswertung und -interpretation durchgeführt.

Development and Implementation of a M&E-System for the Plan Honduras Project "Prevention, Protection and rights Restitution for Girls and Boys survivors of sexual violence" 7/20117/2015Plan International Deutschland e.V.

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dipl.Reg.Wiss. Christina Gollan

Beschreibung

Das übergreifende Ziel des Plan Honduras Projekts war es, Mädchen und Jungen vor sexueller Gewalt zu schützen und ihnen Zugang zu kinderfreundlichen und kompetenten Präventions- und Versorgungsmechanismen auf lokaler bis nationaler Ebene zu ermöglichen. Um dieses Ziel zu erreichen, entwickelte Plan Honduras ein Programm zur Stärkung von Präventions-, Schutz- und Versorgungsmechanismen in Familien, Gemeinden und auf nationaler Ebene für durch sexuelle Gewalt bedrohte und von sexueller Gewalt betroffene Mädchen und Jungen. Die Aufgabe des Centrums für Evaluation (CEval) war die Begleitung und Unterstützung bei der Entwicklung und Implementierung eines wirkungsorientierten und geschlechtersensiblen M&E-systems für den Projektzyklus und darüber hinaus. Das CEval beriet Projektverantwortliche und deren Partner und bildete diese aus, um ihnen folgende Kompetenzen zu vermitteln:

Systematisches Monitoring und Evaluation von projektrelevanten Aktivitäten
Identifikation der wichtigsten Aspekte auf allen Wirkungsebenen
Formulierung wirkungsorientierter qualitativer Indikatoren
Entwurf eines Datenerhebungsplans und Erhebungsinstrumenten
Lösung auftretender Herausforderungen während der Datenerhebung und –analyse.

Dieser Wissenstransfer wurde erreicht durch eine Kombination von kontinuierlicher Beratung, Trainingsmaßnahmen und praktischer Umsetzung des Beratungs- und Trainingsinhalts im Rahmen einer begleiteten Baselinestudie (inklusive einer Geschlechteranalyse) und einer begleitenden Zwischen- und Schlussevaluierung.
Stärkung von Evaluierungskapazitäten in Zentralamerika (FOCEVAL)7/20117/2014Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Wolfgang Meyer, Dr. Stefan Silvestrini

Beschreibung

Das Vorhaben „Stärkung von Evaluierungskapazitäten in Zentralamerika (FOCEVAL)“ der Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH zielt darauf ab, die Rolle der Evaluation bei der politischen Entscheidungsfindung und der Steuerung von Politikmaßnahmen in Costa Rica und ausgewählten Ländern Zentralamerikas zu stärken. Die Maßnahme ist als Regionalvorhaben konzipiert, dessen politische Trägerschaft beim costaricanischen Ministerium für nationale Planung und Wirtschaftspolitik (MIDEPLAN) liegt.

Aufgabe der CEval GmbH ist es im Rahmen des ECD-Vorhaben, vor Ort eine Reihe von Fortbildungen zum Thema Monitoring und Evaluation (M&E) auf verschiedenen Anspruchsniveaus für die Partnerstrukturen zu realisieren, wobei die Inhalte der bereits erprobten und mehrfach durchgeführten Kurse dabei die unterschiedlichen Bedarfe der Zielgruppen widerspiegeln. Darüber hinaus bietet die CEval GmbH eine kontinuierliche wissenschaftlichen Begleitung für das Regionalvorhaben an, welche eine permanente Anbindung an die aktuelle internationale Evaluationsdiskussion sicherstellt und die Verbindung zu wissenschaftlichen Organisationen und Netzwerken aufrechterhält. Sie umfasst eine Reihe von Beratungsleistungen, insbesondere bei der Strategie- und Konzeptentwicklung, die auf den neuesten wissenschaftlichen Erkenntnissen der Monitoring- und Evaluationsforschung basiert.

Begleitende Evaluation des Karriereförderprogramms „Talente sichern – Zukunft gestalten“ (2011-2012) 6/201112/2012Cusanuswerk - Bischöfliche Studienförderung

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Das in 2011 in der dritten Phase laufende Programm „Talente sichern – Zukunft gestalten“ des Cusanuswerks – Bischöfliche Studienförderung setzte auf eine gezielte Förderung des weiblichen Führungsnachwuchses. Hierzu setzte das Programm auf Mentoringelemente – also eine tutorielle Betreuung von Stipendiatinnen deutscher Begabtenförderungswerke durch berufserfahrene Akademiker(innen) – auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Neben überdurchschnittlichen Studienleistungen zeichneten sich die Stipendiatinnen dadurch aus, dass der Abschluss ihres Studiums bzw. ihrer Promotion in maximal einem Jahr anvisiert war oder dass sie Berufsanfängerinnen waren.

Zur Qualitätssicherung des Förderprogramms führte das CEval eine prozessbegleitende, externe Evaluation durch. Zentrale Aufgabe dieser Evaluation war es, den durchführungsverantwortlichen Mitarbeiter(inne)n des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen.

Methodisch umfasste die Evaluation standardisierte Online-Befragungen der Mentees und Mentorinnen zu drei Zeitpunkten. Im Zentrum des Interesses standen die Zufriedenheit mit dem Karriereförderprogramm, die Qualität der Beziehung zwischen den Nachwuchskräften und ihren Tutor(inn)en, die Vernetzungsaktivitäten der Mentees sowie der persönliche und berufliche Nutzen für alle Beteiligten. Die Datenerhebungen fanden begleitend zur 15-monatigen Dauer des Karriereförderprogramms statt. Damit erhielt die programmdurchführende Stelle regelmäßig Informationen über den Ablauf des Programms und die Qualität der Realisierung. Dieses Vorgehen ermöglichte eine frühzeitige Identifikation eventueller Probleme und eine zeitnahe Entwicklung geeigneter Maßnahmen, um diesen entgegenzuwirken.
Wirkungsstudie: Armutsminderung im Ländlichen Raum durch Fairtrade 5/201112/2012Transfair Germany (TFG), Max Havelaar Stiftung (Schweiz) (MHCH)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Fairtrade zielt darauf ab, den Fairen Handel zu stärken und möchte es Kleinbauern und Plantagenangestellten in Afrika, Lateinamerika und Asien ermöglichen, von der angestammten Produktion zu leben. Daher legen Fairtrade-Standards als Strategie zur Armutsbekämpfung u.a. ein stabiles Einkommen fest, sowie Grundsätze für Umweltschutz und Gleichstellung. Eine Fairtrade-Prämie, die für die Produkte der Kleinbauern und der zertifizierten Plantagen bezahlt wird, ermöglicht Investitionen in Entwicklungsprojekte. Die Ziele von Fairtrade sind u.a.:
  • Langfristige und möglichst direkte Handelsbeziehungen von Kleinbauern aus benachteiligten Regionen des Südens in den Markt des Nordens.
  • Mindestens gesetzlicher Mindestlohn, Schutzkleidung, bezahlter Urlaub und soziale Vorsorge für Angestellte auf Plantagen.
Ziel dieser Studie war es, die Wirkungen von Fairtrade auf die ländliche Entwicklung in ausgewählten Gebieten/Regionen auf Basis der neuesten Kenntnisse zur Wirkungsmessung zu identifizieren und zu bewerten. Dabei wurde folgende bisher nicht hinreichend untersuchte Hypothese überprüft: „Die Präsenz von repräsentativen Fairtrade-zertifizierten Kooperativen oder Plantagen innerhalb eines gegebenen Gebietes hat über die Fairtrade-Produzentenorganisationen (PO) hinaus eine positive Wirkung auf die ländliche Entwicklung und trägt somit zur Verbesserung der sozialen, wirtschaftlichen und ökologischen Bedingungen im ländlichen Raum bei“. Aufgabe der Wirkungsstudie war es folglich, objektive und belastbare Daten für die Diskussion der Frage, ob Fairtrade ein effektives Instrument der Armutsminderung im ländlichen Raum darstellt, zu liefern.

Methodisch basierte die Wirkungsstudie auf einer hypothesengeleiteten quasi-experimentellen Versuchsanordnung und einem Multi-Methodenansatz. In sechs Produktsektoren wurde jeweils eine Fallstudie durchgeführt: Blumen (Kenia), Kakao (Ghana), Kaffee (Peru), Bananen (Peru), Baumwolle (Indien) und Tee (Indien). Hierfür kamen folgende Datenerhebungsmethoden zum Einsatz: Sekundär- und Dokumentenanalysen, leitfadengestützte Intensivinterviews, Gruppendiskussionen, partizipative Methoden, teilnehmende Beobachtungstechniken sowie mehrere (teil-)standardisierte Zielgruppen-Befragungen. Des Weiteren wurden Inhaltsanalysen sowie deskriptive und inferenzstatistische Analyseverfahren als Datenauswertungsmethoden angewandt.

------------------------------------------------

Zum Download stehen bereit (externe Links): Die Zusammenfassung der Studie (pdf, 4 Seiten, deutsch)

Formative Evaluation der Konzeptentwicklung zur Bildungsoffensive Elbinseln 2011 – 2012/135/20114/2013IBA Hamburg GmbH

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Mitarbeiter: Dr. Wolfgang Meyer

Beschreibung

Im Auftrag der IBA – Hamburg GmbH führte das CEval eine formative Evaluation der Konzeptentwicklung zur „Bildungsoffensive Elbinseln“ (BOE) durch. Hauptziele des Teilprojektes der Internationalen Bauausstellung in Hamburg waren die Förderung der gesellschaftlichen Integration der Bewohner der Elbinseln sowie eine Stärkung des Wohnstandortes Elbinseln durch attraktive Bildungseinrichtungen.

Ziel der formativen Evaluation war die Beratung und Qualifizierung der eingesetzten Netzwerkmanager in den fünf zentralen IBA Bildungsprojekten. Konzepterarbeitung (insbesondere zur Sicherung der Nachhaltigkeit und zur Entwicklung einer gemeinsamen Kommunikationsstrategie), Monitoring der Entwicklung (inklusive der Etablierung eines selbständig von den IBA-Projekten fortführbaren Monitoringsystems) und Netzwerkarbeit in Form der Beteiligung an gemeinsamen Workshops sind die zentralen Aufgaben. Hierfür wurde ein Rahmenvertrag im Umfang von 45 Arbeitstagen geschlossen, der bis zum Abschluss der Internationalen Bauausstellung 2013 abgegolten werden sollte. Die ersten Workshops wurden im Mai und im August 2011 durchgeführt.
Entwicklung und Implementierung eines M&E-Systems für das „MentorinnenNetzwerk für Frauen in Naturwissenschaft und Technik“ 5/201110/2012MentorinnenNetzwerk für Frauen in Naturwissenschaft und Technik

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Das „MentorinnenNetzwerk für Frauen in Naturwissenschaft und Technik“ ist ein seit 1998 bestehender, hochschulübergreifender Verbund aller hessischen Universitäten und Fachhochschulen und stellt mit rund 1.500 Mitgliedern das größte Mentoring-Projekt in der europäischen Hochschullandschaft dar. Das Netzwerk richtet sich an Frauen in Natur- und Ingenieurwissenschaften, die sich in der Qualifizierungsphase Studium oder Promotion befinden und zielt darauf ab, die Absolventinnenzahlen in naturwissenschaftlich-technischen Studiengängen und bei Promotionen zu erhöhen sowie die Karrierechancen von Frauen in naturwissenschaftlich-technischen Berufen zu verbessern und damit den Frauenanteil in attraktiven Positionen in Wissenschaft und Wirtschaft zu erhöhen.

Nachdem das Centrum für Evaluation (CEval) 2008 bereits eine Absolventenverbleibsstudie sowie eine Kontextanalyse für das MentorinnenNetzwerk durchgeführt hatte, wurde es 2011 mit der Entwicklung und Implementierung eines Monitoring- und Evaluationssystems (M&E-System) für das Mentoring-Programm des MentorinnenNetzwerks beauftragt. Dieses sollte die Mitarbeiterinnen des Hessischen Koordinierungsbüros des MentorinnenNetzwerks dazu befähigen, künftig selbst regelmäßige M&E-Aktivitäten durchzuführen, die dabei erhobenen Daten zu analysieren und zu verwerten. Die Mitarbeiterinnen wurden vonseiten des CEval entsprechend geschult und bei den ersten Erhebungen begleitet.
Evaluation des Projekts „College of Europe“4/20118/2011Netzwerk Europäische Bewegung Deutschland (EBD)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Das College of Europe mit den beiden Standorten Brügge (Belgien) sowie Natolin (bei Warschau in Polen) ist ein 1949 gegründetes, unabhängiges, postgraduales Hochschulinstitut für europäische Studien. Oftmals auch als „Kaderschmiede für europäische Politik“ bezeichnet, studieren hier jährlich rund 400 Absolventinnen und Absolventen von Hochschulen und Universitäten aus mehr als 50 Ländern, mit dem Ziel eines Master-Abschlusses. Seit 1949 führt das Netzwerk Europäische Bewegung Deutschland (EBD) die Auswahl und Betreuung von jährlich bis zu 40 deutschen Stipendiaten am College of Europe durch. Rund 90 Prozent erhalten ein Stipendium des Bundesministeriums für Bildung und Forschung (BMBF).

Für das EBD evaluierte das Centrum für Evaluation den Einfluss des Colleges of Europe auf den Werdegang der deutschen Alumni. Ziel der Evaluation war das Herausarbeiten von Argumenten für oder gegen eine Fortsetzung des Stipendienprogramms sowie von Anknüpfungspunkten für eine schärfere Positionierung des Colleges und des Stipendienprogramms. Zur Bearbeitung dieser Aufgabenstellung erfolgten umfangreiche Dokumenten- und Sekundäranalysen und es wurden leitfadengestützte Intensivinterviews mit zentralen Verantwortlichen geführt. Schließlich dienten Online-Befragungen dazu, den Einfluss des Colleges auf die Karrieren der Alumni zu evaluieren.

Evaluation der Mitarbeitergespräche 2011 der Aktien-Gesellschaft der Dillinger Hüttenwerke 4/201110/2011AG der Dillinger Hüttenwerke

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Seit 2008 führt die Dillinger Hütte systematisch Mitarbeitergespräche (MAG) als Instrument der Mitarbeiterführung durch. Ziel der MAG ist es, zu einer stärkeren Fokussierung auf die Unternehmensziele, zur Erweiterung der Unternehmenskultur, zur Förderung der Mitarbeiter und Optimierung der unternehmensinternen Zusammenarbeit beizutragen.

Die Dillinger MAG wurden bereits im Jahr 2010 durch das CEval evaluiert. Aufgrund der daraus resultierenden Ergebnisse wurden Anpassungen am MAG vorgenommen. Aufgabe der Evaluation der MAG 2011 war es zum einen, die Nützlichkeit und Effektivität dieser Anpassungen des MAG und seiner Instrumente zu bewerten. Zum anderen sollte eruiert werden, ob die Transparenz über die Zielsetzungen des MAG verbessert werden konnte und ob das MAG in den Dillinger Hüttenwerken insgesamt als akzeptiertes und verankertes Instrument angesehen werden kann. Aus den Erkenntnissen der Evaluation sind letztlich geeignete Optimierungsmaßnahmen zu identifizieren.

Hierzu wurde vom CEval in Abstimmung mit der Dillinger Hütte eine standardisierte Online-Befragung der Mitarbeiter des Unternehmens über verschiedene Hierarchieebenen hinweg konzipiert und durchgeführt. Ergänzend wurden 15 leitfadengestützte Interviews mit verschiedenen Mitarbeitern des Unternehmens geführt. Im Rahmen der Datenanalysen wurden die in 2010 und 2011 erhobenen Daten zusammengeführt und im Längsschnitt ausgewertet.

Datenauswertung und Evaluation der Aktivitäten der DW-AKADEMIE in Albanien3/20116/2011Deutsche Welle (DW)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Für die Deutsche Welle evaluierte das Centrum für Evaluation die Aktivitäten der Deutsche Welle-AKADEMIE in Albanien. Dabei wurden zwölf Kurse für albanische Radiosender zu den übergreifenden Themen Journalismus und Management durchgeführt. Im Rahmen der Datenauswertung und Evaluation wurden die quantitativen und qualitativen Daten der Seminarbeurteilungen der Kurse nach Journalismus- und Management-Kursen getrennt ausgewertet. Weiterhin wurden telefonische Kurzinterviews mit sechs bis sieben Trainern geführt und eine teilstandardisierte Online-Befragung der Ansprechpartner der albanischen Partnersender realisiert. Ziel der Evaluation war über die deskriptive, summative Auswertung der Rückmeldungen hinaus die Ableitung von Empfehlungen zur Durchführung derartiger Trainings.
Evaluation des Projekts AnschlussDirekt1/201112/2012Ministerium für Wirtschaft und Wissenschaft des Saarlandes

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Beschreibung

Gegenstand der Evaluation war das im Jahr 2010 durch das Ministerium für Wirtschaft und Wissenschaft des Saarlandes ins Leben gerufene und auf drei Jahre angelegte Projekt AnschlussDirekt. Im Rahmen des Projektes wurden Schülerinnen und Schüler mit einer positiven Hauptschulabschlussprognose in der Phase der Berufsorientierung und während der Ausbildungsplatzsuche intensiv betreut. Die Betreuung der Jugendlichen erfolgte in erster Linie durch die Mitarbeiter der Projektkoordinierungsstelle, aber auch - und dies ist die Besonderheit des Modellprojekts – durch ehrenamtlich agierende „Paten“ (Wirtschaftsexperten und Personalverantwortliche saarländischer Unternehmen). Ziel war es, den Anteil der Schülerinnen und Schüler zu erhöhen, die direkt im Anschluss an ihren Hauptschulabschluss eine betriebliche Ausbildung beginnen.

Aufgabe der begleitenden Evaluation war zunächst die Unterstützung beim Aufbau eines Monitoringssystems, in dem für das Projektmanagement steuerungsrelevante Daten erfasst und bedarfsgerecht abgerufen werden können.
Ergänzend hierzu wurden die Paten im Rahmen einer telefonischen Befragung zu ihren Eindrücken und Bewertungen hinsichtlich des Projekts und ihrer Beratungen befragt.
Des Weiteren bestand die Aufgabe der Evaluation darin, Projektwirkungen auf der Ebene der Zielgruppe zu erfassen. Hierzu wurden zu verschiedenen Zeitpunkten standardisierte Befragungen mit den am Projekt beteiligten Jugendlichen durchgeführt. Die Ergebnisse dieser Befragungen wurden mit eigens erhobenen Baselinedaten von Schülerinnen und Schüler, die nicht am Projekt teilnehmen, systematisch verglichen.

Aus den Evaluationsbefunden wurden regelmäßig Empfehlungen zur Projektoptimierung abgeleitet und der Projektkoordination zur Verfügung gestellt.

Grenzüberschreitende Arbeitsmarktpolitik: Institutionen und institutionelle Steuerung des Arbeitsmarktes in der Großregion SaarLorLux1/201112/2012Kooperationsstelle Wissenschaft und Arbeitswelt der Universität des Saarlandes (KoWA), Arbeitskammer des Saarlandes (AK)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Beschreibung

Der Arbeitsmarkt der Großregion SaarLorLux (Saarland, Lothringen, Luxemburg, Rheinland-Pfalz und Wallonie) ist durch umfangreiche grenzüberschreitende Pendlerströme geprägt. Nahezu 200.000 Berufspendler überqueren im Vierländereck täglich eine nationale Grenze auf dem Weg zu ihrer Arbeitsstelle (IBA 2009).

Die Öffnung der Märkte bedeutet für Grenzregionen wie den SaarLorLux-Raum neue Möglichkeiten, aber auch neue Schwierigkeiten hinsichtlich der aktiven Gestaltung dieses Marktes und seiner Rahmenbedingungen. Nationale Unterschiede der Arbeitsgesetzgebung, Lohngestaltung, Beschäftigungssicherung, Arbeitsplatzgestaltung etc. stellen sich zunehmend als komparative Standortvor- bzw. –nachteile dar, die grenzüberschreitende Pendelbewegungen der Arbeitskräfte bewirken und gleichzeitig auch Effekte auf die Verhandlungen der Arbeitgeber- und Arbeitnehmervertretungen sowie die Politik der betroffenen Regionen haben. Dabei werden die Handlungsmöglichkeiten der lokalen Akteure durch die nationalen Regelungen und Politiken begrenzt und eventuell sogar in Bezug auf eine rationale, koordinierte Gestaltung der Arbeitsbeziehungen innerhalb der Großregion behindert. Gleichzeitig erhöht sich auch der Druck auf die Akteure, die nun einen Interessenausgleich nicht nur innerhalb einer Nation sondern auch zwischen den Nationen zu suchen und zu einer gemeinsamen Arbeits- und Beschäftigungspolitik zu finden haben.

Ziel des Forschungsprojektes war es, transnationale Institutionen des Arbeitsmarkts der Großregion zu erfassen und hinsichtlich ihrer Funktionalität als politische Steuerungsgremien und zur Herausbildung einer grenzüberschreitenden Integration zu bewerten.

In einer ersten explorativen Projektphase wurden hierzu neben umfangreichen Sekundäranalysen Interviews mit ausgewählten Experten zur Situation des Arbeitsmarktes geführt. Auf Grundlage der dabei gewonnen Informationen wurde in der zweiten Phase unter Berücksichtigung einer netzwerktheoretischen Perspektive eine standardisierte Online-Befragung von Vertretern aller relevanten interregional tätigen Gremien des Arbeitsmarktes der Großregion durchgeführt.

Interregionale Arbeitsmarktbeobachtungsstelle (2009). Die Arbeitsmarktsituation in der Großregion. 6. Bericht der Interregionalen Arbeitsmarktbeobachtungsstelle an den 11. Gipfel der Exekutive der Großregion. Saarbrücken.

Schlussevaluation der Projekte der World University Services im Kosovo und in Serbien zur Reform des Hochschulsektors12/20105/2011World University Services (WUS)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Gegenstand der Schlussevaluation waren die beiden von WUS umgesetzten Projekte “Building Quality, Knowledge and Skills for Social and Economic Development – Support to Reforms of Higher Education in Kosovo 2008-2011” und “Serbia 2007-2010: Improving Quality, Knowledge & Skills for Economic Development – Support to Reforms of Higher Education in Serbia”. Ziel dieser Projekte war die Unterstützung der Reformierung der jeweiligen Hochschulsektoren in den beiden Ländern im Hinblick auf eine bessere, bedarfsorientiertere Ausbildung. Damit sollte die Beschäftigungsfähigkeit und entsprechend die Beschäftigtenquote bei den Hochschulabsolventen gesteigert werden.
Weitere Informationen zu den Projekten erhalten Sie unter:
http://www.wus-austria.org/allprojects/38/15.html
Aufgabe der vom CEval durchgeführten Evaluation war es, gemäß der DAC-Kriterien, die Relevanz, Umsetzungseffizienz, Effektivität, Wirksamkeit sowie die Nachhaltigkeit der Projektmaßnahmen in beiden Ländern zu untersuchen und im Hinblick auf die Zielerreichung bewerten. Die Untersuchung war als Desk-Study angelegt, bei der neben Programmdokumenten weitere Hintergrundrecherchen zum bisherigen Entwicklungsverlauf der Sektoren vorgenommen wurden.

Hands-On Methods to Measure Development Effectiveness and Enhancing Knowledge-Sharing12/201012/2013International Fund for Agricultural Development (IFAD)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Ziel des Vorhabens ist die Stärkung der Kompetenzen der Programmpartner des United Nation’s International Fund for Agricultural Development (IFAD) in Ländern der North Africa Division im Bereich Monitoring und Evaluation (M&E). In einer ersten Phase werden hierzu im Rahmen zweier Pilotstudien in Süd-Sudan und Albanien die dort eingesetzten Monitoring- und Evaluationsverfahren auf ihre Angemessenheit und Vollständigkeit hin untersucht und zu umfassenden M&E-Systemen weiterentwickelt. Die dabei gewonnenen Erkenntnisse hinsichtlich Ergebnisqualität und Handhabbarkeit werden anschließend systematisch aufbereitet und in einem zweiten Schritt auf ihre Übertragbarkeit auf andere Länder hin untersucht. Damit sollen weitere Projektträger und nationale Institutionen in die Lage versetzt werden, eigenständig Daten zu erheben, zu analysieren und zu bewerten, die ihnen Aufschluss über die Wirkungen und Nachhaltigkeit ihrer Projekte geben. Schließlich werden daraus praktische Handlungsleitfäden für die Erfassung von Wirkungen von Programmen in den Bereichen ländliche Entwicklung und Armutsminderung entwickelt und im Rahmen von überregionalen Informationsveranstaltungen sowie im Internet weiter verbreitet. Bei dem Vorhaben kooperiert das CEval mit der Arbeitsgemeinschaft Entwicklungspolitischer Gutachter (AGEG), die ihrerseits hierfür Sektorexperten einsetzt.
Evaluation des Moduls ‚Famulaturen und PJ-Abschnitte‘ des DAAD-Ärzteprogramms/ PAGEL9/20103/2011Deutscher Akademischer Austauschdienst (DAAD)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Gegenstand der Evaluation war das Modul ‚Famulaturen und PJ-Abschnitte‘ des DAAD-Ärzteprogramms/ PAGEL. Im Rahmen dieses Moduls wurden Medizinstudierenden deutscher Hochschulen aus Entwicklungsländern ein- bis zweimonatige Famulaturen bzw. viermonatige PJ-Tertiale in ihren Heimatländern oder anderen Entwicklungsländern ermöglicht. Durch diesen Aufenthalt hatten die Studierenden die Möglichkeit, sich mit der beruflichen Realität und den benötigten medizinischen Kompetenzen im Heimatland vertraut zu machen. Dies sollte letztendlich nach Abschluss des Studiums deren Rückkehr fördern, deren Reintegration erleichtern und somit dem ‚brain drain‘ entgegenwirken.
Im Rahmen der Evaluationsstudie wurde die Zielerreichung und Wirkung des Moduls ‚Famulaturen und PJ-Abschnitte‘ untersucht. Ziel der Evaluation war es, Optimierungspotentiale für die laufende Programmentwicklung herauszuarbeiten. Dabei wurde besonderes Augenmerk auf die am Ärzteprogramm beteiligten Universitäten und deren Interesse an diesem Modul gelegt.
Aus den Erkenntnissen der Evaluation wurden konkrete Schlussfolgerungen und Empfehlungen für die Programmausschreibung des Ärzteprogramms/ PAGEL im Frühjahr 2011 abgeleitet.

Schlussevaluation der “Child Legal Support and Protection Network Initiative”9/20102/2011Plan International Deutschland e.V.

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Gegenstand der Schlussevaluation war das von Plan International Deutschland e.V. umgesetzte Programm „Child Legal Support & Protection Network Initiative“ in China, das auf eine umfassende Betreuung von Kindern abzielt, die misshandelt wurden oder selbst in Konflikt mit dem Gesetz gekommen sind.
Schwerpunkte der Schlussevaluation lagen auf der Identifikation und Bewertung der bislang erzielten Wirkungen und ihrer Nachhaltigkeit sowie der Rolle und der Zusammenarbeit der beteiligten Akteure. Darüber hinaus sollten auf Grundlage der Untersuchungsergebnisse Empfehlungen für die vorgesehene zweite Phase ab 2011 entwickelt werden. Gemäß dem Multimethodenansatz des CEval kamen bei der Datenerhebung neben leitfadengestützten Intensivinterviews mit den Programmverantwortlichen und Vertretern der Partnerorganisationen, standardisierte Befragungen weiterer Programmbeteiligter (z.B. freiwillige Unterstützer) sowie eine Dokumentenanalyse zum Einsatz.

Evaluation des Programms ‚Bi-nationales Promotionsnetzwerk’ (PhD-Net)9/20102/2011Deutscher Akademischer Austauschdienst (DAAD)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Ziel des BMBF-geförderten DAAD-Programms „Bi-nationales Promotionsnetzwerk“ (PhD-Net) ist es, Kooperationen zwischen deutschen und ausländischen Hochschulen auf dem Gebiet der Doktorandenausbildung zu initiieren und zu fördern, um ausländischen Doktoranden grenzüberschreitende, binationale Promotionen zu ermöglichen und hochqualifizierte ausländische Nachwuchswissenschaftler für eine wissenschaftliche Karriere in Deutschland und/oder für den Aufbau wissenschaftlicher Kooperationsbeziehungen mit Deutschland zu gewinnen. Förderungsfähig sind dabei sowohl Anbahnungsreisen und Summer Schools als auch Promotionsprogramme.

Im Rahmen der Evaluationsstudie wird die Zielerreichung und Wirksamkeit des PhD-Net-Programms untersucht. Aufgabe ist es, sowohl die Erreichung der unmittelbaren Ziele, die sich direkt aus den drei Förderlinien ableiten lassen, zu ermitteln als auch eine Aussage über die Verwirklichung der mittel- und langfristigen Ziele auf institutioneller sowie individueller Ebene zu treffen. Ergänzend dazu soll die Effizienz des Programms bewertet werden. Hierbei ist zum einen zu analysieren, ob und inwieweit die Fördermaßnahmen sinnvoll aufgebaut sind, welche konkreten Maßnahmen innerhalb der Projekte durchgeführt wurden und welche Maßnahmen sich als besonders bzw. weniger effizient und wirksam im Hinblick auf die Zielerreichung erwiesen haben. Zum anderen sollen die Programmadministration sowie die Programmdurchführung durch den DAAD und verwendete Monitoringinstrumente untersucht und bewertet werden.

Aus den dabei gewonnenen Erkenntnissen sind konkrete Schlussfolgerungen und Empfehlungen zur Weiterentwicklung des Förderprogramms „International promovieren in Deutschland“ (IPID) zu erarbeiten, welches eine derzeit geplante Laufzeit von 2010 bis 2013 hat.

Zwischenevaluierung des InWEnt-Programms “Dialogforen mit Ankerländern - Auf dem Weg zu einer globalen Partnerschaft (2008-2010)“8/201012/2010Internationale Weiterbildung und Entwicklung gGmbH (InWEnt)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Gegenstand der Zwischenevaluierung waren die seit 2008 von InWEnt durchgeführten Maßnahmen im Rahmen des Programms „Dialogforen mit Ankerländern“, welche eine Intensivierung des internationalen Erfahrungsaustauschs zu den aktuellen globalen Herausforderungen im Finanzsektor und im Bereich der Klimaentwicklung zum Ziel haben. Auf der Programmzielebene geht es darum, politische Gestaltungsspielräume für kooperative Politikansätze zur Wahrung der beiden globalen öffentlichen Güter „Begrenzung des Klimawandels und Stärkung der internationalen Finanzmarktstabilität“ zu vergrößern. Im Rahmen von Dialogforen sollen die Teilnehmer dazu befähigt werden, ihre Regierungen in der Wahrnehmung ihrer internationalen Verantwortung zur Sicherung dieser Güter durch eine konstruktive Mitgestaltung in formellen Global Governance Strukturen zu unterstützen.

Ziel dieser Untersuchung war es, auf der Basis der Analyse- und Bewertungsergebnisse eine Entscheidungsgrundlage für die von InWEnt beantragte Programmfortsetzung in den Jahren 2011/2012 zu erhalten. Entsprechend den DAC-Kriterien wurden die Effektivität, die Effizienz und die Nachhaltigkeit des Programms bewertet sowie Empfehlungen zur Kohärenz, Koordination und Komplementarität mit den Maßnahmen anderer deutscher Geber formuliert. Des Weiteren galt es die bislang erzielten Ergebnisse im Hinblick auf ihre Relevanz sowie ihre mittel- und langfristige Wirkung hin zu untersuchen.

Methodisch basierte die Evaluation auf Sekundär- und Dokumentenanalysen, ca. 50 leitfadengestützten Intensivinterviews, zwei teilstandardisierten Online-Befragungen aller Dialogforen-Teilnehmer beider Komponenten sowie auf der Teilnahme an zwei Dialogforen in China.

Evaluation der Mitarbeitergespräche 2010 der Aktien-Gesellschaft der Dillinger Hüttenwerke6/20109/2010AG der Dillinger Hüttenwerke

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Seit 2008 führt die Dillinger Hütte systematisch Mitarbeitergespräche (MAG) als Instrument der Mitarbeiterführung durch. Ziel der MAG ist es, zu einer stärkeren Fokussierung auf die Unternehmensziele, zur Erweiterung der Unternehmenskultur, zur Förderung der Mitarbeiter und Optimierung der unternehmensinternen Zusammenarbeit beizutragen.

Aufgabe des CEval im Rahmen der Evaluation war zum einen die Bewertung der Effektivität der MAG und zum anderen sollten verschiedene Gesprächselemente und die Verständlichkeit des Instruments insgesamt bewertet und geeignete Optimierungsmaßnahmen identifiziert werden.

Hierzu wurde vom CEval in Abstimmung mit der Dillinger Hütte eine standardisierte Online-Befragung der Mitarbeiter des Unternehmens über verschiedene Hierarchieebenen hinweg konzipiert und durchgeführt. Ergänzend wurden 20 leitfadengestützte Interviews mit verschiedenen Mitarbeitern des Unternehmens geführt.

Evaluation 2010 der Wirtschaftsinitiative Nachhaltigkeit5/20108/2010Steiermärkische Landesregierung

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Beschreibung

Die Wirtschaftsinitiative Nachhaltigkeit (WIN) des Landes Steiermark wurde im Dezember 2002 vom Land Steiermark (Fachabteilung 19D), der Wirtschaftskammer Steiermark (WK-Stmk) und der Steirischen Wirtschaftsförderung (SFG) ins Leben gerufen. Diese Initiative hat zum Ziel das Leitbild der Nachhaltigen Entwicklung zu verbreiten und diese in ausgewählten Schwerpunktbereichen der steirischen Wirtschaft effektiv umzusetzen, um dadurch die erfolgreiche Entwicklung der steirischen Wirtschaft zu unterstützen. Zu diesem Zweck bietet die WIN spezielle Beratungsprogramme für Unternehmer und Organisationen zu Themen der Nachhaltigkeit und des Umweltschutzes an, die von sogenannten WIN-Beratern durchgeführt werden. Ende 2009 kann die WIN auf drei Programmperioden zurückblicken.

Ziel der Evaluation war es einerseits, das WIN-Programm bezüglich seiner Effektivität und Effizienz zu beurteilen, um dadurch den Lernprozess und die kontinuierliche Verbesserung des Programms und seiner Umsetzung voranzutreiben. Andererseits sollten Zukunftsperspektiven der Wirtschaftsinitiative Nachhaltigkeit aufgezeigt werden.

Methodisch umfasste die Evaluation eine Sekundäranalyse vorliegender Dokumente, teilstandardisierte Telefoninterviews mit Teilnehmern und Beratern, sowie leitfadengestützte telefonische Kurzinterviews mit weiteren Stakeholdern.

GTZ bzw. GIZ-Rahmenvertrag zur Durchführung von Unabhängigen Evaluierungen und Wirkungsevaluierungen von Programmen der technischen Zusammenarbeit 2/20106/2013Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Die Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) GmbH hat ihr bestehendes Evaluierungssystem 2005 mit der Einführung von Ex-post Evaluierungen vervollständigt und lässt seither im Auftrag des BMZ jährlich weltweit ca. 25-30 Unabhängige Evaluierungen (UE) in dessen Kooperationsländern durch unabhängige wissenschaftliche Institute und Consultingunternehmen durchführen. Der in diesem Zusammenhang mit dem CEval 2005 erstmalig geschlossene Rahmenvertrag wurde in den darauffolgenden Jahren kontinuierlich verlängert, so dass bisher bereits 30 Vorhaben der technischen Zusammenarbeit durch das CEval evaluiert wurden.

Im Zentrum der Evaluationsvorhaben steht nach der erfolgreichen Erprobung in 2008 und 2009, die Weiterentwicklung eines durch das CEval entwickelten Analysekonzepts, welches sich an den theoretischen Modellen und methodischen Verfahrensweisen des ‚Rigorous-Impact-Evaluation’-Ansatzes (RIE) orientiert. Kern dieses Ansatzes ist eine hypothesengeleitete Ursache-Wirkungsmessung, ein quasi-experimentelles Untersuchungsdesign (Vorher-Nachher-Messung, Vergleich von Ziel- und Nicht-Zielgruppe), die Kombination unterschiedlicher quantitativer und qualitativer Erhebungsverfahren (Multi-Methoden-Ansatz) sowie die Anwendung elaborierter Matching- und Datenauswertungsmethoden einschließlich multivariater statistischer Verfahren. Durch diese Vorgehensweise wird eine kausale Zuschreibung der in einem Untersuchungsgebiet eingetretenen (wirtschaftlichen, gesellschaftlichen, ökologischen etc.) Veränderungen und somit eine valide und reliable Wirkungsmessung ermöglicht.

In 2010 führt das CEval vier Evaluierungen im Schwerpunktsektor "Berufliche Bildung" und in 2011 zwei Evaluierungen in im Bereich "Gesundheit" durch. Für ein Vorhaben in der Mongolei wird von CEval-Mitarbeitern eine methodisch anspruchsvolle Wirkungsevaluierung und für ein anderes Programm in Südafrika wird erstmalig eine ex-ante Evaluierung realisiert, indem eine Bedarfsanalyse, ein Impact Assessment und eine Baseline-Studie durchgeführt werden. Des Weiteren wird im Rahmen der ex ante Evaluierung die Wirkungslogik des Programms entwickelt sowie ein Konzept für zukünftiges Wirkungsmonitoring erarbeitet. Die weiteren vier Evaluierungen in 2010 und 2011 werden unter der Koordination von Sonja Wolf von externen Gutachtern aus dem In- und Ausland umgesetzt.

In 2010 handelte es sich um folgende TZ-Vorhaben:

  • Schlussevaluierung des Programms „Förderung der beruflichen Erwachsenenbildung und Beschäftigung, Bulgarien"
  • Schlussevaluierung des „Indisch-Deutschen Zentrums für Moderne Technologien (IGIAT), Indien"
  • Schlussevaluierung des Programms „Berufsbildung von Mädchen und Frauen sowie Unterstützung des Reformprozesses im Bildungssystem, Kasachstan"
  • Ex-ante Evaluierung des Programms „Skills Development for Climate and Environment Business – Green Jobs, Südafrika”

In 2011 handelte es sich um folgende TZ-Vorhaben:

  • Schlussevaluierung des Programms "Multidisziplinäres HIV/AIDS Programm, Bangladesch"
  • Ex-post Wirkungsevaluierung des Programms "Förderung der reproduktiven Gesundheit, Mongolei"
Evaluation der Initiative „Kultur und Entwicklung“ 12/20096/2010Goethe-Institut e.V.

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Das Goethe-Institut fördert mit seiner Initiative „Kultur und Entwicklung“ durch spezifische Beratungs- und Bildungsprogramme Institutionen und Akteure aus Kultur, Medien und Gesellschaft vor allem in Ländern der Entwicklungszusammenarbeit. Diese Programme zielen auf berufliche Qualifizierung, beraten und fördern den Aufbau von Netzwerken und schaffen kulturelle und zivil- gesellschaftliche Plattformen.

Aufgabe der Evaluation war es einerseits, den Planungs-, Implementations- und Durchführungsprozess durch das Goethe-Institut zu analysieren und zu bewerten und andererseits eine Relevanz- und Effektivitätsanalyse vorzunehmen.

Zur Datengewinnung wurden Dokumenten- und Sekundäranalysen eingesetzt und ca. 30-40 leitfadengestützte Intensivinterviews geführt.

Evaluation der Richtlinie des Brandenburgischen Wirtschaftsministeriums zur Förderung des wirtschaftsbezogenen Technologietransfers 12/20096/2010Pricewaterhouse Coopers (PwC)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Gegenstand der federführend von PricewaterhouseCoopers (PwC) durchgeführten Evaluation war die 2007 überarbeitete Richtlinie des Brandenburgischen Wirtschaftsministeriums zur Förderung des wirtschaftsbezogenen Technologietransfers, die eine stärkere Branchenfokussierung und eine intensivere Integration der beteiligten Akteure und Institutionen in das Transfersystem zum Ziel hat.

Im Rahmen der Untersuchung war es Aufgabe des CEval bei den Zielgruppen des Technologietransfers (Unternehmen und Wissenschaftler) ein repräsentatives Meinungsbild hinsichtlich der Einschätzung von Effektivität und Effizienz der Umsetzung der Richtlinie zu gewinnen. Hierzu wurden vom CEval in Abstimmung mit PwC und dem Brandenburgischen Wirtschaftsministerium zwei standardisierte Online-Befragungen konzipiert und durchgeführt. Die Erhebungsdaten wurden anschließend mittels deskriptiver und inferenzieller statistischer Verfahren ausgewertet und mit den von PwC erhobenen qualitativen Interviewdaten trianguliert. Die Ergebnisse nehmen Eingang in das von PwC zu erstellende Gutachten und bilden dabei die empirische Grundlage für die darin auszuarbeitenden Empfehlungen zur zukünftigen Gestaltung der Richtlinie.

Evaluierung Hochschulbildung in Nicaragua und Südosteuropa 2005-200912/20099/2010Austrian Development Agency (ADA)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Gegenstand der Evaluation war die Maßnahmen zur Unterstützung des Hochschulsektors in den Schwerpunktländern der österreichischen Entwicklungszusammenarbeit (OEZA) in Südosteuropa (SOE) sowie Lateinamerika (LA). Während der Fokus der OEZA in SOE auf arbeitsmarktorientierter Hochschulbildung und der Integration in den Europäischen Hochschul- und Forschungsraum liegt, wurden in LA vor allem Bildungsprojekte zur Stärkung von Minoritäten gefördert.

Aufgabe der Evaluation war es, die bisher erzielten Ergebnisse auf ihre Relevanz, Effektivität, entwicklungspolitische Wirksamkeit und Nachhaltigkeit hin zu untersuchen. Des Weiteren sollten die Capacity-Building Effekte bei den Partnerorganisationen sowie deren Ownership bewertet werden. Ausgehend von einer umfassenden
Dokumentenanalyse wurden hierfür im Rahmen dreier Feldstudien in Nicaragua, Serbien und dem Kosovo empirische Daten an den jeweiligen Standorten gesammelt und in einem Synthesebericht vergleichend ausgewertet.

Ziel war es dabei insbesondere Optionen für zukünftige Interventionen, entsprechend den strategischen Zielsetzungen der OEZA in den Bereichen Hochschulbildung und Wissenschaftskooperation, im Sinne der Entwicklung eines kohärenten programmbasierten Ansatzes aufzuzeigen.

Begleitende Evaluation des Karriereförderprogramms „Talente sichern – Zukunft gestalten“ (2009-2011) 10/20092/2011Cusanuswerk - Bischöfliche Studienförderung

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Das in 2009 in der zweiten Phase laufende Programm „Talente sichern – Zukunft gestalten“ des Cusanuswerks - Bischöfliche Studienförderung setzt auf eine gezielte Förderung des weiblichen Führungsnachwuchses. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiatinnen deutscher Begabtenförderungswerke durch berufserfahrene AkademikerInnen, auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Neben überdurchschnittlichen Studienleistungen zeichnen sich die Stipendiatinnen dadurch aus, dass der Abschluss ihres Studiums bzw. ihrer Promotion in maximal einem Jahr anvisiert ist oder dass sie Berufsanfängerinnen sind.

Zur Qualitätssicherung des Förderprogramms führt das CEval eine prozessbegleitende, externe Evaluation durch. Zentrale Aufgabe dieser Evaluation ist es, den durchführungsverantwortlichen MitarbeiterInnen des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse sind entsprechend der Zielsetzungen des Programms hierbei Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen des Cusanuswerks, zur organisatorischen Ausgestaltung und Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten.

Methodisch umfasst die Evaluation eine Sekundäranalyse vorliegender Dokumente, eine Gruppendiskussion, vier standardisierte Online-Befragungen sowie die Erstellung drei qualitativer Tandem-Fallstudien. Im Mittelpunkt der standardisierten Befragungen stehen die Zufriedenheit mit dem Karriereförderprogramm sowie die Qualität der Beziehung zwischen den Nachwuchskräften und ihren TutorInnen. Die Datenerhebungen finden begleitend zur 15-monatigen Dauer des Karriereförderprogramms statt. Damit erhält die programmdurchführende Stelle regelmäßig Informationen über den Ablauf des Programms und die Qualität der Realisierung. Dieses Vorgehen ermöglicht eine frühe Identifikation eventueller Probleme und eine zeitnahe Entwicklung geeigneter Maßnahmen zu deren Behebung. Da das CEval auch die Pilotphase des Förderprogramms begleitend evaluierte, können zusätzlich Vergleiche zwischen den beiden Förderphasen gezogen werden.

Evaluation des African Good Governance Networks (AGGN) 9/200911/2009Deutscher Akademischer Austauschdienst (DAAD)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Junge, an deutschen Hochschulen ausgebildete Afrikanerinnen und Afrikanern werden seitens des DAAD als wichtige ‚Resource-Persons’ angesehen, die dazu in der Lage sind, nach ihrer Rückkehr in ihre Heimatländer in Prozessen der Entwicklung zu mehr Rechtsstaatlichkeit, Demokratie und wirtschaftlicher Prosperität eine wichtige Schlüsselrolle einzunehmen. Anfang 2007 wurde das African Good Governance Network (AGGN) unter der Schirmherrschaft des Bundespräsidenten ins Leben gerufen. Mittels dieses Netzwerks soll ein Beitrag zur Ausweitung und Vertiefung der akademischen Zusammenarbeit zwischen Afrika/Subsa­hara und Deutschland geleistet werden und zugleich sollen künftige afrikanische Führungskräfte im Bereich guter Regierungsführung gefördert werden. Die Mitglieder des AGGN unterstützen die Prinzipen des Good Governance, erkennen diese an und verbreiten sie aktiv.
Das AGGN kann als langfristig angelegtes Fortbildungsprogramm verstanden werden, in das jährlich bis zu zehn neue Mitglieder aufgenommen werden. Gegenwärtig verfügt das Netzwerk über 32 Mitglieder aus vierzehn afrikanischen Ländern, die sich bis zu dreimal pro Jahr zu Workshops und Seminaren treffen. Inhaltlich beschäftigen sich diese Seminare mit unterschiedlichen theoretischen und praktischen Aspekten zu Good Governance sowie auch zu verschiedenen Personal Skills. Ziel ist es, das Bewusstsein für und das Verständnis von Good Governance und der damit verbundenen gesellschaftlichen Haltung zu stärken. Aufgabe der Evaluation war zum einen eine Bewertung der bislang erzielten Ergebnisse und Wirkungen sowie davon ausgehend die Ableitung von Handlungsempfehlungen für die Ausgestaltung weiterer Programmaktivitäten und die weitere Entwicklung des Netzwerks unter Berücksichtigung der Potenziale des Netzwerks.
Methodisch basierte die Evaluation auf Sekundär- und Dokumentenanalysen, einer standardisierten Online-Befragung aller AGGN-Mitglieder sowie einer Teilnahme an einem der Seminare der AGGN in Südafrika, in dessen Kontext die Ergebnisse der standardisierten Befragung mit den AGGN-Mitgliedern selbst diskutiert wurden.

Handreichung Auswahl und Messung von Indikatoren im Bereich Berufliche Bildung und Arbeitsmarkt 9/20093/2010Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Beschreibung

Spätestens seit der Verabschiedung der Milleniumserklärung der Vereinten Nationen im September 2000 kommt der Frage nach den Wirkungen von Entwicklungszusammenarbeit eine zentrale Bedeutung zu. Um zu ermitteln, ob eine Entwicklungsmaßnahme die erwünschten positiven Wirkungen erreicht und negative Nebenwirkungen vermeidet, werden Indikatoren als Hilfsinstrumente eingesetzt. Die Auswahl von geeigneten Indikatoren und deren Messung stellt Verantwortliche in Vorhaben der Beruflichen Bildung oftmals vor große Herausforderungen. Das CEval entwickelt eine Handreichung zur praktikablen Herangehensweisen für die Auswahl und Messung von Indikatoren im Zusammenhang von Maßnahmen der Beruflichen Bildung für die GTZ. Dabei werden u.a. folgende Fragen beantwortet:

  • Welche Indikatoren sind besonders geeignet, die klassischen Ziele von Maßnahmen der Beruflichen Bildung abzubilden?
  • Welche Daten werden in welcher Qualität benötigt?
  • Welche Methoden sollen zur Datenerhebung bzw. Messung angewandt werden?
  • Wie kann der Forderung nach Baseline-Daten und der Ermittlung von Nettowirkungen praktikabel nachgekommen werden?
Evaluation der Konferenz „Sprache und Integration"8/200911/2009Goethe-Institut e.V.

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Das Goethe-Institut als zentraler Sprach- und Kulturmittler der deutschen Auswärtigen Kultur- und Bildungspolitik initiierte von 2008 bis 2009 mit verschiedenen Partnern in einem zweijährigen Programmschwerpunkt das internationale Projekt „Sprachen ohne Grenzen“. Ziel ist es, die besondere Bedeutung und den besonderen Nutzen von Mehrsprachigkeit für Politik, Wissenschaft und Wirtschaft von Gesellschaften sowie für die Gesellschaft als Ganzes und für die Entwicklung der einzelnen Individuen zu verdeutlichen. Hierdurch soll ein Beitrag zur Erhaltung und Förderung der Sprachenvielfalt v.a. in der EU geleistet und damit auch die Integration innerhalb der EU gefördert werden.

„Sprachen ohne Grenzen“ setzt sich aus verschiedenen Säulen zusammen. Im Rahmen der zentralen Abschlussveranstaltung zum Programm deckt die Konferenz „Sprache und Integration“ die Programmsäule Mehrsprachigkeit und Politik ab. Im Rahmen der zweitägigen Konferenz werden an je einem Tag die Themen „Prüfungen“ und „Herkunftssprachen“ behandelt; die Konferenz endet mit einer Podiumsdiskussion. Im Rahmen der Konferenz werden etwa 20 ReferentInnen aktiv zur Programmgestaltung beitragen und es werden ca. 200 BesucherInnen erwartet, die sich aus PraktikerInnen, beratenden Fachleuten und BildungspolitikerInnen zusammensetzen.

Aufgabe der Evaluation ist zum einen eine Bewertung der Zielerreichung, indem zu untersuchen ist, ob ein nachhaltiger Erfahrungs- und Informationsaustausch zwischen Sprachexperten und Entscheidungsträgern der Mitgliedstaaten der EU zum Thema „Sprache und Integration“ initiiert und gefördert wurde. Zum anderen soll eine Erhebung der Zufriedenheit der Konferenzteilnehmer u.a. Aufschluss über die Relevanz der gewählten Themen geben. Hierzu werden alle BesucherInnen und ReferentInnen mittels eines standardisierten Fragebogens befragt.

Evaluation von eCampus Saar - Bildungsinnovation durch Bildungstechnologien an den Hochschulen des Saarlandes7/20099/2009Competence Center "Virtuelle Saar Universität" (CC VISU)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Gegenstand des Projekts „eCampus Saar - Bildungsinnovation durch Bildungstechnologien an den Hochschulen des Saarlandes -“ war einerseits der Ausbau des an der Universität des Saarlandes vorgehaltenen Learning Management Systems CLIX Campus zur Nutzung an der Hochschule für Musik Saar (HfM), der Hochschule der Bildenden Künste Saar (HBK) sowie der Hochschule für Technik und Wirtschaft des Saarlandes (HTW) sowie andererseits die Integration von bestehendem und die Entwicklung von neuen eLearning-Inhalten auch unter Nutzung neuer Web 2.0-Anwendungen und deren Einbindung in das Learning Management System CLIX Campus.

Im Rahmen dieses Projekts führte das CEval eine Sachstands- und Bedarfsanalyse durch. Diese zielte darauf ab, intersubjektiv überprüfbares Wissen über die Ausgangssituationen der Hochschulen im Hinblick auf den vorliegenden eLearning-Content, möglicherweise bereits genutzte Web 2.0-Dienste sowie im Einsatz befindliche Verwaltungs- und Learning Management Systeme zu erstellen. Methodisch wurde hierzu auf eine standardisierte Befragung aller ProfessorInnen der beteiligten Hochschulen sowie auf leitfadengestützte Interviews mit den strategisch und operativ Verantwortlichen der Hochschulen zurückgegriffen.

Projektfortschrittkontrolle „Starke Verbraucher für ein Gutes Klima“ im Rahmen der Klimaschutzinitiative der Bundesregierung7/200912/2010Verbraucherzentrale Bundesverband (VZVB)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Mitarbeiter: Dr. Hansjörg Gaus

Beschreibung

Das Projekt „Starke Verbraucher für ein gutes Klima“ wird von der Verbraucherzentrale Bundesverband e.V. als Dachorganisation der 16 Verbraucherzentralen der Bundesländer in Kooperation mit fünf weiteren verbraucherpolitisch orientierten Verbänden im Auftrag des Bundesministeriums für Umwelt, Naturschutz und Reaktorsicherheit (BMU) durchgeführt. Ziel des Projektes ist es, die Akzeptanz für Klimaschutzmaßnahmen zu erhöhen und das Potenzial privater Haushalte beim Verhalten, Konsumieren und Investieren für den Klimaschutz besser zu nutzen.

Die begleitende Projektfortschrittkontrolle widmet sich insbesondere der externen Wirksamkeit des Klimaprojekts und versucht darüber hinaus, Best-Practice Beispiele im Rahmen eines benchmarking-Verfahrens zu ermitteln. Zu den Arbeitsaufgaben gehört die Entwicklung von Erhebungsinstrumenten, die Durchführung von Datenerhebungen, die Auswertung selbst- und fremderhobener Daten, eine begleitende und möglichst aktuelle Berichterstattung (u.a. durch zeitnahe Dokumentationen von Ergebnissen für die Intranetplattform ELVIS) während des Projektverlaufs sowie zur Dokumentation der Zwischen- und Abschlusskontrolle.

Begleitende Evaluation der Medienhilfe für Zentralasien 20097/20095/2010Deutsche Welle (DW)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Bei dem Projekt „Medienhilfe für Zentralasien 2009“ handelte es sich um ein Bündel von insgesamt 5 übergreifenden Trainings und 13 Inhouse-Trainings für zentralasiatische Radiosender, die in den beteiligten Ländern der Region sowie in Deutschland durch die Deutsche Welle-AKADEMIE realisiert wurden. Ausgangspunkt für die Zusammenarbeit der Radiostationen mit der Deutsche Welle-AKADEMIE waren Zielvereinbarungen. Diese Zielvereinbarungen nahmen für die Evaluation eine wichtige Rolle ein, da die Überprüfung der Zielerreichung als Aufgabe der Evaluation auf Basis der Zielvereinbarungen erfolgte. Hierzu wurden begleitende standardisierte Befragungen der Trainingsteilnehmer durchgeführt, deren Ergebnisse zeitnah an die Deutsche Welle-AKADEMIE übermittelt wurden. Ca. 4 bis 5 Monate nach Abschluss der Einzelmaßnahmen erfolgte eine summative Abschlussbefragung der beteiligten Sender, in der die Überprüfung des Erreichens der vereinbarten Ziele im Zentrum des Interesses stand.

External consultancy advice on certain strategic issues for the NDPHS 7/20099/2009Northern Dimension Partnership in Public Health and Social Well-Being (NDPHS)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Das 2003 gegründete Netzwerk ‘Northern Dimension Partnership in Public Health and Social Well-Being’ (NDPHS) zielt auf eine Verbesserung der gesundheitlichen und sozialen Bedingungen in den Ländern des Northern Dimension Area ab und legt hierbei seinen Schwerpunkt auf die nordöstlichen Länder Europas.

Aufgabe einer bereits 2008 durchgeführten Evaluation des Netzwerks war es, die NDPHS-Aktivitäten der ersten fünf Jahre seit Bestehen des Netzwerks zu analysieren und Empfehlungen zu dessen Weiterentwicklung zu erarbeiten. Aufbauend auf den Ergebnissen dieser Evaluation wurde im Jahr 2009 eine weiterführende Beratung zur Entwicklung von Indikatoren zur Überprüfung der Zielerreichung realisiert.

Zwischenevaluierung der Initiative „Schulen: Partner der Zukunft“ (PASCH)6/200912/2009Auswärtiges Amt

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Im Februar 2008 wurde die Initiative „Schulen: Partner der Zukunft“ von Außenminister Steinmeier ins Leben gerufen. Akteure des Programms sind neben dem Auswärtigen Amt die Zentralstelle für das Auslandsschulwesen, das Goethe-Institut, der Deutsche Akademische Austauschdienst sowie der Pädagogische Austauschdienst. Programmziel ist, das weltweite Netzwerk von Partnerschulen mit verstärkter Deutschlandbindung auszubauen, um zukünftige Partner für die deutsche Wirtschaft, Politik, Wissenschaft, Bildung und Kultur zu gewinnen und den Wirtschaftsstandort Deutschland im Bildungswettbewerb zu stärken. Geographische Schwerpunkte des Programms sind die Wachstumsregionen Asien, Naher und Mittlerer Osten, GUS sowie Mittel- und Osteuropa.

Gegenstand der Zwischenevaluation ist die Überprüfung der Effektivität, der Relevanz und der Effizienz der bisherigen Maßnahmen und eingesetzten Instrumente. Zudem sollen Hinweise zur Wirksamkeit und der zu erwartenden Nachhaltigkeit des Programms abgeleitet werden.

Methodisch basiert die Zwischenevaluierung auf Dokumentenanalysen und standardisierten Befragungen unterschiedlicher Schülergruppen. Zudem werden in drei ausgewählten Ländern Länderfallstudien durchgeführt, in deren Rahmen Leitfadeninterviews mit Experten und Partnerschulen vor Ort geführt werden.

Evaluation des Projekts eCeL5/20098/2009Competence Center "Virtuelle Saar Universität" (CC VISU)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Gegenstand des Projektes eCeL (E-Chalk und E-Learning) war die infrastrukturelle Integration eines interaktiven und multimedialen eChalk-Systems in ausgewählten Lehrveranstaltungsräumen der Fakultäten Mathematik und Medizin der Universität des Saarlandes. Es verfolgte also den Aufbau einer „elektronischen Tafel“ und deren Verknüpfung mit dem e-Learning-System activeMath sowie dem Learning-Management-System der Universität des Saarlandes, CLIX Campus. Das Projekt zielte somit auf eine überdauernde, substantielle Verbesserung der Wissensvermittlung, Betreuung und Prüfungsvorbereitung der Studierenden.

Aufgrund des Modellcharakters von eCeL an der Universität des Saarlandes wurde im Rahmen der Evaluation eruiert, inwiefern die angestrebten Verbesserungen der Lehr-Lern-Situationen erreicht werden. Methodisch wurde hierzu auf teilnehmende Beobachtungen, leitfadengestützte Befragungen der Veranstaltungsleiter und standardisierte Befragungen der Studierenden zurückgegriffen.

Evaluation der Sonderprogramme zum wissenschaftlichen Wiederaufbau in Südosteuropa der Alexander von Humboldt-Stiftung5/200910/2010Alexander von Humboldt-Stiftung (AvH)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Balkankriege und fortdauernde politische Spannungen hatten verheerende Auswirkungen für das Wissenschaftssystem in den neu entstandenen Staaten des ehemaligen Jugoslawiens. Damit verbunden waren auch Beeinträchtigungen in der gesamten Region Südosteuropa (SOE). Zur Förderung des Wiederaufbaus des Wissenschaftssystems in SOE hat die Alexander von Humboldt-Stiftung (AvH) neue Förderinstrumente entwickelt, für die im Bereich der Geistes- und Sozialwissenschaften von der Fritz Thyssen Stiftung und im Bereich der Natur- und Ingenieurwissenschaften vom Auswärtigen Amt finanzielle Mittel zur Verfügung gestellt wurden. Die Sonderprogramme zielen auf eine Förderung der wissenschaftlichen Vernetzung innerhalb der Region, die Wiederanbindung an die deutsche und internationale Forschungsgemeinschaft sowie die Förderung des wissenschaftlichen Nachwuchses.

Als Instrumente wurden in beiden Sonderprogrammen sog. ‚Tandem-Wiedereinladungen’ an deutsche Forschungsinstitute – für erfahrene Humboldtianer in Begleitung eines Nachwuchswissenschaftlers – und die Finanzierung ‚Regionaler Fachtagungen’ eingesetzt.

Aufgabe der summativen Evaluation war die durch die Sonderprogramme erreichten Wirkungen zu überprüfen und Einschätzungen zur Tauglichkeit der entwickelten Förderinstrumente im Hinblick auf die Verwendung in Krisenregionen im Allgemeinen abzugeben.

Methodisch basierte die Evaluation auf Dokumenten- und Sekundäranalysen für beide Förderinstrumente. Insbesondere Sekundäranalysen vorliegender Befragungsdaten der Geförderten und anderer Programmbeteiligter bildeten einen Schwerpunkt der Evaluation. Zur Klärung der Kontextbedingungen unter denen die Förderungen stattfanden erfolgten Internet- und Literaturrecherchen sowie Leitfaden gestützte Experteninterviews. Zur Erhebung von längerfristigen Programmwirkungen wurde für das Förderinstrument ‚Tandem-Wiedereinladungen’ eine standardisierte Online-Befragung der geförderten Nachwuchswissenschaftler eingesetzt; für die Bewertung des Förderinstruments ‚Regionale Fachtagungen’ wurden Leitfaden gestützte telefonische Interviews mit Organisatoren von Tagungen und weiteren Stakeholdern durchgeführt.

Teilevaluierung des Stipendiatenprogramms des Vereins Freunde und Förderer der Villa Aurora3/20095/2009Auswärtiges Amt

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Seit 1995 vergibt der Verein „Kreis der Freunde und Förderer der Villa Aurora e.V.“, einer der kleineren Mittlerorganisationen der Auswärtigen Kultur- und Bildungspolitik mit Sitz in Berlin und Los Angeles, jährlich zwölf bis fünfzehn Stipendien an in Deutschland lebende und arbeitende Künstler für einen dreimonatigen Arbeitsaufenthalt in der Künstlerresidenz Villa Aurora in Los Angeles und führt zusammen mit lokalen Partnern Kulturveranstaltungen durch, die den Stipendiaten Gelegenheit geben, ihre Arbeiten zu präsentieren sowie Kontakte zu dortigen Künstlern und Institutionen aufzubauen.

Gegenstand der Evaluation war die Überprüfung der Qualität, Effizienz und Nachhaltigkeit der Vorbereitung der Stipendiaten durch die Berliner Geschäftsstelle sowie die Vor-Ort- und Nachbetreuung der Stipendiaten.

Methodisch basierte die Evaluation auf Dokumentenanalysen, standardisierten Befragungen aller ehemaliger Stipendiaten und Stipendiatinnen sowie Leitfadeninterviews mit den Verantwortlichen in Berlin und in Los Angeles und den derzeit in der Villa anwesenden Stipendiaten.

Arbeitsmarktpolitische Instrumente zur Beschäftigungssicherung älterer Arbeitnehmer und Arbeitnehmerinnen im Saarland2/200912/2009Kooperationsstelle Wissenschaft und Arbeitswelt der Universität des Saarlandes (KoWA), Arbeitskammer des Saarlandes (AK)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Beschreibung

Das Bundesprogramm "Perspektive 50plus" des Bundesministeriums für Arbeit und Soziales (BMAS) bildet das Dach für bundesweit 62 regionale Beschäftigungspakte zur beruflichen Wiedereingliederung älterer Langzeitarbeitsloser. Das Programm basiert auf einem regionalen Ansatz, der es den Beschäftigungspakten erlaubt, bei der Wahl der Integrationsstrategie gezielt auf die regionalen Besonderheiten einzugehen. Unterschiedliche Wege werden beschritten, um älteren Langzeitarbeitslosen eine faire Chance am Arbeitsmarkt zu bieten.

Das Forschungsprojekt hat zum Ziel auf Basis von sekundäranalytischen Analysen regionale Beschäftigungspakte zu identifizieren, deren Maßnahmen und Konzepte im Hinblick auf die Situation am saarländischen Arbeitsmarkt als ‚best practice’ gelten können.

In Bezug auf diese Maßnahmen werden leitfadengestützte Interviews mit relevanten Arbeitsmarktakteuren im Saarland und aus den identifizierten Pakten geführt, um Empfehlungen für die Übernahme und ggf. Anpassung erfolgversprechender Maßnahmen und Konzepte ableiten zu können.

Evaluation des Instituts für Zukunftsenergiesysteme gGmbH (IZES)1/200910/2009Ministerium für Umwelt des Saarlandes

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Prof. Dr. Reinhard Stockmann

Beschreibung

Das IZES wurde im November 1999 auf Initiative des Landes Saarland, einzelner Energieunternehmen und Energiedienstleister sowie der Universität des Saarlandes und der Hochschule für Technik und Wirtschaft des Saarlandes (HTW) gegründet. Der Zweck der gemeinnützigen Gesellschaft besteht in der Förderung des Umweltschutzes insbesondere durch die anwendungsnahe Forschung und Entwicklung auf dem Gebiet von Zukunftstechnologien und Zukunftsmärkten für Energiesysteme. Dies geschieht durch beratende, begleitende und ausführende Tätigkeiten bei der Initiierung, Konzeption und Umsetzung von innovativen Maßnahmen zur rationellen Energienutzung und zur Nutzung erneuerbarer Energien. Das IZES hat den Status eines An-Instituts der HTW. Sein Hauptsitz befindet sich im IT Park Saarland, an der HTW und am Innovationszentrum eines Energieunternehmens unterhält das IZES Test- und Demonstrationszentren mit vielfältigen Labor- und Testeinrichtungen.
Die Institutsevaluation soll Stärken und Schwächen des Instituts von Außen beleuchten und im Hinblick auf die Stellung des Instituts in der Forschungslandschaft der Bundesrepublik Deutschland mögliche zusätzliche Betätigungsfelder und Bereiche ohne reelle Zukunftschancen identifizieren. Hierbei soll die Ausrichtung des Instituts mit seinen vier Arbeitsfeldern Energiesystemtechnik, Stoffstrommanagement / Biomassenutzung, Energiewirtschaft / Zukunftsmärkte und Solarforschung untersucht werden. Insbesondere sind die Schwerpunktsetzungen des Instituts in Bezug auf den Einsatz der öffentlichen Fördermittel im Hinblick auf den damit zu erzielenden Nutzen für die Region zu betrachten.
Das Ziel der Evaluation besteht in der Erarbeitung von Empfehlungen im Hinblick auf die Ausrichtung des Instituts für die nächsten fünf bis sieben Jahre.

Methodisches Vorgehen: Die Evaluation des Instituts für Zukunftsenergiesysteme (IZES) erfolgt – vom CEval organisiert und begleitet – in drei Teilschritten:

  • Erstellung eines internen Evaluationsberichts durch das IZES
  • Befragungen von Auftraggebern, Kooperationspartnern und Aufsichtsratsmitgliedern des IZES durch das CEval
  • Durchführung einer externen Evaluation durch Fachgutachter

Als Grundlage für die Erstellung des internen Evaluationsberichts dient ein Fragenkatalog des CEval, der sich weitgehend am ‚Fragenkatalog für die Evaluierung von Einrichtungen der Leibniz-Gemeinschaft’ orientiert, jedoch an die Ausrichtung, Ziele und Bedingungen des IZES sowie die spezifischen Evaluationsziele angepasst wurde. Abweichend vom klassischen Vorgehen bei Institutsevaluationen erfolgen zusätzlich die Befragungen wichtiger Stakeholdergruppen durch das CEval in Form von Leitfaden gestützten telefonischen und persönlichen Interviews. Das CEval erstellt hierzu einen Bericht, der ergänzend zum internen Bericht des IZES der Vorbereitung der externen Fachgutachter dient. Die externe Evaluation durch die Gutachtergruppe erfolgt im Rahmen einer Institutsbegehung, die mit einem Abschlussgespräch unter Einbeziehung des Auftraggebenden Ministeriums endet. Das Abschlussgespräch wird vom CEval moderiert und protokolliert. Im Anschluss an den Begehungstermin erstellen die Fachgutachter einen Bericht zu der externen Evaluation. Die Berichte des IZES, des CEval und der Fachgutachter bilden zusammen den Gesamtbericht zur Evaluation, zu dem das Umweltministerium und das IZES Stellungnahmen abgeben, die in einem Abschlussworkshop diskutiert werden.

Evaluation der DW-Akademie10/200810/2009Deutsche Welle (DW)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Mitarbeiter: Dr. Stefan Silvestrini

Beschreibung

Seit 2003 arbeitet die DW-Akademie im Kontext der deutschen Medienentwicklungszusammenarbeit und zielt mit ihren Aktivitäten darauf ab, weltweit die Meinungsfreiheit zu fördern. Durch die Realisierung internationaler Projekte zu Capacity Building will sie zu mehr Offenheit, Transparenz und Partizipation in den elektronischen Medien von Entwicklungs- und Transformationsländern beitragen.
Gegenstand der Evaluation sind die Qualifizierungsmaßnahmen, die von der DW-Akademie in den Jahren 2004 bis 2007 durchgeführt wurden. Im Rahmen einer bilanzierenden ex-post Evaluation sollen die Qualität der Planung und Durchführung dieser Maßnahmen sowie die entwicklungspolitischen Effekte und deren Nachhaltigkeit analysiert und bewertet werden.

Methodisch basiert die Evaluierung auf Sekundär- und Dokumentenanalysen, standardisierten Befragungen der Dozenten, Absolventen und Vertretern von Partnerorganisationen der DW-Akademie. Darüber hinaus werden 2009 drei Länderfallstudien in Vietnam, Tansania und Kolumbien realisiert.

20 Jahre BEST – Arbeitsorientierte Beratung, Bildung und Information im Saarland: Gutachten zur Situation und Entwicklung des Marktes und der Kunden von BEST10/20083/2009Beratungsstelle für sozialverträgliche Technologiegestaltung e.V. (BEST)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Beschreibung

Gegenstand der Untersuchung war die Beratungsstelle für sozialverträgliche Technologiegestaltung e.V. (BEST) der Arbeitskammer des Saarlandes und des DGB Saar. BEST berät, qualifiziert und informiert seit 1989 in erster Linie Betriebsräte, Personalräte und Mitarbeitervertretungen zu einem breiten Themenspektrum der menschengerechten Gestaltung von Arbeit und Technik. Die Tätigkeit erfolgt in enger Abstimmung mit den Gewerkschaften mit einem Fokus auf (arbeitswissenschaftlich) fundierte Problemlösungen. Das Einsatzgebiet von BEST ist in aller Regel das Saarland. Ziel der Untersuchung war die Erstellung eines Gutachtens zur Situation und Entwicklung des Marktes und der Kunden von BEST anlässlich des zwanzigjährigen Jubiläums der Beratungsstelle. Das Gutachten soll insbesondere Zukunftsperspektiven für BEST aufzeigen, indem zukünftige, wesentliche Entwicklungsmöglichkeiten sowie Themen- und Tätigkeitsfelder von BEST eruiert werden.

Zur Datengewinnung wurden im Rahmen der Studie Dokumentenanalysen und leitfadengestützte Intensivinterviews mit verschiedenen Experten durchgeführt, die eine interne oder externe Perspektive auf den Untersuchungsgegenstand wiedergeben sollten (Leitung und MitarbeiterInnen von BEST, Vertreter der tragenden Organisationen (Arbeitskammer, DGB Saar, saarländische Landesregierung), Kunden, Verbandsvertreter, Arbeitgeber, saarländische Wissenschaftler, Vertreter anderer Einrichtungen zur technischen Beratung in Deutschland sowie Belegschaftsmitglieder, die bisher keine Leistungen von BEST in Anspruch genommen hatten).

Entwicklung und Umsetzung eines gendersensitiven kontinuierlichen M&E-Systems für das Plan Indien Projekt „ENGENDERED! – Minimizing Gender Gap…“ 10/20088/2015Plan International Deutschland e.V.

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Stefan Silvestrini, Dipl.Reg.Wiss. Christina Gollan

Beschreibung

Ziel des von Plan International Indien umgesetzten Projekts ist es, die strukturellen Ursachen für die Benachteiligung von Frauen in der indischen Gesellschaft zu identifizieren und zu beseitigen. Hierfür sollen alle Projektverantwortlichen der Partnerorganisationen zur Umsetzung gender-gerechter Maßnahmen sowie zum Monitoring und zur Evaluation der damit erzeugten Wirkungen befähigt werden. Aufgabe des CEval war es, die Entwicklung überprüfbarer Wirkungshypothesen zu unterstützen, gemeinsam mit den Verantwortlichen ein praktikables M&E-System zu erarbeiten sowie eine Zwischen- und eine Abschlussevaluation umzusetzen. Hierfür wurde zu Beginn des Projekts Ende 2008 ein Workshop durchgeführt, in dem der zuvor von Plan Indien entwickelte LogFrame diskutiert und im Hinblick auf die Messbarkeit der darin enthaltenen Indikatoren überarbeitet wurde. Als weitere Maßnahmen wurden 2009 eine Schulung vor Ort sowie weitere Beratungsleistungen im Projektverlauf durchgeführt. 2015 führte das CEval eine Abschlussevaluation des Projektes durch.
Begleitende Untersuchung der Einführung gemeinsamer Programmvorschläge und gemeinsamer Berichterstattung in der deutschen Entwicklungszusammenarbeit 10/200810/2009Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ), Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Im Zuge der Paris Declaration und der dadurch angestiegenen Anforderungen an die deutsche Entwicklungszusammenarbeit wird seit Mitte 2007 vom BMZ eine neue Verfahrensweise zur gemeinsamen Erstellung von Programmvorschlägen und Berichten eingeführt. Zielsetzung dieser neuen Verfahrensweise ist es, die Wirksamkeit der deutschen EZ durch die Verbesserung der politischen Steuerungsmöglichkeiten des BMZ zu erhöhen, die Abstimmung der DOs untereinander zu optimieren, die Effizienz der Ausgestaltung des Beitrags der deutschen EZ zur Armutsbekämpfung zu steigern sowie die Einbindung der Strategie des Partnerlandes und deren Verzahnung mit Beiträgen anderer Geber zu verbessern. Durch die Steigerung der Wirksamkeit der deutschen EZ soll ein wesentlicher Beitrag zur Erreichung der MDGs geleistet werden.

Ziel der Studie war es entsprechend, den Aufwand und Ertrag des Einsatzes gemeinsamer Programmvorschläge und gemeinsamer Berichterstattung zu analysieren sowie beabsichtigte und unbeabsichtigte Wirkungen zu ermitteln. Hierzu wurden 2008 im Rahmen zweier Länderstudien, einer mündlichen Befragung der mit der Konzeption der Verfahrensweise befassten Mitarbeiter aller staatlichen Durchführungsorganisationen sowie einer standardisierten Erhebung bei den Programmverantwortlichen Basisdaten erhoben. 2010 wurde eine weitere Erhebung realisiert, aufgrund derer die Wirkungshypothesen überprüft werden konnten.

Evaluation des Mediendialogs mit der Ukraine9/200811/2008Auswärtiges Amt

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Seit 1997 organisiert das Institut für Auslandsbeziehungen ifa e.V. als Partner des Auswärtigen Amts im Kontext der politischen Öffentlichkeitsarbeit Mediendialoge, die darauf abzielen, einen fachlichen Erfahrungsaustausch über ausgewogene, professionelle und objektive Berichterstattung vor allem in den Themenfeldern Demokratievermittlung und Stärkung der Menschenrechte zu initiieren. Durch die Begegnungen von Journalisten aus verschiedenen Ländern und Kulturkreisen sollen neben dem professionellen Erfahrungsaustausch grenzübergreifende Netzwerke zwischen Journalisten, Medien, Medieninstituten und Universitäten geschaffen werden, die sowohl auf individueller als auch organisationaler Ebene angesiedelt sein können.

Aufgabe der Evaluation war es, den Anfang September 2008 in der Ukraine realisierten Mediendialog hinsichtlich der Zielerreichung und ausgelösten Wirkungen zu analysieren. Zur Datengewinnung wurden Dokumentenanalysen, persönliche Kurz-Interviews während der Veranstaltung sowie eine standardisierte Befragung der Teilnehmer des Mediendialogs realisiert.

Evaluation des Projekts ‚Herbst-Camp’ 9/20082/2009Kreis Bergstraße

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Der Kreis Bergstraße hat in den Herbstferien 2008 erstmalig ein Feriencamp für Grundschüler der 4. Jahrgangsstufe durchgeführt. Im Rahmen des Projekts wurden Schüler individuell in den schulischen Kernfächern Deutsch und/oder Mathematik unterstützt. Neben der fachlichen Förderung erhielten die Schüler nachmittags unterschiedliche freizeitpädagogische Angebote mit praktischen und gestalterischen Inhalten. Die Kombination aus schulischer Förderung und pädagogischer Nachmittagsbetreuung zielte auf ein ganzheitliches Lernen ab. Neben den konkreten schulischen Kompetenzen sollten auf diese Weise auch soziale bzw. motivationale Aspekte des Lernens wie Selbstkonzept und Sozialverhalten verbessert werden.

Aufgabe der Evaluation war es, den Erfolg der Maßnahme unter Berücksichtigung möglicher Veränderungen hinsichtlich der oben genannten Gesichtspunkte zu erfassen. Zur Datengewinnung wurden Dokumentenanalysen, standardisierte Befragungen der Lehrer, Eltern und Schüler sowie Tests und Gruppendiskussionen eingesetzt.

Evaluation des Programms „Kommunaler Austausch für Fortbildung und Kooperation junger Akademiker“ (kafka)8/200812/2008Gemeinnützige Hertie-Stiftung (GHS)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Gegenstand der Evaluation war das Austauschprogramm kafka, bei dem - im Rahmen von Städtepartnerschaften - Studierende aus sieben Städten in Deutschland, Polen, Tschechien und Ungarn ein Praktikum in einer Behörde, einem kommunalen Unternehmen, einer Sozial- oder Kultureinrichtung der Partnerstadt absolvieren. Ergänzt wird das Praktikum um ein fachliches Begleitprogramm, durch das die Teilnehmerinnen und Teilnehmer einen breiten Überblick über die öffentlichen Aufgaben der Gaststadt erhalten sollen.
Die Evaluation hatte zum Ziel, den längerfristigen Programmerfolg im Hinblick auf die ehemaligen Praktikanten und auch ihre Arbeitgeberorganisationen zu untersuchen sowie anhand einer Marktrecherche zu Alleinstellungsmerkmalen von kafka Entwicklungspotenziale des Programms aufzuzeigen.
Hierzu wurden Akten- und Dokumentenanalysen, Internetrecherchen, Interviews mit Mitarbeitern der Stiftung sowie Online-Befragungen von ehemaligen Praktikanten und ihren Betreuern in den Betrieben durchgeführt.

Evaluation des Wiederaufbau- und Umsiedlungsprojekts der Caritas Schweiz in Meulaboh und Singkil (Provinz Aceh/Indonesien)8/200810/2008Caritas Schweiz

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Prof. Dr. Reinhard Stockmann, Dr. Stefan Silvestrini

Beschreibung

Im August und September 2008 wurden zwei von der Caritas Schweiz in der indonesischen Provinz Aceh durchgeführte Wiederaufbau- und Umsiedlungsprojekte evaluiert. Mit den Projekten, die in Folge des Tsunami und eines anschließenden Nachbebens im Dezember 2005 initiiert wurden, sollte ein Beitrag zur Wiederherstellung der Wohn- und Lebensbedingungen der von den Katastrophen betroffenen Bevölkerung in zwei Siedlungsgebieten in Küstennähe (Meulaboh und Singkil) geleistet werden. Im Zentrum des Evaluationsvorhabens stand die Untersuchung und Bewertung der Wirksamkeit der Projekte für die Begünstigten. Ziel der Evaluationen war es zu überprüfen,

  • inwieweit die Begünstigten erreicht wurden und Ihre Partizipationsmöglichkeiten angemessen waren,
  • ob die Projektmaßnahmen ausreichend an den Bedarfen der Begünstigten ausgerichtet waren (Relevanz und Signifikanz),
  • ob die intendierten Wirkungen in ausreichendem Maße erreicht wurden (Effektivität),
  • welche weiteren Wirkungen, also auch nicht intendierte Effekte, die Projekte im gesellschaftlichen Umfeld der Begünstigten ausgelöst haben und schließlich
  • inwieweit von einer Nachhaltigkeit der Wirkungen ausgegangen werden kann und welche weiteren externen Faktoren hierbei eine Rolle spielen.

Des Weiteren wurden die lokalen Rahmenbedingungen sowie die Effizienz des Umsetzungsprozesses beleuchtet. Anhand der Untersuchungsergebnisse wurden Empfehlungen für weiterführende Aktivitäten in den Zielregionen entwickelt.

Im Rahmen der Evaluation kam ein Multi-Methodenansatz zur Anwendung, der die Kombination sekundäranalytischer Verfahren Dokumentenanalyse, Analyse der Rahmenbedingungen) sowie qualitativer und quantitativer empirischer Erhebungsmethoden (leitfadengestützte Intensivinterviews, Beobachtung, standardisierte schriftliche Befragung)umfasste.

Beratung des Master of Evaluation Studienprogramms der Universidad de Costa Rica im Rahmen des DAAD-Beraterprogramms7/20086/2012Deutscher Akademischer Austauschdienst (DAAD)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: M.A. Sandra Bäthge

Beschreibung

Zwischen dem Centrum für Evaluation (CEval) und der Universidad de Costa Rica (UCR) besteht seit einigen Jahren eine Kooperation zur Weiterentwicklung des seit 1995 implementierten ‚Masterstudiengangs in Evaluation von Projekten und Programmen zur sozialen Entwicklung’ der UCR. Im Rahmen dieser Vernetzungsbestrebungen soll zukünftig auch ein Dozenten- und Studierendenaustausch zwischen den beiden Masterstudiengängen in Evaluation stattfinden. Dieses Vorhaben stieß bei dem DAAD auf breite Anerkennung und wird durch das Beraterprogramm des DAAD seit 2008 auch finanziell unterstützt.

Das Beratungskonzept sieht insgesamt acht Arbeitsaufenthalte/-treffen in Costa Rica und Deutschland vor. Im Rahmen der ersten vier Workshops wurden u. a. umfassende Veränderungen am Curriculum des „Master of Evaluation“- Studienprogramms der Universidad de Costa Rica vorgenommen, um diesen gemäß internationalen Anforderungen an Masterstudiengänge weiterzuentwickeln und an die im internationalen Evaluationskontext geltenden Standards für die Aus- und Weiterbildung zu überarbeiten. Darüber hinaus wurden die Marktbedürfnisse für einen akademischen Evaluationsabschluss in Costa Rica mithilfe einer Marktanalyse in sechs zentralamerikanischen Ländern eruiert und den Dozenten des Masterstudiengangs erste Weiterbildungsmaßnahmen zu Indikatorenentwicklung und Standards für Evaluation angeboten. In zukünftigen Arbeitstreffen wird basierend auf den Ergebnissen der durchgeführten Marktstudie eine Marketingstrategie für den Studiengang auf zentralamerikanischer Ebene entwickelt. Darüber hinaus sollen eine Bedarfs- und Praktikabilitätsanalyse des in Kooperation reformierten und in 2011 neu zu implementierenden Curriculums des Master of Evaluation Studienprogramms der Universidad de Costa Rica realisiert, weitere Dozentenfortbildungen für die erfolgreiche Umsetzung des modifizierten Studienprogramms angeboten sowie Anpassungen des überarbeiteten Masterstudiengangs an Gegebenheiten vor Ort vorgenommen werden.

Daneben werden Möglichkeiten der Verstetigung und Vertiefung der Kooperation zwischen beiden Hochschulen analysiert und weiterer Kooperationspartner für zukünftige Kooperationsstrategien identifiziert.

Externe Evaluation des 'Programms zur Förderung der Internationalisierung an den deutschen Hochschulen' (PROFIS)3/200810/2008Deutscher Akademischer Austauschdienst (DAAD)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Gegenstand der Evaluation ist das vom BMBF finanzierte Programm des DAAD "PROFIS" mit dem Ziel der Verbesserung der Rahmenbedingungen für das Studium ausländischer Studierender an deutschen Hochschulen sowie für das Auslandsstudium deutscher Studierender. Die Untersuchung soll klären, ob die angestrebten Ziele des Programms erreicht wurden, ob die Grundidee der Entwicklung transferfähiger Modelle erfolgreich war, welche Maßnahmen und Projekte sich als besonders erfolgreich erwiesen haben und ob Verbesserungspotentiale in der Programmadministration, der Projektbegleitung und der Förderung der Dissemination identifiziert werden können.
Zur Datengewinnung werden im Rahmen der Analyse u.a. standardisierte Online-Befragungen mit Hochschulen und Studierenden sowie Intensivinterviews mit den Programmbeauftragten durchgeführt.
Verbleibsstudie zum Programm "MentorinnenNetzwerk für Frauen in Naturwissenschaft und Technik"3/200812/2008MentorinnenNetzwerk für Frauen in Naturwissenschaft und Technik

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Das "MentorinnenNetzwerk für Frauen in Naturwissenschaft und Technik" ist ein seit 1998 bestehender, hochschulübergreifender Verbund aller hessischen Universitäten und Fachhochschulen und stellt mit inzwischen 1100 Mitgliedern das größte Mentoring-Projekt in der europäischen Hochschullandschaft dar. Das Netzwerk richtet sich an Frauen in Natur- und Ingenieurwissenschaften, die sich in der Qualifizierungsphase Studium oder Promotion befinden und zielt darauf ab, die Absolventinnenzahlen in naturwissenschaftlich-technischen Studiengängen und bei Promotionen zu erhöhen sowie die Karrierechancen von Frauen in naturwissenschaftlich-technischen Berufen zu verbessern und damit den Frauenanteil in attraktiven Positionen in Wissenschaft und Wirtschaft zu erhöhen.
Zu diesem Programm führte das Centrum für Evaluation eine Absolventenverbleibsstudie durch, die die in den bisherigen internen und externen Evaluationen ausgeblendeten, langfristigen Entwicklungen ins Blickfeld nahm. Hierbei wurde (u.a.) eruiert, wie sich die Teilnahme am MentorinnenNetzwerk für die Absolventinnen in beruflicher Hinsicht auswirkte.
Zur Datenerhebung wurden zum einen leitfadengestützte Intensivinterviews mit Mentees und Mentorinnen sowie mit den Verantwortlichen seitens der beteiligten Hochschulen und Unternehmen geführt. Zum anderen wurden mit Online-Befragungen Daten zu den karrierespezifischen Wirkungen, zur Zufriedenheit der Teilnehmerinnen mit dem MentorinnenNetzwerk sowie zur Qualität der tutoralen Beziehungen erhoben.

Independent Evaluation of the NDPHS1/200810/2008Northern Dimension Partnership in Public Health and Social Well-Being (NDPHS)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Das 2003 gegründete Netzwerk ‘Northern Dimension Partnership in Public Health and Social Well-Being’ (NDPHS) zielt auf eine Verbesserung der gesundheitlichen und sozialen Bedingungen in den Ländern des Northern Dimension Area ab und legt hierbei seinen Schwerpunkt auf die nordöstlichen Länder Europas.
Aufgabe der unabhängigen Evaluation des Netzwerks war es, die NDPHS-Aktivitäten der ersten fünf Jahre seit Bestehen des Netzwerks zu analysieren und Empfehlungen zu dessen Weiterentwicklung zu erarbeiten. Hierbei standen die Struktur und Organisation des Netzwerks, dessen politische Bedeutung sowie Wahrnehmung und die Identifikation wichtiger politischer, technischer und administrativer Handlungsfelder im Zentrum des Interesses.
Zur Datenerhebung wurden Sekundäranalysen, Intensivinterviews mit ausgewählten Netzwerkpartnern sowie eine standardisierte Befragung mit Vertretern aller beteiligten Länder eingesetzt.
Externe Evaluation von uni-assist e.V.1/20087/2008uni-assist e.V.

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Im Rahmen der Evaluation wurde der Nutzen und die Effizienz der Bearbeitung internationaler Studienbewerbungen durch die Geschäftsstelle von uni-assist bewertet. Damit sollte dokumentiert werden, ob uni-assist seine Gründungsziele erreicht hatte und ob eine Mitgliedschaft bei uni-assist aus wirtschaftlicher und organisatorischer Sicht für weitere Hochschulen empfehlenswert ist.
Hierfür wurden u.a. leitfadengestützte Interviews sowohl mit Vertretern teilnehmender als auch nichtteilnehmende Hochschulen sowie standardisierte Online-Erhebungen mit den verschiedenen Zielgruppen durchgeführt.
Begleitende Evaluation des Projekts: "Kopal II"12/20074/2008Plan International Deutschland e.V.

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Das zu evaluierende Projekt zielt auf die Schaffung eines Bewusstseins in Politik und Medien zur Eindämmung des Problems der pränatalen Geschlechtsbestimmung und anschließenden Abtreibung weiblicher Föten sowie einer dauerhaften Verhaltensänderung in der Bevölkerung hinsichtlich der Thematik in vier nordindischen Bundesstaaten. Aufgabe der begleitenden Evaluation ist es, die wesentlichen Erfahrungen aus der bisherigen Umsetzungsphase zu analysieren und zu dokumentieren. Weiterhin sollen auf Grundlage der Untersuchungsergebnisse Empfehlungen für die weitere Projektgestaltung entwickelt und der konkrete Nutzen der Erkenntnisse für die Strategien und Programme der Trägerorganisation und ihrer Partner aufgezeigt werden. Methodisch stützt sich die Untersuchung auf eine Begutachtung vorliegender Projektdokumente sowie auf die Durchführung qualitativer Intensivinterviews zur vertiefenden Analyse der Einschätzungen und Erfahrungen aller Projektbeteiligten.
Begleitende Evaluation des Karriereförderprogramms „Talente sichern – Zukunft gestalten“10/20074/2009Cusanuswerk - Bischöfliche Studienförderung

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Das 2007 gestartete Programm „Talente sichern – Zukunft gestalten“ des Cusanuswerks - Bischöfliche Studienförderung setzt auf eine gezielte Förderung des weiblichen Führungsnachwuchses. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiatinnen deutscher Begabtenförderungswerke durch berufserfahrene AkademikerInnen, auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Neben überdurchschnittlichen Studienleistungen zeichnen sich die Stipendiatinnen dadurch aus, dass der Abschluss ihres Studiums bzw. der Promotion in maximal einem Jahr anvisiert ist oder dass sie Berufsanfängerinnen sind.
Zur Qualitätssicherung des Förderprogramms führte das CEval eine prozessbegleitende, externe Evaluation durch. Zentrale Aufgabe dieser Evaluation war es, den durchführungsverantwortlichen Mitarbeiterinnen und Mitarbeitern des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse waren entsprechend den Zielsetzungen des Programms hierbei Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen des Cusanuswerks, zur organisatorischen Ausgestaltung und Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten.
Methodisch umfasste die Evaluation neben einer Sekundäranalyse vorliegender Dokumente und leitfadengestützten Intensivinterviews mit den Verantwortlichen seitens der Träger vor allem standardisierte Erhebungen. Im Mittelpunkt der standardisierten Befragungen standen die Zufriedenheit mit dem Karriereförderprogramm sowie die Qualität der Beziehung zwischen den Nachwuchskräften und ihren TutorInnen. Die Befragungen fanden begleitend zur 15-monatigen Förderphase des Förderprogramms statt. Damit erhielt die programmdurchführende Stelle regelmäßig Informationen über den Ablauf des Programms und die Qualität der Realisierung. Dies ermöglichte eine frühe Identifikation eventueller Probleme sowie eine zeitnahe Entwicklung geeigneter Maßnahmen zu deren Behebung.

Evaluation des Projekts: „Community Development in Maharashtra“ (Indien)10/20072/2008AWO International e.V.

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Stefan Silvestrini

Beschreibung

Seit 2004 fördert die AWO International e.V. das Projekt „Community Development in Maharashtra“ (Indien), durch das mit Hilfe eines partizipativen und nachhaltigen Managements der zur Verfügung stehenden natürlichen Ressourcen die Lebensgrundlage der armen ländlichen Bevölkerung in der Region gesichert werden soll. Hierfür wurden, in Kooperation mit ausgewählten Grassroots- und Gemeindeinstitutionen den Zielgruppen landwirtschaftliche Produktionsverfahren sowie Kompetenzen zur Selbstbestimmung und -regulierung vermittelt.

Im Rahmen der Evaluation soll u.a. festgestellt werden, inwieweit die einzelnen Maßnahmewirkungen einen Beitrag zur Oberzielerreichung leisten und wie effizient die dabei eingesetzten Mittel genutzt werden. Darüber hinaus sollen die Zielgruppenangepasstheit sowie die zu erwartende Nachhaltigkeit der Projektwirkungen überprüft und mögliche Anknüpfungspunkte zu den politischen Strategien zur Unterstützung der Zielgruppen identifiziert werden.

Forschungsstudie: „Wirkungsevaluierungen/Impact Evaluations – Zum aktuellen internationalen Stand der Diskussion und dessen Relevanz für deutsche EZ-Evaluierungen 10/20071/2008Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Im Rahmen der Forschungsstudie wurde die aktuelle internationale Diskussion über „(Rigorous) Impact Evaluations“ und deren Durchführung im Rahmen der Entwicklungszusammenarbeit eingehend analysiert. Im Vordergrund standen dabei experimentelle bzw. quasi-experimentelle Designs und die verschiedenen Verfahren zur Bildung von Kontroll- oder Vergleichsgruppen. Methodisch wurden zentrale Dokument, Internetauftritte und Workshopdokumente relevanter Akteure analysiert.
InWEnt Training zu M&E im Kontext von BTVET in Uganda: Datenerhebungsmethoden mit Schwerpunkt Durchführung von standardisierten Befragungen. 7/20079/2007Internationale Weiterbildung und Entwicklung gGmbH (InWEnt)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Im Rahmen des Trainings werden Module zu Monitoring, Evaluation, Datenerhebungsmethoden und Datenauswertung sowie Reporting angeboten. Außerdem findet ein Backstopping von InWEnt Alumni zum Thema M&E statt.

Evaluation der Konzeptentwicklung zur Bildungsoffensive Elbinseln4/200712/2007IBA Hamburg GmbH

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Beschreibung

Parallel zur Internationalen Bauaustellung (IBA) in Hamburg, die von
2006-2013 stattfindet, wurde die „Bildungsoffensive Elbinseln“ (BOE) ausgerufen, da die baulichen Maßnahmen auf den Elbinseln (d.h. Wilhemsburg, Veddel, Harburger Binnenhafen) mit einer Verbesserung des Bildungsangebots zu unterstützen.

Hauptziele des Projektes BOE sind somit die Förderung der gesellschaftlichen Integration der Bewohner der Elbinseln sowie eine Stärkung des Wohnstandortes Elbinseln durch attraktive Bildungseinrichtungen. Zentrale Maßnahmen des Projektes sollen insbesondere an bereits regional und lokal vorhandenen Handlungsansätzen aufbauen.

Ziel der formativ angelegten Evaluation des CEval ist es, prozessbegleitend die Lenkungsgruppe und sonstige beteiligte Akteure bei der Entwicklung des Gesamtkonzepts zur BOE zu unterstützen, indem zum einen die inhaltliche Tragfähigkeit des Konzeptes im Hinblick auf die avisierten Zielgruppen evaluiert wird und zum anderen Steuerungs- und Koordinierungsabläufe zwischen zentralen Netzwerkakteuren im Hinblick auf die Etablierung eines leistungsfähiges Netzwerkmanagement untersucht werden.

Hierzu führt das CEval Leitfadeninterviews mit den Vertretern der Steuerungsgremien sowie mit Vertretern von Einrichtungen bzw. Initiativen und nimmt kontinuierlich an den Sitzungen der Lenkungsgruppe teil.

Zudem wird eine Delphi-Befragung mit 5-10 Experten aus den Themenbereichen der BOE durchgeführt.

InWEnt Training zu Qualitätsmanagement, Monitoring und Evaluation im TVET Bereich4/20075/2007Internationale Weiterbildung und Entwicklung gGmbH (InWEnt)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Im Rahmen des Trainings werden Module zu Qualitätsmanagement, Monitoring, Evaluation, Datenerhebungsmethoden Datenauswertung sowie Reporting angeboten mit dem Schwerpunkt auf Berufsbildung.

GTZ-Rahmenvertrag 2007-2009 zur Durchführung von Unabhängigen Evaluierungen und Wirkungsevaluierungen von Programmen der technischen Zusammenarbeit 4/200712/2009Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Die Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) GmbH hat ihr bestehendes Evaluierungssystem 2005 mit der Einführung von Ex-post Evaluierungen vervollständigt und lässt seither im Auftrag des BMZ jährlich weltweit ca. 25-30 Unabhängige Evaluierungen (UE) in dessen Kooperationsländern durch unabhängige wissenschaftliche Institute und Consultingunternehmen evaluieren (je ca. zehn Evaluierungen laufender Vorhaben, zehn Schluss- und zehn ex-post Evaluierungen). Hierfür wurde u.a. mit dem CEval ein zweiter Rahmenvertrag für die Jahre 2007 bis 2009 geschlossen.

Im Rahmen des Auftrages führte das CEval im Auftrag der GTZ in diesem Zeitraum 15 Unabhängige Evaluierungen und Wirkungsevaluierungen in den Sektoren Energie, Wasser, Mikrofinanzen und Berufliche Bildung durch.

Vier der Vorhaben evaluierten CEval-Mitarbeiter als Wirkungsevaluationen zur Erprobung eines durch das CEval erstellten Konzepts, zur methodisch anspruchsvolleren Wirkungsmessung im Rahmen von GTZ Unabhängigen Evaluierungen in Anlehnung an Rigorous Impact Evaluations (RIE). Prämisse des Konzepts war die Berücksichtigung des Leitfadens zur Erfolgsbewertung von GTZ unabhängigen Evaluierungen und der Alltagstauglichkeit, d.h. die Durchführung unter vertretbarem zeitlichem und finanziellem Rahmen. Das methodische Konzept beinhaltete: (a) Hypothesengeleitete Ursache-Wirkungsuntersuchung unter Berücksichtigung der GTZ Wirkungskette, (b) Quasiexperimentelles Forschungsdesign mit Vorher-Nachher Ansatz sowie Ziel- und Vergleichsgruppenansatz, (c) Multi-Methoden-Ansatz mit Berücksichtigung einer standardisierten Zielgruppenbefragung und (d) Adäquate Datenauswertungsmethoden (Einsatz von uni- und multivariaten statistischen Analyseverfahren). Wirkungen/Veränderungen sollten zu den Messzeitpunkten t1 (Ausgangssituation) und t2 (Zeitpunkt der Evaluation) identifiziert und die kausale Zuschreibung zum Evaluationsgegenstand (kausale Ursache-Wirkungszuschreibung) ermöglicht werden.

Alle weiteren elf Evaluierungen wurden unter der Koordination von Nicolà Reade und Stefan Silvestrini von CEval-Mitarbeitern sowie externen Gutachtern aus dem In- und Ausland umgesetzt.

Zu den Evaluierungen und Wirkungsevaluierungen in 2007 bis 2009 gehörten:

  • Laufende Evaluierung der GTZ Entwicklungsmaßnahme „Förderung produktiver Kleinwasserkraftnutzung, Nepal" (2007)
  • Laufende Evaluierung der GTZ Entwicklungsmaßnahme „ProBEC Effiziente Nutzung von Biomassenenergie im Südlichen Afrika" (2007)
  • Schluss Evaluierung der GTZ Entwicklungsmaßnahme „Förderung von Klein- und Mittelunternehmen, Mongolei" (2007)
  • Ex-post Evaluierung der GTZ Entwicklungsmaßnahme „Beratung zur Förderung der rationellen Energieverwendung (DEDP), Thailand" (2007)
  • Ex-post Evaluierung der GTZ Entwicklungsmaßnahme „Energieeinsparung in Klein- und Mittelindustrie im Bundesstaat Rio de Janeiro, Brasilien" (2007)
  • Ex-post Evaluierung der GTZ Entwicklungsmaßnahme „Förderung der Energieeffizienz in Gebäuden in Erzurum, Türkei" (2007)
  • Laufende Wirkungsevaluierung des KV Programms "Entwicklung des Wassersektors, Kenia" (2008)
  • Laufende Wirkungsevaluierung des KV "Programms für die Reform des Wassersektors, Sambia" (2008)
  • Ex-post Wirkungsevaluierung des GTZ Vorhabens "Qualifizierung kommunaler Dienste (TODAIE), Türkei" (2008)
  • Laufende Evaluierung des KV Programms "Trinkwasser- und Sanitärprogramm PROAGUA, Peru" (2008)
  • Schluss Evaluierung des KV Programms "Verbesserung der Wasserversorgung in der Volta- und Eastern-Region, Ghana" (2008)
  • Schluss Evaluierung des GTZ Vorhabens "Wassereinzugsgebiets-Management, Rio Lerma im Tal von Toluca und Rio Balsas, Mexiko" (2008)
  • Gemeinsame Ex-post Wirkungsevaluierung des Vorhabens "TESDA, Philippinen" (2009)
  • Zwischenevaluierung des Projekts "Unterstützung des Ukrainischen Finanzwesens" (2009)
  • Ex-post Evaluierung des KV Programms "Finanzsystementwicklung, Bolivien" (2009)
Entwicklung eines M&E Konzepts für das TVET Reform Program in Cairo, Ägypten 2/20079/2007Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Im Rahmen des Auftrages wird ein M&E Konzept für das TVET Reform Programm in Cairo, Ägypten entwickelt. Zudem findet ein Backstopping der verantwortlichen M&E Expertin vor Ort in M&E Fragen statt.

Evaluation der Siemens-DAAD-Master-Stipendien1/20075/2007Deutscher Akademischer Austauschdienst (DAAD)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Gegenstand des Projektes war die vom Deutschen Akademischen Austausch Dienst (DAAD) in Auftrag gegebene Verbleibstudie zu den beiden Stipendienprogrammen "Siemens / DAAD Scholarship Initiative for Young Engineers from Central and Eastern Europe" und "DAAD - Siemens Scholarship Program ASIA 21st Century". Im Rahmen der Stipendien wurde seit 1999 insgesamt 215 jungen IngenieurInnen aus 19 Ländern ein Master-Studium an einer deutschen Hochschule ermöglicht. Mit den Stipendienprogrammen verfolgten die Siemens AG und der DAAD zwei zentrale Ziele: einen Beitrag zur wissenschaftlichen und ökonomischen Entwicklung beider Regionen zu leisten und den Ausbau der Internationalität der deutschen Hochschulen zu unterstützen.
Die vom CEval durchgeführte Evaluation konzentrierte sich auf die akademischen und beruflichen Karriereverläufe der Stipendiaten im Anschluss an das Master-Studium. Mit Hilfe einer Online-Befragung aller Stipendiaten wurden die Wirkungen der Programme analysiert, so dass – kurz vor Abschluss der Förderungen in 2007 – eine Bilanz über deren Nutzen gezogen werden konnte.

Systemprüfung der Evaluation in der deutschen Entwicklungszusammenarbeit1/20075/2008Hamburgisches WeltWirtschafts-Institut gGmbH (HWWI), Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Beschreibung

Aufgrund der Veränderungen der internationalen und nationalen Rahmenbedingungen und des weiter gewachsenen Drucks zu verbesserter Effektivität, Effizienz und Rechenschaftslegung entschloss sich das BMZ, die Qualität des deutschen EZ-Evaluationssystems erneut überprüfen zu lassen.
Mit der Planung und Durchführung der Untersuchung wurde das Hamburgische Weltwirtschafts-Institut (HWWI) betraut, das die Evaluierung in enger Kooperation mit dem Centrum für Evaluation (CEVAL) durchführte. Zudem waren die Leiter der Evaluierungsabteilungen der belgischen und schweizerischen Entwicklungszusammenarbeit an der Durchführung beteiligt.
Ziel der Evaluation war es, die Evaluationssysteme des BMZ und der staatlichen und nicht-staatlichen EZ-Institutionen im Hinblick auf ihre Organisation, Konzeption, Methoden und Verfahren sowie Umfang und Struktur zu bewerten und Ansatzpunkte zur Fortentwicklung des Gesamtsystems zu entwickeln.
Untersuchungsgegenstand der Systemprüfung waren insbesondere das BMZ, die staatlichen Durchführungsorganisationen (KfW, GTZ, InWEnt, DED, PTB, BGR), die DEG, die Politischen Stiftungen, die Kirchlichen Zentralstellen, die Deutsche Welthungerhilfe, das Institut für internationale Zusammenarbeit – Deutscher Volkshochschulverband, der Deutsche Caritasverband/Caritas International sowie die Sozial- und Entwicklungshilfe des Kolpingwerks.
Methodisch basierte die Evaluation auf einem standardisierten Self-Assessment der EZ-Organisationen, leitfadengestützten Intensivinterviews mit Vertretern der Organisationen, einer Dokumentenanalyse und einer standardisierten Befragung aller nicht in der Auswahl vorhandenen NROs der deutschen EZ.

Entwicklung eines Analyserasters für EZ-Maßnahmen zur Stadtentwicklung hinsichtlich ihrer Wirkungen im politischen Raum12/200610/2008Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Die Anforderungen an die deutsche EZ, strukturelle Wirkungen in den Partnerländern zu entfalten, die zur Armutsminderung beitragen, haben auch die Ziele sowie Beratungsansätze und -methoden von Stadtentwicklungsvorhaben beeinflusst. Dabei rücken immer stärker Governance-Fragestellungen in den Mittelpunkt, was bedeutet, dass Aushandlungs- und Entscheidungsprozesse sowohl in der Stadt aber auch in übergeordnete Ebenen organisiert und nach Kriterien der guten Regierungsführung gestaltet werden müssen.

Ziel des Auftrages war die Erarbeitung eines Analyserasters, das der konzeptionellen und methodischen Weiterentwicklung des Politikberatungsansatzes in Stadtentwicklungsvorhaben dienen sollte. Hierfür wurden die erforderlichen theoretischen und inhaltlichen Grundlagen zur Erarbeitung des Analyserasters geschaffen. Das Analyseraster sollte in weiteren Gutachtereinsätzen in Stadtentwicklungsvorhaben erprobt werden. Auf Grundlage der durch die Anwendung des Analyserasters gewonnenen Erkenntnisse wurde schließlich ein Monitoring-Instrument entwickelt.

Evaluation der internationalen Sur-Place-Stipendienprogramme der Konrad-Adenauer-Stiftung e.V. in ausgewählten Ländern11/20063/2007Konrad-Adenauer-Stiftung e.V. (KAS)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Mitarbeiter: Dr. Vera Hennefeld, Dr. Stefan Silvestrini

Beschreibung

Die Konrad-Adenauer-Stiftung (KAS) fördert mit Hilfe ihrer Stipendienprogramme die Aus- und Fortbildung von Fach- und Führungskräften aus Entwicklungsländern sowie aus den Transformationsstaaten Mittel- und Südosteuropas. Ziel der Maßnahme ist es, die Leistungsfähigkeit der lokalen Partnerorganisationen zu stärken und Persönlichkeiten zu fördern, die für die Projektarbeit wichtig sind bzw. von denen erwartet werden kann, dass sie als Multiplikatoren oder Stützpunkte wirken.
Aufgabe der Evaluation war eine Bewertung der internationalen Stipendienprogramme der Stiftung für den Förderzeitraum von 1998 bis 2006 und die Entwicklung handlungsorientierter Empfehlungen für den Einsatz des Programms in den kommenden Jahren. Hierfür wurden vier Länderfallstudien in Afrika (Südafrika), Asien (Vietnam und Kambodscha), Europa (Russland und Bosnien-Herzegowina) und Lateinamerika (Argentinien und Chile) durchgeführt. Die Evaluationsergebnisse wurden nicht nur in Form einzelner Fallstudien sondern auch vergleichend in einem zusammenfassenden Synoptischen Summary dokumentiert. Methodisch basiert die Evaluierung auf leitfadengestützten Intensivinterviews mit den Stipendiaten und Auslandsmitarbeitern in den Zielländern sowie mit den zuständigen Stiftungsmitarbeitern in Deutschland. Des Weiteren wurde eine Auswertung vorhandener Daten und Dokumente zum Projektverlauf vorgenommen.

InWEnt Training zu Qualitätsmanagement, Monitoring und Evaluation im TVET Bereich11/200612/2006Internationale Weiterbildung und Entwicklung gGmbH (InWEnt)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Im Rahmen des Trainings werden Module zu Qualitätsmanagement, Monitoring, Evaluation, Datenerhebungsmethoden Datenauswertung sowie Reporting angeboten mit dem Schwerpunkt auf Berufsbildung.

Die Bedeutung von Europakompetenz für den Wirtschaftsstandort Saarland – Der Beitrag der Qualifikationsangebote der UdS für Betriebsansiedlungen und Existenzgründungen10/20063/2007Kooperationsstelle Wissenschaft und Arbeitswelt der Universität des Saarlandes (KoWA), Arbeitskammer des Saarlandes (AK)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Beschreibung

Das Centrum für Evaluation (CEval) untersucht innerhalb des von der Kooperationsstelle Wissenschaft und Arbeitswelt in Zusammenarbeit mit der Arbeitskammer des Saarlandes geförderten Forschungsvorhabens „Arbeitswelt Europa – Auswirkungen der Europäisierung auf das Saarland, auf die Arbeitswelt des Saarlandes und die Großregion im Umfeld des Saarlandes“ die Bedeutung der europabezogenen Expertise an den saarländischen Hochschulen - insbesondere der UdS - und der diesbezügliche Qualifikationen ihrer AbsolventInnen für Unternehmensansiedlungen und Existenzgründungen im Saarland und damit für die wirtschaftliche Entwicklung und die Beschäftigungslage im Saarland.

Ziel des Forschungsprojekts ist zu klären, welche Nachfrage von Seiten der saarländischen Wirtschaft nach europa­bezogenen Qualifikationen von AbsolventInnen der saarländischen Hochschulen besteht. Diese Fragestellung soll in Hinblick auf die Bedeutung der Nachfrage nach Qualifikationen für Unternehmensansiedlungen und Existenzgründungen im Saar­land betrachtet werden. Darüber hinaus soll untersucht werden, ob die europabezogene Expertise an der UdS und die entsprechenden Qualifikationen ihrer AbsolventInnen, Chancen für ExistenzgründInnen im Saarland bieten.

Das Design der Studie umfasst in der explorativen Phase qualitative Erhebungen bei den Mitarbeitern relevanter Informations- und Beratungsorganisationen für Existenzgründungen und Unternehmensansiedlungen. Aus den hierbei gewonnenen Informationen und aus der Analyse verfügbarer Dokumente und Statistiken wird das Untersuchungsfeld für standardisierte Befragungen von Unternehmen und ExistenzgründerInnen abgesteckt und es werden die untersuchungsleitenden Hypothesen für die standardisierten Befragungen abgeleitet, die die Basis für die quantitative Überprüfung der entwickelten Hypothesen liefern.

Evaluierung der Landesbauordnung des Saarlandes9/200612/2007Ministerium für Umwelt des Saarlandes

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Beschreibung

Gegenstand der Evaluation waren die ersten Erfahrungen der Betroffenen mit der Umsetzung der im Juni 2004 in Kraft getretenen Novellierung der saarländischen Bauordnung. Mittels unterschiedlicher qualitativer und quantitativer Erhebungsmethoden wurden insbesondere die Akzeptanz und Wirkungsweise der Verfahrensreform untersucht. Neben Intensivinterviews mit Experten aus dem Bauwesen kamen dabei standardisierte schriftliche Befragungen sowie statistische Analysen zum Einsatz. Als Ergänzung zur im Januar 2007 abgeschlossenen Evaluierung der Landesbauordnung des Saarlandes wurden leitfadengestützte Interviews mit privaten Bauherren durchgeführt, um Erkenntnisse über die Akzeptanz der Neuregelungen bei dieser Gruppe von Normadressaten zu gewinnen. Darüber hinaus sollte geklärt werden, welche Probleme mit der Gesamtheit staatlicher Reglementierungen für die Bauherren verbunden sind.
Weiterbildungsmaßnahmen zu Training Needs Assessment im Enineering Capacity Building Project in Äthiopien3/20065/2006Internationale Weiterbildung und Entwicklung gGmbH (InWEnt), Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Evaluation der Einführung eines Learning-Management-Systems CLIX CAMPUS ® an der Universität des Saarlandes2/20061/2008Competence Center "Virtuelle Saar Universität" (CC VISU)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Gemäß der Ziel- und Leistungsvereinbarung über die Einführung eines Learning-Management-Systems an der Universität des Saarlandes zwischen der Landesregierung des Saarlandes vertreten durch das Ministerium für Bildung, Kultur und Wissenschaft und das Ministerium für Wirtschaft und der Universität des Saarlandes vom 22.12.2005 wird an der Universität des Saarlandes das Learning-Management-System CLIX Campus ® eingeführt. Diese Einführung wird vom Centrum für Evaluation mit einer formativen und summativen Evaluation unter Einbeziehung externer Sachverständiger begleitet.
Evaluation der Wolfgang Paul- und Sofja Kovalevskaja-Preisträgerprogramme2/20067/2006Alexander von Humboldt-Stiftung (AvH)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Mitarbeiter: Dr. Vera Hennefeld

Beschreibung

2001 förderte die Alexander von Humboldt-Stiftung mit Mitteln des Bundesministeriums für Bildung und Forschung (BMBF) erstmalig das Wolfgang Paul- sowie das Sofja Kovalevskaja-Preisträgerprogramm. Ziel beider Preise ist es, dem Forschungsstandort Deutschland einen international sichtbaren Impuls zu geben, indem hervorragend qualifizierte jüngere Wissenschaftler aus aller Welt durch ein attraktives Angebot gewonnen werden, innovative und zukunftsweisende Forschungsvorhaben durchzuführen. Die beiden Preise wurden im Jahr 2001 an 43 Wissenschaftler/-innen vergeben, die an deutschen Gastinstituten Forschungsarbeiten durchführten. Im Mittelpunkt der Studie standen die Bewertungen der Forschungsaufenthalte durch die Preisträger sowie durch die Gastinstitute. Als Erhebungsmethoden zum Einsatz kamen hierbei neben Leitfadeninterviews mit ausgewählten Preisträgern und deren jeweiligen „Gastgebern“ eine Onlinebefragung aller Preisträger und Gastinstitutionen.

Managing Diversity – Studie zu Aspekten eines ganzheitlichen Konzeptes für die familiengerechte Hochschule1/20069/2006audit familiengerechte hochschule

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Das Centrum für Evaluation (CEval) wurde vom AUDIT Familiengerechte Hochschule der Universität des Saarlandes (UdS) beauftragt, innerhalb des von der Kooperationsstelle Wissenschaft und Arbeitswelt der UdS sowie der Arbeitskammer des Saarlandes geförderten Forschungsvorhabens „Managing Diversity – Studie zu Aspekten eines ganzheitlichen Konzeptes für die familiengerechte Hochschule“ die sozialwissenschaftlichen Erhebungen zu unterstützen.

Zielsetzung des Projekts ist die Analyse und Weiterentwicklung einer familienbewussten Personalpolitik der UdS. Dafür sollten in mehreren Teilstudien die aktuelle Situation an der Universität erhoben und anschließend die Ergebnisse in passfähigen Maßnahmen praktisch umgesetzt werden. Diese Teilstudien umfassen Erhebungen zum Kinderbetreuungsbedarf von Beschäftigten und Studierenden, zur Vereinbarkeitsproblematik von Männern/Vätern, zum Begriff familienfreundliche Hochschule bei allen Mitgliedern der Universität und eine Befragung der Führungskräfte zum Thema Familienfreundlichkeit, wobei sowohl quantitative als auch qualitative Methoden der empirischen Sozialforschung eingesetzt wurden. Das CEval unterstützte das AUDIT Familiengerechte Hochschule hierbei, indem es bei der Entwicklung der Erhebungsinstrumente und Durchführung insbesondere der standardisierten Befragungen mitwirkte.

Eine vollständige Publikation der Ergebnisse in thematisch aufbereiteter und interpretativer Form ist in Vorbereitung für das Jahr 2007.

Gutachten ‚Neuere Verfahren und Konzepte im Rahmen der Wirkungsanalyse’1/20061/2006Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Entwicklung eines Monitoring Systems im Projekt: Vocational Qualification and Employment Promotion in the Western Regions of China. 11/20053/2007Gesellschaft für Organisation, Planung und Ausbildung mbH (GOPA), Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Im Rahmen des Auftrages wurde ein wirkungsorientierten Monitoringsystem mit den Projektverantwortlichen aufgebaut. U.a. wurde das Monitoringsystem konzipiert (inklusive Indikatorenformulierung, Planung der Datenerhebung), Mitarbeiter geschult, Datenerhebungsinstrumente entwickelt, Daten erhoben und ausgewertet für Management entscheidungen. Zudem wurde ein Handbuch für die Projektmitarbeiter verfasst, das sich detailliert mit den einzelnen Schritten im wirkungsorientierten Monitoring befasst.

Evaluation des GTZ-Projekts: Umweltmanagement für Stadtentwicklung, Thailand9/20051/2006Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Beschreibung

Zwischen Oktober 2005 und Januar 2006 (Feldphase 14. bis 29.11.2005) wird eine Ex-post Evaluierung der dritten Phase des GTZ-Vorhabens „Umweltmanagement für Stadtentwicklung in Thailand“ (1997-2000) durchgeführt. Inhaltlich geht es um die Untersuchung und Bewertung der Nachhaltigkeit von Projektwirkungen fünf Jahre nach Abschluss des Vorhabens. Ein besonderes Augenmerk wird auf den Projektbeitrag zur Erreichung der Millenium Development Goals gelegt. Daneben werden der Mehrebenenansatz, die Mehrdimensionalität und die Synergieeffekte bewertet. Methodisch handelt es sich um eine von vier Pilotstudien, mit denen das neue Ex-post Evaluierungsverfahren der GTZ getestet und kritisch hinterfragt werden soll. In der Feldphase werden drei der fünf Projektstädte besucht (Kanchanaburi, Lamphun und Sri Racha). Sowohl auf nationaler Ebene als auch in den drei Städten sind jeweils etwa ein Dutzend Expertengespräche vorgesehen. In den Städten wird zudem versucht, die zu Beginn des GTZ-Projektes vorgenommenen Stadtbegehungen zu replizieren. Darüber hinaus ist ein Besuch aller noch existierender Demonstrationsvorhaben vorgesehen. Schließlich werden neben den bei der GTZ vorhandenen Projektmaterialien allgemeine und spezifische Informationsmaterialien zu landesweiten Veränderungen in den Bereichen Umwelt und Stadtplanung sowie zur lokalen Situation in den drei untersuchten Städten analysiert.
Evaluierung ASEAN Industrielle Biotechnologie und Umweltmanagement (EIBUM)9/20058/2006Internationale Weiterbildung und Entwicklung gGmbH (InWEnt)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Stefan Silvestrini

Beschreibung

Im Auftrag der Internationalen Weiterbildungs- und Entwicklungs gGmbH (InWEnt) werden fünf Langzeit-Programme in den Bereichen der industriellen Biotechnologie, des industriellen Umweltschutzes sowie des Instandhaltungs- und Anlagenmanagements in sechs ASEAN-Staaten evaluiert. Ziel der Evaluation ist es, Erkenntnisse über die Stärken und Schwächen (Inhalt, Aufbau, Organisation, Abwicklung etc.) der Trainingsprogramme unter Berücksichtigung der politisch-institutionellen Rahmenbedingungen zu gewinnen. Dementsprechend wird eine angemessene programmübergreifende Bewertung der Qualität und des Nutzens der Programme (Planung, Vorbereitung, Durchführung, Ergebnisse) und seiner Projekte / Maßnahmen vorgenommen. Die Zusammenfassung der verschiedenen Programmevaluationen erfolgt primär aufgrund der Gesamtzielstellung. Die Komplexität und thematische Vielfalt bieten neben den strukturellen und regionalen Gemeinsamkeiten die Basis zur Erlangung von verallgemeinerbaren Ergebnissen für den Aufbau, die Organisation und praktische Durchführung von komplexen Programmen / Projekten der Entwicklungszusammenarbeit (EZ). Die komparative Evaluation hinsichtlich Themenbezug, Programmstruktur oder Budget ähnlich gelagerter Programme weiterer EZ-Organisationen ist ebenfalls Zielstellung der Evaluation.
Überblicksartige Vorstudie zur Stellung der Entwicklungszusammenarbeit an deutschen Hochschulen9/200510/2005Hochschulrektorenkonferenz (HRK)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Durchführung Fremdevaluationen - Rahmenvertrag9/20053/2007Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Die GTZ hat 2005 ihr bestehendes Evaluierungssystem mit der Einführung von Schluss- und Ex-post Evaluierungen vervollständigt. In diesem Zusammenhang wurden 2005 / 2006 Rahmenverträge mit verschiedenen Institutionen geschlossen, in dessen Rahmen die Evaluationen von ca. 34 Einzelvorhaben in verschiedenen Regionen und Themenbereichen durchgeführt wurden.

Die GTZ hat mit dem CEval einen Rahmenvertrag geschlossen, auf dessen Basis in 2005 im Rahmen einer ersten Pilotphase zwei Projekt ex-post evaluiert wurden:

  1. Ex-Post Evaluation des GTZ-Programms Umweltmanagement für Stadtentwicklung in Thailand
  2. Ex-Post Evaluation des Programms Slumsanierung in Nagpur, Indien

In 2006 wurden im Kontext des Rahmenvertrages vom CEval die Evaluationen von 10 Einzelvorhaben in 9 Ländern koordiniert. Drei der Evaluationen wurden von CEval-MitarbeiterInnen durchgeführt. Die übrigen Evaluationen wurden unter der Leitung und Koordination von Frau Dr. Alexandra Caspari von ca. 20 GutachterInnen aus dem In- und Ausland umgesetzt.

    • Ex-Post Evaluation des GTZ- Forstvorhaben Schwarzer Fluss in Vietnam
    • Ex-Post Evaluation des GTZ-Vorhabens KV-Kommunale Waldbewirtschaftung Quirino auf den Philippinen
    • Evaluation des laufenden GTZ-Vorhabens in Asien NA: Regionales Forstvorhaben – South Pacific Community
    • Ex-Post Evaluation des GTZ-Vorhabens Modernisierung des Steuersystems in der Dominikanischen Republik
    • Schlussevaluation des GTZ-Vorhabens Dezentralisierung und Regionalplanung in der Dominikanischen Republik
    • Ex-Post Evaluation des GTZ-Vorhabens Modernisierung der Steuerverwaltung in Rumänien
    • Schlussevaluation des GTZ-Vorhabens Tropenwaldrelevantes Ressourcenschutzprogramm in Ruanda
    • Schlussevaluation des GTZ-Vorhabens Erhaltung des Schutzgebietes Osa in Costa Rica
    • Schlussevaluation des GTZ-Vorhabens Regionalentwicklung Lovetsch in Bulgarien
    • Evaluation des laufenden GTZ-Vorhabens
      NAMARES Nachhaltiges Management natürlicher Ressourcen in Ecuador
Evaluation des Reintegrationsprogramms des Evangelischen Entwicklungsdienstes (EED)6/200510/2005Evangelischer Entwicklungsdienst (EED)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Der EED bietet in Deutschland lebenden Fachkräften aus Afrika, Asien und Lateinamerika, die auf Dauer in ihr Herkunftsland zurückkehren möchten ein Reintegrationsprogramm an. Dafür bietet es Bewerbern, die in Kürze ihre Ausbildung oder ihr Studium in Deutschland abschließen und noch keine oder nur geringe Berufserfahrung von weniger als zwei Jahren erworben haben, Beihilfen, wenn sie eine entwicklungspolitische Tätigkeit in ihrem Heimatland aufnehmen. Zu den Leistungen des Programms gehören neben der eigentlichen Reintegrationsbeihilfe, eine Ausreisebeihilfe, die Erstattung der Reise- und Gepäcktransportkosten, die soziale Sicherung im Heimatland sowie ein Kaufkraftausgleich. Voraussetzung für eine Förderung ist, dass die Bewerber sich in Deutschland bereits mit entwicklungspolitischen Fragen auseinandergesetzt haben und dass bei einer überseeischen (Partner-) Organisation ein geeigneter Arbeitsplatz zur Verfügung steht. Ziel der Evaluation ist eine Wirkungsanalyse, in der die Erfolge bei der Reintegration von Fachkräften und die entwicklungspolitischen Implikationen des Programms untersucht werden. Dabei wird einerseits der Frage nachgegangen, was das Reintegrationsprogramm in Bezug auf die soziale und berufliche Reintegration von Fachkräften in ihrem Herkunftsland leistet. Andererseits steht der Beitrag des Reintegrationsprogramms für die entwicklungspolitische Arbeit der Partnerorganisationen des EED im Vordergrund. Mit Hilfe quantitativer und qualitativer empirischer Methoden werden dazu Daten von Reintegranten sowie deren (ehemaligen) Arbeitgebern erhoben. Als Instrumente kommen neben standardisierten schriftlichen Befragungen leitfadengestützte Intensivinterviews, Fallstudien und sekundäranalytische Verfahren zum Einsatz. Die Studie ist weltweit ausgelegt, wobei der Fokus auf Afrika gerichtet wird.
Kommentierung der Standards-Diskussion von UNEG und DAC5/200510/2005Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Evaluation ‚Einzelmaßnahmen zur entwicklungspolitischen Informations- und Bildungsarbeit'4/20058/2005Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Gegenstand der durchgeführten Evaluation waren drei Einzelmaßnahmen, die aus Mitteln des BMZ gefördert wurden. Zentrale Fragestellung der Evaluation war, inwieweit die drei Einzelmaßnahmen einen sinnvollen Beitrag zur entwicklungspolitischen Bildungsarbeit leisten und ob bzw. inwieweit sie sich in ihren Tätigkeiten oder in den anvisierten Zielgruppen überschneiden. Ziel der Evaluation war es, dem BMZ eine angemessene Grundlage zu bieten, um die Angebote und Dienstleistungen sowie die Zielgruppen der drei Einrichtungen adäquat einschätzen zu können.
Gemäß der Fragestellung und im Sinne der Methoden-Triangulation wurden verschiedene Formen der Datenerhebung genutzt: Eine Sektoranalyse sollte einen Überblick über die ‚Rahmenbedingungen’ der entwicklungspolitischen Bildungsarbeit in Deutschland sowie einen Überblick über weitere relevante Akteure im Bereich der entwicklungspolitischen Bildungsarbeit und deren Informations- und Dienstleistungsangebote geben, um die Angebote und Zielgruppen der drei untersuchten Einrichtungen einschätzen zu können. Im Rahmen von Vor-Ort Besuchen der drei Einrichtungen wurden mit verschiedenen Mitarbeitern Intensivinterviews geführt sowie sämtliche zur Verfügung gestellten Materialien gesichtet. Auf dieser Grundlage wurden im möglichen Rahmen Kosten-Nutzen-Berechnungen erstellt. Darüber hinaus wurden leitfadengestützte Telefoninterviews mit weiteren relevanten Personen geführt. Um insbesondere die Nutzung sowie die Qualität und den Nutzen der Angebote und Dienstleistungen der drei Einrichtungen untersuchen zu können, wurde eine Online- Befragung verschiedener Personengruppen durchgeführt.

Entwicklung eines Monitoringsystems für das vietnamesisch-deutsche Berufsbildungsprogramm in Vietnam2/20058/2005Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Beratung des Berufsbildungsprogramms „Verbesserung von Leistungsfähigkeit und Nachfrageorientierung der Aus- und Fortbildungsstätten des vietnamesischen Berufsbildungssystems“ in Hanoi/Vietnam bei der Entwicklung eines Monitoringsystems und der Planung und Durchführung einer Tracer-Study und Betriebsbefragung.
Evaluation des Stipendienprogramms des Evangelischen Entwicklungsdienstes (EED)2/20056/2005Evangelischer Entwicklungsdienst (EED)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Das Stipendienprogramm des EED hat die Aufgabe, kirchliche Partner und entwicklungsorientierte Nichtregierungsorganisationen in Entwicklungsländern bei der Fortbildung und Qualifizierung ihres Personals zu unterstützen. Hierfür werden Stipendien für ein entwicklungsbezogenes Postgraduiertenstudium in Deutschland, europäischen Ausland oder Entwicklungsländern an berufserfahrene Hochschul-/ Fachhochschulabsolventen aus Entwicklungsländern vergeben. Ferner werden die Stipendiaten bei der studienbedingten Integration und Orientierung mittels studienergänzender Seminarangebote begleitet. Neben der akademischen Qualifikation beziehen sich die Förderkriterien u.a. auf die Bedeutung des Studienvorhabens für die nachhaltige Entwicklung sowie den Auf- bzw. Ausbau von Bildungsstätten im Heimatland, Fragestellungen des konziliaren Prozesses für Frieden Gerechtigkeit und Bewahrung der Schöpfung etc.

Seit Oktober 2003 ist das ehemalige Stipendienprogramm des Ökumenischen Studienwerks (ÖSW) Teil des EED in Bonn. Im Rahmen dieser Integration soll die Förderung berufserfahrener Nachwuchskräfte aus Entwicklungsländern enger mit den internationalen Programmen, der Personalvermittlung und dem Inlandsprogramm des EED verbunden werden.

Ziel der Evaluation ist die Untersuchung der Entwicklungsrelevanz des Stipendienprogramms des EED. Der Schwerpunkt der Evaluation liegt dabei auf den (beruflichen) Tätigkeiten der Stipendiaten nach Beendigung ihrer Ausbildung, ihrer Funktion als Multiplikatoren, und auf Ihrem „Wirken“, (insbesondere auch in Bezug auf Organisationsentwicklung und Zuwachs an Know-how in den Institutionen aus denen die Stipendiat(inn)en vermittelt werden). Der geographische Fokus der qualitativen Fallstudien liegt auf Lateinamerika (Brasilien) und Ostafrika (Tansania/ Kenia), während die quantitative Befragung der ehemaligen Stipendiaten weltweit erfolgt.

Ex-Post Evaluation des GTZ-Projekts: Slumsanierung Nagpur, Indien1/20051/2006Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Gegenstand der Evaluation war ein GTZ-Projekt zur Slumsanierung in Nagpur, Indien, das einen wichtigen Beitrag zur Verbesserung der Lebensbedingungen in den Slums und informellen Siedlungen Nagpurs leisten sollte. Der deutsche Beitrag war darauf ausgerichtet, die Stadt Nagpur darin zu unterstützten, eine eigenständige und nachhaltige Sanierungspolitik unter Beteiligung von Bewohnerorganisationen in den unterversorgten Siedlungen zu betreiben. Eines der wesentlichen Elemente der Zusammenarbeit sollte dabei die Bündelung lokaler Initiativen und bestehender nationaler oder regionaler Förderungsprogramme bewirken.

Hintergrund der Evaluation war die Einführung von Schluss- und Ex-Post Evaluationen bei der GTZ. Im Rahmen eines Pilotversuches werden zunächst 8 Evaluationen von Projekten zum Jahresthema der GTZ „Die Stadt von morgen“ durchgeführt.
Das hier evaluierte Projekt gehörte zu dieser Stichprobe. Die Evaluation sollte in erster Linie der Rechenschaftslegung dienen, darüber hinaus sollten die Erkenntnisse in das Wissensmanagement der GTZ einfließen und für die Weiterentwicklung von Konzepten und die Gestaltung künftiger Vorhaben genutzt werden.

Zentrale Fragestellung und Ziel der Evaluation war entsprechend fundierte Aussagen zum Erfolg des Projektes zu liefern, der auf der Grundlage vorgegebener Evaluationskriterien beschrieben und bewertet wurde. Diese waren die mit dem Vorhaben erreichten Wirkungen, die Effizienz der Mittelverwendung, die entwicklungspolitische Relevanz und Signifikanz, die Kohärenz sowie die Nachhaltigkeit der Wirkungen (in Anlehnung an OECD/DAC).
Ferner sollten die Evaluierungen bzgl. des ausgewählten entwicklungspolitischen Themas „Die Stadt von morgen“ Auskunft über weitere zusätzliche Fragen geben, die für die weitere Konzept- und Sektorentwicklung von Relevanz sind und auch eine vergleichende und übergreifende Aussage zu allen Evaluierungen ermöglichen sollen:

  1. Welchen Beitrag leistete das Vorhaben zur Erzielung von Wirkungen auf der Ebene der MDGs, insbesondere MDG 7, Teilziel 11?
  2. Welche Auswirkungen hatte der Mehrebenenansatz (Stadtteilebene, Gesamtstadtebene, übergeordnete Ebenen) und die Mehrdimensionalität des Vorhabens (technisch, sozial, räumlich, ökonomisch, ökologisch) auf die Nachhaltigkeit der Wirkungen des Vorhabens?
  3. Inwieweit gab es Synergieeffekte durch die Kombination von TZ und Finanzierung durch Dritte, welche Bedingungen waren hierfür ausschlaggebend?
Ein dritter Bearbeitungspunkt betraf das Konzept der Ex-post Evaluation, die Methodik und das Raster für die Erfolgsbewertung, was auf der Grundlage der Erfahrungen konstruktiv-kritisch bewertet werden sollte.
Vergleich der Gesundheitssysteme im Saarland und im Departement Moselle12/20044/2005Landesarbeitsgemeinschaft für Gesundheitsförderung Saarland (LAGS)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Stefan Silvestrini

Beschreibung

Das Centrum für Evaluation (CEval) wurde von der Landesarbeitsgemeinschaft für Gesundheitsförderung Saarland e.V. (LAGS) beauftragt, die bereits zuvor erhobenen Fragebögen auszuwerten und die Ergebnisse für eine kartografische Darstellung in geeigneter Form aufzubereiten. Ziel der Erhebung war es, einen Ist-Zustand der vorhandenen Leistungsangebote zu ermitteln sowie mögliche Kooperationen zwischen den französischen und saarländischen Einrichtungen und die Mobilität der Patientinnen und Patienten darzustellen.
Vor dem Hintergrund der Schaffung grenzüberschreitender Zugangsmöglichkeiten zur Gesundheitsversorgung dienen die gewonnenen Informationen als Grundlage für eine Vergleichsstudie zur effizienteren Nutzung der dazu vorhandenen infrastrukturellen Ressourcen. Gleichsam soll auf diese Weise ein Beitrag zur Förderung der regionalen grenzüberschreitenden Gesundheitspolitik geleistet werden.

Studie zum Marketingpotenzial Indiens für das Hochschulmarketing deutscher Hochschulen11/20046/2005Deutscher Akademischer Austauschdienst (DAAD)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

In Zukunft soll das Hochschulmarketing des DAAD einen Schwerpunkt bei indischen Studierenden der Ingenieur-, Natur- und Wirtschaftswissenschaften setzen, da bei diesen Gruppen Nachwuchsmangel bereits besteht oder zu erwarten ist und von ihnen ein positiver Beitrag zur Forschung an deutschen Hochschulen erhofft wird.Die Fokussierung auf Indien für diese Studie hat zwei wesentliche Hauptgründe: Zum einen ist Indien bereits seit längerem eines der Haupt-Zielländer der Marketing-Kampagnen von GATE-Germany. Die Zahl angeworbener Studierender könnte (und soll) aber noch ausgebaut werden. Dies gilt insbesondere im Vergleich zur Mobilität indischer Studierender in Richtung USA und Großbritannien. Zum anderen soll das Profil der potenziellen Bewerber stärker dem oben bereits angedeuteten Bedarf der deutschen Hochschulen an hoch qualifizierten Kräften aus den Ingenieur-, Natur- und Wirtschaftswissenschaften entsprechen.
Das Oberziel der Studie ist, Empfehlungen für die Neuausrichtung der Marketing-Strategie für die kommenden Jahre auf der Basis der bisherigen Erfahrungen und der aktuellen Entwicklungen auf dem Bildungsmarkt zu erstellen.
Unter Anderem sollen zu den folgenden Fragestellungen weitere Auskünfte geben werden:

• Inwieweit haben die bisherigen Marketingmaßnahmen die gewünschten Zielgruppen erreicht?

• Soll an indischen Hochschulen geworben werden?

• Wenn an indischen Hochschulen geworben werden soll, dann mit welchen Mitteln?

• In welchen Zielgruppen existiert das Bewusstsein für die Möglichkeit eines Aufenthalts in Deutschland?

• Wie kann dieses Bewusstsein verstärkt werden?

• Welche neuen Zielgruppen sollten erschlossen werden?

• Über welche Informationswege, -mittel und Kommunikationsstrategien können die Zielgruppen wirksam erreicht werden?

• Über welche zentralen Botschaften und Kernaussagen kann das Interesse indischer Studierender effektiv geweckt und deren Entscheidung in wirksamer Weise beeinflusst werden?

Situationsanalyse „eLearning an der Universität des Saarlandes“10/20044/2005Competence Center "Virtuelle Saar Universität" (CC VISU)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Studie zur Gewinnung US- amerikanischer Studierender für deutsche Hochschulen8/20042/2005GATE-Germany, Deutscher Akademischer Austauschdienst (DAAD)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Das CEval führte im Auftrag der beim DAAD angesiedelten Initiative „GATE-Germany - Konsortium für internationales Hochschulmarketing“ eine Studie zur ‚Gewinnung US-amerikanischer Studierender für deutsche Hochschulen‘ durch. Hintergrund sind zwei identifizierte Problemfelder: Zum einen stagnieren die Zahlen der US-Amerikaner, die zu einem Studienaufenthalt nach Deutschland kommen in den letzten Jahren nicht nur, sondern sind im Vergleich zu anderen europäischen Ländern (wie Italien oder Frankreich) sogar rückläufig. Zum anderen kommen die meisten amerikanischen Studierenden nur zu sehr kurzen Studienaufenthalten nach Deutschland, so dass eine nachhaltige Wirkung des Aufenthalts fraglich ist.

Ziel der Studie war es, Erkenntnisse über die Mobilität der US-amerikanischen Studierenden zu liefern. Auf dieser Grundlage soll GATE-Germany die Marketing-Strategie für die USA weiter entwickeln, um den oben beschriebenen negativen Trend rückläufiger Studierendenzahlen insbesondere in den Ingenieur-, Natur- und Wirtschaftswissenschaften aufzuhalten und umzukehren und den Anteil an US-amerikanischen Studierenden, die an deutschen Hochschulen einen Abschluss anstreben oder promovieren, zu erhöhen. Die konzeptionelle Entwicklung der Studie und die Zusammenfassung der Ergebnisse in einer Handlungsempfehlung erfolgten in enger Abstimmung mit GATE-Germany.

Im Vordergrund der Studie standen die folgenden zentralen Fragestellungen:

• Welche Faktoren bestimmen maßgeblich die Entscheidung für ein Studium im Ausland allgemein und in Deutschland im Besonderen?

• Über welche Informationswege, -mittel und Kommunikationsstrategien kann in wirksamer Weise auf die o.g. Faktoren Einfluss genommen werden, die die Entscheidung der Zielgruppe zu einem Auslandsstudium determinieren?

• Mit welchen Studienangeboten könnten die Zielgruppen in den USA für ein Studium in Deutschland gewonnen werden?

Als Ergebnis der Untersuchung wurde ein Maßnahmenkatalog mit konkreten Handlungsempfehlungen für die Akteure des internationalen Hochschulmarketings zur Gewinnung US-amerikanischer Studierender erstellt.

Um ein umfangreiches Bild über die Mobilität der US- Studierenden zu erhalten, wurde für die Operationalisierung des Studienauftrags ein Multimethodenansatz gewählt, der eine angemessene Einbeziehung möglichst vieler Akteure des internationalen Stiudierendenaustauschs sicherstellt. Standardisierte Befragungen wurden mit US- Studierenden in Deutschland durchgeführt. VertreterInnen von Study Abroad Offices in den USA wurden mittels teilstandardisierten Befragung um ihre Einschätzungen bzgl. Deutschland und seiner Universitäten als Partnerland ihrer Institution gebeten. Leitfadengestüzte Interviews wurden mit 10 VertreterInnen Akademischer Auslandsämter, die für den Austausch mit den USA zuständig sind, durchgeführt. Die Ausarbeitungen der Fragebögen als auch des Leitfadens für die Befragung der VertreterInnen deutscher Akademischer Auslandsämter erfolgten gemäß des partizipativen Ansatzes des CEval in enger Abstimmung mit dem Auftraggeber GATE- Germany. Der abschließende Ergebnisbericht wurde im Mai 2005 vorgelegt.

„Durch den Multimethodenansatz ist es gelungen, aus dem zwar begrenzten aber vielfältigen Datenfundus ein aussagekräftiges Bild zu entwickeln und wichtige Erkenntnisse und Empfehlungen zur Gewinnung US-amerikanischer Studierender für deutsche Hochschulen abzuleiten.“ (DAAD)

Entwicklung eines Monitoringsystems für das Veranstaltungsprogramm des Bildungszentrums Kirkel (Phase I)8/20041/2005Bildungszentrum Kirkel, Kooperationsstelle Wissenschaft und Arbeitswelt der Universität des Saarlandes (KoWA)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Beschreibung

Das Forschungsprojekt soll die Qualität des gesellschaftspolitischen Weiterbildungsprogramms des Bildungszentrums Kirkel der Arbeitskammer des Saarlands bilanzieren und die Basis für einen fortlaufenden Qualitätsentwicklungsprozess legen. In der ersten, konzeptionellen Phase des Projekts wird zusammen mit den Dozentinnen und Dozenten sowie Mitgliedern der Führungsebene und der verantwortlichen Gremien ein Kriterienkatalog entwickelt, der verschiedene Dimensionen der Qualität gesellschaftspolitischer Weiterbildung beschreiben soll (Ziele, angestrebte Wirkungen, Charakter und Ausgestaltung der Seminare, etc.). In der anvisierten zweiten, operativen Phase (01/04 – 01/05) sollen die Messinstrumente für Dozenten- und Teilnehmerbefragungen entwickelt, eingesetzt, die Daten ausgewertet und ein Verfahren erarbeitet werden, das es dem Bildungszentrum ermöglicht, die Messungen nach dem Projekt-Ende selbstständig und dauerhaft fortführen zu können.
Insgesamt verfolgt das Projekt Ziele in vier Bereichen an:

  1. Bestimmung der Qualitätskriterien und –ziele, die bei der Evaluation von allgemeinen und gesellschaftspolitischen Weiterbildungsveranstaltungen beachtet und bewertet werden sollen (Kriterienentwicklung zur Qualitätsbewertung).
  2. Umfassende Bestandsaufnahme der Qualität des Veranstaltungsprogramms des Bildungszentrums Kirkel im Bereich der gesellschaftspolitischen Weiterbildung (Beschreibung des Ist-Zustandes).
  3. Bestimmung des Mehrwerts an Qualität, der durch die Integration von E-Learning-Modulen in einzelnen Veranstaltungen (bzw. einzelnen Segmenten dieser Veranstaltungen) erreicht werden könnte (Definition von Zielfeldern).
  4. Regelmäßige Qualitätsmessung zur kontinuierlichen Weiterentwicklung des Veranstaltungsprogramms (Dauerbeobachtung von Wirkungen)

Beratung von IBQM (Initiativstelle Berufliche Qualifizierung von Migrantinnen und Migranten) bei der Evaluation der Beruflichen Qualifizierungsnetzwerke4/20046/2006Bundesinstitut für Berufsbildung (BIBB)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Die „Initiativstelle Berufliche Qualifizierung von Migrantinnen und Migranten“ (IBQM) im Bundesinstitut für Berufsbildung (BIBB) ist ein Projekt, das mit Mitteln des BMBF im Rahmen des BQF-Programms (Berufliche Qualifizierung für Zielgruppen mit besonderem Förderbedarf) gefördert wird. IBQM berät und begleitet in Kooperation mit dem Projektträger Antragsteller, die im Rahmen des BQF-Programms innovative Modellprojekte initiieren. Diese Projekte sollen dazu beitragen, Angebote der Benachteiligtenförderung für die sehr heterogene Zielgruppe der Jugendlichen mit Migrationshintergrund weiterzuentwickeln. Ein Schwerpunkt ist dabei das Bemühen um die Berücksichtigung der interkulturellen Dimension der Kompetenzfeststellung und –entwicklung bei der Zielgruppe im Handlungsfeld der betrieblichen und schulischen Berufsbildung.

Die Hauptaufgabe der IBQM zur Verbesserung der Rahmenbedingungen für die berufliche Qualifizierung von Migrantinnen und Migranten besteht in der Initiierung, Beratung und wissenschaftlichen Begleitung von lokalen und regionalen Kooperationsnetzwerken für die berufliche Qualifizierung von Migrantinnen und Migranten (BQN).

Das CEval berät IBQM bei der Entwicklung und Umsetzung der prozessbegleitenden Evaluation der BQN. Darunter fallen im wesentlichen folgende Aufgaben: Unterstützung bei der Fertigstellung des BQN-Evaluationskonzeptes von IBQM, Input bei den Treffen des BQN-Evaluationsarbeitskreises, Unterstützung bei der Erarbeitung der Kriterienkataloge, Präsentationsformate und Indikatoren für die Umsetzung der mit den lokalen Evaluationsbeauftragten der BQN vereinbarten Etappen der prozessbegleitenden Evaluation, fachliche Beratung bei der Umsetzung der einzelnen Etappen (lokale Anwendung der Kriterien, Aussagekraft der Dokumentation und Plausibilität der Umsetzung).

Entwicklung eines Monitoringsystems für das Veranstaltungsprogramm des Bildungszentrums Kirkel (Phase II)2/20041/2005Bildungszentrum Kirkel, Kooperationsstelle Wissenschaft und Arbeitswelt der Universität des Saarlandes (KoWA)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Beschreibung

Das Forschungsprojekt soll die Qualität des gesellschaftspolitischen Weiterbildungsprogramms des Bildungszentrums Kirkel der Arbeitskammer des Saarlands bilanzieren und die Basis für einen fortlaufenden Qualitätsentwicklungsprozess legen. In der ersten, konzeptionellen Phase des Projekts wird zusammen mit den Dozentinnen und Dozenten sowie Mitgliedern der Führungsebene und der verantwortlichen Gremien ein Kriterienkatalog entwickelt, der verschiedene Dimensionen der Qualität gesellschaftspolitischer Weiterbildung beschreiben soll (Ziele, angestrebte Wirkungen, Charakter und Ausgestaltung der Seminare, etc.). In der anvisierten zweiten, operativen Phase (01/04 – 01/05) sollen die Messinstrumente für Dozenten- und Teilnehmerbefragungen entwickelt, eingesetzt, die Daten ausgewertet und ein Verfahren erarbeitet werden, das es dem Bildungszentrum ermöglicht, die Messungen nach dem Projekt-Ende selbstständig und dauerhaft fortführen zu können.
Insgesamt verfolgt das Projekt Ziele in vier Bereichen an:

  1. Bestimmung der Qualitätskriterien und –ziele, die bei der Evaluation von allgemeinen und gesellschaftspolitischen Weiterbildungsveranstaltungen beachtet und bewertet werden sollen (Kriterienentwicklung zur Qualitätsbewertung).
  2. Umfassende Bestandsaufnahme der Qualität des Veranstaltungsprogramms des Bildungszentrums Kirkel im Bereich der gesellschaftspolitischen Weiterbildung (Beschreibung des Ist-Zustandes).
  3. Bestimmung des Mehrwerts an Qualität, der durch die Integration von E-Learning-Modulen in einzelnen Veranstaltungen (bzw. einzelnen Segmenten dieser Veranstaltungen) erreicht werden könnte (Definition von Zielfeldern).
  4. Regelmäßige Qualitätsmessung zur kontinuierlichen Weiterentwicklung des Veranstaltungsprogramms (Dauerbeobachtung von Wirkungen)
Aktion Wasserzeichen11/20031/2004Ministerium für Umwelt des Saarlandes

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Beschreibung

Die „Aktion Wasserzeichen“ ist ein Programm des Ministeriums für Umwelt, mit dem die saarländischen Gemeinden bei ihren Bemühungen, nicht verunreinigtes Niederschlagswasser von reinigungsbedürftigem Abwasser zu trennen, finanziell unterstützt werden. Seit in Kraft treten der Aktion Wasserzeichen im Jahre 1996 wurden ca. 400 Projekte mit insgesamt rund 65 Mio. € bezuschusst. Im Rahmen dieser Evaluation wird systematisch untersucht, wie das Projekt bei den Beteiligten vor Ort angenommen wird und wo Probleme auftreten. Die Ergebnisse der Evaluation sollen für eine Neukonzeption der Aktion Wasserzeichen genutzt werden.

DAAD-Bereichsevaluation „Stipendien für Ausländer“11/200312/2004Deutscher Akademischer Austauschdienst (DAAD)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Evaluation des Projekts “eLearning in der Bewegungs- und Trainingswissenschaft”11/20032/2004Competence Center "Virtuelle Saar Universität" (CC VISU)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Evaluation des KIBB: Kommunikations- und Informationssystem Berufliche Bildung8/200312/2005Bundesinstitut für Berufsbildung (BIBB)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Im Auftrag des BMBF (Bundesministerium für Bildung und Forschung) arbeitet das Bundesinstitut für Berufsbildung (BIBB) am Aufbau eines Kommunikations- und Informationssystems für Berufliche Bildung (KIBB). Mit dem Projekt KIBB werden im Wesentlichen drei Ziele verfolgt, die im Rahmen bestehender Informations- und Kommunikationsstrukturen bisher nur unzureichend erfüllt werden konnten: 1. Die Hervorhebung der Bedeutung der Berufsbildungsforschung als wichtiger gesellschaftlicher Entwicklungsbereich; 2. der Aufbau eines professionellen Wissensmanagements in der Berufsbildung; 3. die stärkere Vernetzung von Berufsbildungsexperten und
–expertinnen. KIBB nutzt bei der Verfolgung dieser Ziele in vielfältiger Weise die erweiterten Möglichkeiten, die im Zusammenhang mit Information und Kommunikation durch die Neuen Medien entstanden sind: Neben der Einrichtung einer online-gestützen Kommunikationsplattform ist u. a. der Aufbau einer internetbasierten Wissenslandkarte vorgesehen, die Informationen zur Berufsbildungsforschung zur selbständigen Recherche und Beantwortung von Fragen bereitstellt. Die vom BIBB in Auftrag gegebene Evaluation des KIBB ist prozessbegleitend vorgesehen, so dass also bei dieser Evaluation insbesondere formative und projektbezogene Aspekte im Vordergrund stehen. Die methodische Konzeption der Evaluation basiert auf einem Analyse-Leitfaden, der in seiner Struktur auf der theoretischen Evaluationskonzeption des CEval beruht und zu Beginn des Evaluationsvorhabens in enger Zusammenarbeit mit den Projektbeteiligten an die spezifischen Erfordernisse des Evaluationsvorhabens angepasst wurde. Während die Zielsetzungen und zu messenden Indikatoren von KIBB einen selbstverständlichen Bestandteil des Leitfadens bilden, enthält dieser darüber hinaus eine Reihe organisations- und diffusionstheoretisch begründeter Faktoren, die nach dem derzeitigen Stand der Forschung grundsätzliche Voraussetzungen für den Erfolg von Programmen und Projekten darstellen. Die Messung der Indikatoren im Analyse-Leitfaden erfolgt im Sinne eines Panels zu drei Erhebungszeitpunkten die sich über die gesamte Projektlaufzeit erstrecken. Die fortlaufende Anpassung und Weiterentwicklung des Erhebungs- und Untersuchungsdesigns wird dabei als integrierter Bestandteil des Vorgehens betrachtet. Gemäß des formativen Charakters der Evaluation werden die Ergebnisse der jeweiligen Erhebungen handlungsorientiert aufbereitet und dienen als Diskussionsgrundlage für jeweils einen Workshop unter Beteiligung der KIBB-Mitarbeiter. Die Dokumentation sowohl der Erhebungs- als auch der Diskussionsergebnisse der Workshops sind Bestandteile der Zwischenberichte. Neben leitfadengestützten Interviews mit Projektmitarbeitern, weiteren Projektbeteiligten sowie Kunden des KIBB (z. B. Mitarbeiter des BMBF) sollen mit dem weiteren Verlauf des Projekts in der Evaluation standardisierte Nutzerbefragungen bei den Nutzern der internetbasierten Produkte von KIBB sowie Gruppendiskussionen zum Einsatz kommen. Daneben erfolgt eine kontinuierliche Dokumentenanalyse.
Evaluation der Entwicklungspartnerschaft "MENTOR" (Multifunctional European Network for Technological Cooperation, Open Learning and Research) als Teil der EU-Gemeinschaftsinitiative EQUAL3/200312/2004Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Die Evaluation dieses Projekts soll im Anfang primär begleitend und projektunterstützend (formativ) sein, während mit zunehmender Reife der Entwicklungspartnerschaft eine Bewertung gemäß der EQUAL-Ziele erfolgen wird. EQUAL verfolgt generell einen Abbau von Benachteiligungen am Arbeitsmarkt, um die Anpassungsfähigkeit, Beschäftigungsfähigkeit und den Unternehmergeist von traditionell benachteiligten Gruppen (Migranten, Frauen, Behinderte, etc.) zu stärken. Die Partnerschaft MENTOR, ein Netzwerk verschiedener regionaler Akteure des Saarlandes, setzt diese Ziele primär im Rahmen von Schulungen unter Anwendung neuer Informations- und Kommunikationstechnologien um.

Evaluation des DAAD / BMZ Programms "Nachbetreuung ehemaligerStudierender aus Entwicklungsländern"2/20038/2003Deutscher Akademischer Austauschdienst (DAAD)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Recherche und Erstellung einer Übersicht der wichtigsten Audits zur sozialen Verantwortung von Unternehmen8/200210/2002

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Beschreibung

Diese Exklusivstudie beinhaltet sowohl die Recherche als auch Analyse und zusammenfassende Darstellung der relevanten Fakten zum Themenkomplex „social audits“. Dabei liegt der Fokus insbesondere auf der Erstellung einer Übersicht der wichtigsten Standards, Zertifizierungsmöglichkeiten, Audits, usw. zur sozialen Verantwortung von Unternehmen.

Insofern konzentriert sich die Studie, neben der Sichtung übergreifender Standards wie z.B. der Menschenrechte, der Kernarbeitsnormen der „Internationalen Arbeitsorganisation“ (IAO), auch auf die Analyse und Aufstellung relevanter Zertifizierungsinstitutionen und -organisationen auf nationaler und internationaler Ebene.

Analyse und Bewertung der Projektberichterstattung von EURES-Transfrontalier Saar-Lor-Lux-Rheinland-Pfalz und Konzeption eines Monitoring- und Evaluations-Systems7/20029/2002EURES Transfrontalier Saar-Lor-Lux-Rheinland-Pfalz

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Mitarbeiter: Dr. Vera Hennefeld

Beschreibung

Die Studie analysiert und bewertet die im Rahmen von European Employment Services-Transfrontalier Saar-Lor-Lux-Rheinland-Pfalz (EURES-T SLLR) geförderten Projekte sowie die Tätigkeitsberichte der EURES-Koordination. Ferner wurden Empfehlungen zur Verbesserung und Systematisierung der Berichterstattung erarbeitet und ein M+E-System zur Qualitätssicherung der Projektarbeit entwickelt.

"Evaluation von Projekten der Umweltkommunikation im Handwerk unter besonderer Berücksichtigung der Umweltzentren des Handwerks"6/200212/2005Deutsche Bundesstiftung Umwelt (DBU)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Mitarbeiter: Dr. Wolfgang Meyer, Dr. Vera Hennefeld

Beschreibung

Die Deutsche Bundesstiftung Umwelt (DBU) fördert seit 1991 Projekte der Umweltkommunikation im Handwerk und hat das CEval mit einer umfassenden Evaluierung ihrer Förderaktivitäten beauftragt. Im Rahmen des Evaluationsvorhabens sind Aktivitäten und Strukturen der Umweltkommunikation im Handwerk zu dokumentieren, die nachhaltigen Wirkungen der DBU-Förderung zu erfassen sowie Empfehlungen für die Optimierung der weiteren Fördertätigkeit zu entwickeln. Das im Juni 2002 begonnene Vorhaben hat eine voraussichtliche Laufzeit bis Dezember 2005.
Evaluation von EU-Twinning-Projekten6/200212/2002Bundesinstitut für Umwelt, Naturschutz, Bau und Reaktorsicherheit (BMU)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Beschreibung

Von der EU-Kommission wurde 1998 ein Förderprogramm zur Begleitung des Beitrittsprozesses von 12 ost- und südeuropäischen Ländern aufgelegt. Zentrales Ziel dieses "Twinning-Programms" ist es, diese Länder bei dem Aufbau einer modernen, effektiven Verwaltung zu unterstützen, die in der Lage ist, den gemeinschaftlichen Besitzstand gemäß den Standards umzusetzen, welche in den gegenwärtigen Mitgliedsstaaten gelten. In einer ersten Phase der Evaluation sollen drei bereits abgeschlossene Twinning-Projekte (mit Bulgarien, Rumänien und der Slowakischen Republik) im Bereich "Abfallwirtschaft" hinsichtlich ihrer Wirksamkeit überprüft werden.

Einführung eines Monitoring- und Evaluationssystems in einem Berufsbildungsprojekt der deutsch- ägyptischen Entwicklungszusammenarbeit1/200212/2004Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Entwicklung und Implementation eines Monitoring- und Evaluationssystems für die Mubarak-Kohl-Initiative zur Einführung einer dualen Berufsausbildung in Ägypten.
Gutachten zu den Perspektiven der Programmarbeit der DSE-ZGB1/20025/2002Deutsche Stiftung für internationale Entwicklung (DSE), Zentralstelle für Gewerbliche Berufsförderung (ZGB)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Die konzeptionelle Reformulierung der Berufsbildungshilfe Anfang der 90er Jahre sowie die Neukonzipierung der Entwicklungszusammenarbeit (EZ) nach dem Regierungswechsel erfordern Anpassungen der ZGB-Programmarbeit. Anhand von drei ausgewählten Schwerpunktländern der deutschen EZ (Ägypten, Indien, Uganda) wurden daher in einem Gutachten Aussagen zur zukünftigen Rolle sowie zu den Beiträgen der DSE-ZGB im Rahmen einer neugeordneten EZ im Bereich der beruflich-technischen Bildung erarbeitet.

Entwicklung einer Methodologie für eine Benefit Monitoring and Evaluation (BME) inkl. eines Social Impact Monitoring (SIM) im Rahmen des Weltbank-Projektes ‚Road Rehabilitation Project – Kyr-gyz Republic’8/20010/0Müller&Müller Consulting

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

eBuT e-Learning in der Bewegungs- und Trainingswissenschaft7/200112/2003eBuT Bewegungs- und Trainingswissenschaft

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Im Mittelpunkt der Evaluation steht die Analyse des anvisierten Mehrwerts (Distanz, Multimedialität, Interaktivität) der internetbasierten Lehr-Lern-Module gegenüber traditionellen Unterrichtssituationen. Darüber hinaus werden auch die Projektziele der Implementation der Lehr-Lern-Module in das sportwissenschaftliche Grundstudium sowie die Diffusion über die beteiligten Universitäten hinaus geprüft. Ergänzt wird die Wirkungsanalyse durch kausalanalytische Betrachtungen, die den festgestellten Projektwirkungen kausale Ursachenfaktoren zuschreiben. Hierfür ist eine Begleitung aller Projektphasen, von der Planung, über die Implementation bis zur Nachförderphase, erforderlich.

Weiterentwicklung von Instrumenten der Berufsbildungsberatung im Ausland auf der Grundlage einer Nachhaltigkeitsanalyse von TRANSFORM-Projekten6/20010/0Bundesinstitut für Berufsbildung (BIBB)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Beschreibung

Das Kürzel TRANSFORM steht für die Förderung der Berufsbildung in Mittel- und Osteuropa und wurde 1993 von der deutschen Bundesregierung als Beratungsprogramm initiiert. Die insgesamt über 100 Einzelprojekte wurden vom Bundesinstitut für Berufsbildung (BiBB) fachlich betreut und wissenschaftlich begleitet. Das Anliegen dieses Projekts ist nun eine Nachhaltigkeitsanalyse (Evaluation) von TRANSFORM Projekten, die in Russland angesiedelt waren und auf eine Modernisierung der vormarktwirtschaftlichen Ausbildungen (insbesondere im kaufmännischen Bereich) zielten. Untersucht wird gemeinsam mit dem BiBB, inwieweit es gelungen ist, die dort eingeführten Innovationen langfristig, d.h. auch Jahre nach Ende der Projekt- und Förderphase, umzusetzen und ggf. weiter zu entwickeln. Die Ergebnisse der Evaluation sollen wichtige Anhaltspunkte für die Qualität der eingesetzten Beratungsinstrumente liefern und Impulse für künftige Beratungsprojekte geben.

"Entwicklung und Implementation eines Monitoring- und Evaluationssystems für das Projekt Umweltorientierte Berufsbildung der deutsch-mexikanischen Entwicklungszusammenarbeit"4/20013/2005Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Beschreibung

Ebenso wie für die beiden zuvor genannten Projekte entwickelte und etablierte das CEval für das Projekt „Umweltorientierte Berufsbildung“ der deutsch-mexikanischen Entwicklungszusammenarbeit, ein Monitoring- und Evaluationssystem zur Qualitätssicherung und übernahm zusätzlich die methodische Schulung und praktische Einführung des Systems bei der mexikanischen Partnerorganisation.

"Entwicklung eines Konzepts zur Evaluation von e-Learning Angeboten im Rahmen von VISU (Virtuelle Saar-Universität)"1/20017/2002Competence Center "Virtuelle Saar Universität" (CC VISU)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Im Auftrag von Herrn Prof. Dr. Reinhard Daugs, Leiter des Projekts VISU (Virtuelle-Saar-Universität), wurde ein umfassendes Konzept zur Evaluation internetbasierter Hochschul-Lehrangebote entwickelt. Ziel ist, allen Fachrichtungen und Lehrstühlen der Universität des Saarlandes ein geeignetes Instrumentarium zur Verfügung zu stellen, mit dem Online-Lehrangebote über alle Phasen der Planung, Entwicklung und Implementierung (Anbieterseite) sowie der Anwendung (Nutzerseite) evaluiert werden können.

Entwicklung und Implementation eines Monitoring- und Evaluationssystems für das philippinisch-deutsche Berufsbildungsprojekt "Promotion of Dual Training and Education" auf den Philippinen9/20002/2003Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Im Zeitraum von 2 Jahren wurde ein M&E-System für das Berufsbildungsprojekt der GTZ in Manila mit den beteiligten Partnern entwickelt und implementiert. Im Rahmen dieses Prozesses wurden Schulleiter, Lehrer, Unternehmer und Ausbilder, die in die duale Berufsausbildung involviert sind, mittels standardisierten Face-to-face-Interviews befragt und eine Absolventenverbleibsanalyse durchgeführt.

"Entwicklung und Implementation eines Monitoring- und Evaluationssystems für das Projekt Umweltschutz und industrielle Wettbewerbsfähigkeit der deutsch-mexikanischen Entwicklungszusammenarbeit"4/20000/0Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Ein vom Centrum für Evaluation (CEval) für das Projekt „Umweltschutz und industrielle Wettbewerbsfähigkeit“ entwickeltes und etabliertes Monitoring- und Evaluationssystem dient der kontinuierlichen Wirkungsbeobachtung über den gesamten Projektverlauf und stellt somit ein zentrales Instrument der Qualitätssicherung dar. Das Vorhaben umfasst die konzeptionelle Entwicklung von M&E-Instrumenten und –Verfahren, die methodische Schulung der zuständigen Mitarbeiter in den Partnerorganisationen sowie die beratende Begleitung bei der Erfassung, Auswertung und Nutzung von Daten über den Projektverlauf und die Projektergebnisse.

"Entwicklung und Implementation eines Monitoring- und Evaluationssystems für das Projekt Dezentralisierung der Abfallwirtschaft im Bundesstaat Mexiko der deutsch-mexikanischen Entwicklungszusammenarbeit"4/20004/2001Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Beschreibung

Ein vom Centrum für Evaluation (CEval) für das Projekt „Dezentralisierung der Abfallwirtschaft im Bundesstaat Mexiko“ entwickeltes und etabliertes Monitoring- und Evaluationssystem dient der kontinuierlichen Wirkungsbeobachtung über den gesamten Projektverlauf und stellt somit ein zentrales Instrument der Qualitätssicherung dar. Das Vorhaben umfasst die konzeptionelle Entwicklung von M&E-Instrumenten und –Verfahren, die methodische Schulung der zuständigen Mitarbeiter in den Partnerorganisationen sowie die beratende Begleitung bei der Erfassung, Auswertung und Nutzung von Daten über den Projektverlauf und die Projektergebnisse.

Evaluierung der Berufsbildungssituation der Provinz Gansu in der VR China3/20004/2000Hanns-Seidel-Stiftung (HSS)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Im Zuge der Neuordnung der Projekte der HSS in der VR China hinsichtlich einer bildungspolitischen Systemberatung wurde die Situation der beruflichen Bildung in der Provinz Gansu evaluiert.

Evaluation des Kunstprojektes ‚Wetterfernsehen – Telematische Skulptur der KZ-Gedenkstätte Neue Bremm’1/200010/2000Kultur- und Schulverwaltungsamt Saarbrücken

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Ziel des Projektes ‚Wetterfernsehen – Telematische Skulptur der KZ-Gedenkstätte Neue Bremm‘ der Designerin Sandra Anstätt und des Künstlers Rolf Giegold war eine künstlerisch konzipierte Gesprächsanbahnung über die Saarbrücker KZ-Gedenkstätte an der Grenze zu Frankreich und ihre heutige Bedeutung. Über Monitore wurde ein Livebild der KZ-Gedenkstätte Neue Bremm in Form eines Wetterbildes, wie es teilweise von TV-Programmen ausgestrahlt wird, an acht Standorten in öffentlichen Gebäuden Saarbrückens übertragen. Die telematische Skulptur sollte den sozial wie urban ‚unterbelichteten‘ Ort am Stadtrand in die Stadtmitte bringen und somit Passanten einen Zugang zum Ort selbst eröffnen. Die medial wirksame künstlerische Vermittlungsstrategie bzw. Kommunikationskonzeption sollte - über den Ort und seine Geschichte hinausgehend - zum Nachdenken über die Folgen des Faschismus anregen.

Eine Evaluation des Projektes sollte Aufschluss darüber geben, inwieweit sich die Erwartungen der Projektautoren Anstätt und Giegold erfüllt haben und das Projekt die intendierten Wirkungen erreicht hat, d.h. inwieweit der Monitor bzw. das gezeigte Bild einen kommunikativen Prozess bei den Betrachtern ausgelöst hat. Von zentralem Interesse war hierbei die Frage nach der Wahrnehmung der Monitore durch Passanten an sich aber auch die Frage nach der Reaktion, die ausgelöst wurde.
Anhand einer empirischen Studie wurde gezeigt, dass ein Großteil der Personen, die einen der Monitore passiert hatten, diesen nicht nur sahen sondern auch inhaltlich korrekt wahrnahmen, wobei die Häufigkeit, mit der eine Person einen der Monitore passierte, einen Einfluss auf die Wahrnehmung hatte. In einem weiteren Schritt wurde gezeigt, dass die Monitore die intendierte Reaktion bewirkten: Viele der befragten Personen gaben an, sich bereits über den Monitor unterhalten zu haben.

Veröffentlichung:

Caspari, Alexandra, 2001: Wahrnehmung und Reaktion. Eine Evaluation des Projektes Wetterfernsehen, in: Haberl, H.G./Bohr, K.; Wetterfernsehen. Osfildern-Ruit: Crantz, S. 74-91
Evaluation des E-Journals "Motor Control and Learning", ein Subprojekt des von der Europäischen Kommission kofinanzierten Projektes ITES ("Information Technologies in European Sport and Sport Science")1/200012/2002Sportwissenschaftliches Institut an der Universität des Saarlandes

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Das Projekt ITES hat zum Ziel, internet-basierte Informations- und Kommunikationskonzepte zu entwickeln, welche die universitären Anwendungsfelder Veranstaltungen, Veröffentlichungen und Lehre abdecken. Im Rahmen des ITES-Subprojekts ‚web-based publishing’ wurde hierbei vom Sportwissenschaftlichen Institut der Universität des Saarlandes

das E-Journal „Motor Control and Learning“ konzipiert und implementiert.

Für die Evaluation dieses E-Journals wurde vom CEval ein Evaluations- und Monitoring-Konzept entwickelt und umgesetzt. Folgende Aspekte werden hierbei schwerpunktmäßig erfasst: (1) die "Attraktivität" und (2) die "Aktualität" des E-Journals, (3) die Erreichung der Zielgruppen, (4) die Qualität der technischen Implementierung, (5) die inhaltliche Qualität des E-Journals und (6) die Qualität der Dienstleistungen und der Homepage-Verwaltung.

Die Erhebung der hierfür notwendigen Daten erfolgt zum einen mittels eines standardisierten Online-Fragebogens, der den Nutzern des E-Journals in regelmäßigen Intervallen präsentiert wird und zum anderen durch eine Analyse der standardmäßig aufgezeichneten Internet-Nutzungsprotokolle (Log Files).

Evaluation des Landesförderprogramms "Ausbildung Jetzt"1/200012/2000Ministerium für Wirtschaft, Arbeit, Energie und Verkehr des Saarlandes

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Beschreibung

Seit 1997 fördert die saarländische Landesregierung die Einrichtung zusätzlicher Ausbildungsplätze durch saarländische Betriebe und Unternehmen mit einem spezifisch ausgerichteten Förderprogramm. Die durchgeführte ex-post Evaluation des Programms sollte zum einen die Wirksamkeit der Förderung prüfen und zum anderen Empfehlungen für eine modifizierte Weiterführung des Förderprogramms abgeben.

Evaluation der Umweltberatungsprojekte des Bundesumweltministeriums4/199911/2000Umweltbundesamt (UBA)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Mitarbeiter: Dr. Wolfgang Meyer

Beschreibung

Seit 1989 unterstützen das Bundesumweltministerium und das Umweltbundesamt jährlich mit ca. 0,9 Mio. Euro Projekte zur Durchführung von Umweltberatungen bei bundesweit operierenden Verbänden (bis zum Evaluationszeitpunkt ungefähr 100 Maßnahmen mit einem Volumen von über 8 Mio. Euro). Bei der ex-post Evaluation wurden die Wirkungen von einem Drittel der Projekte (mit Beteiligung von 30 verschiedenen Organisationen) untersucht.

Online-Erhebung zur Lage der Soziologie an deutschen Hochschulen3/19999/2001Eigenprojekt mit Unterstützung durch die Deutsche Gesellschaft für Soziologie (DGS)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Mitarbeiter: Dr. Wolfgang Meyer

Beschreibung

Zum ersten Mal seit knapp dreißig Jahren wurden sämtliche Standorte des Studienfachs Soziologie in der Bundesrepublik Deutschland zur Entwicklung des Fachs befragt. Die Erhebung erfolgte über das Internet, wobei die notwendigen technischen Grundlagen im Rahmen von Lehrveranstaltungen gemeinsam mit den Studierenden erarbeitet wurden.

Wirkungsanalyse ausgewählter Berufsbildungsprojekte der chinesisch-deutschen Entwicklungszusammenarbeit in der VR China9/19982/1999Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ), Hanns-Seidel-Stiftung (HSS)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Beschreibung

In dieser Studie wurde herausgearbeitet, inwieweit die unterschiedliche Wirksamkeit von Berufsbildungsprojekten in der VR China auf unterschiedliche Förderkonzepte, Strategien, Vorgehensweisen und Handlungsbedingungen der beiden Organisationen GTZ und HSS zurückgeführt werden kann. Aus der vergleichenden Betrachtung wurden Empfehlungen für die Entwicklungspolitik im Hinblick auf die eingesetzten Förderstrategien und unterschiedlichen Arbeitsweisen der beiden Durchführungsorganisationen abgeleitet.

Ex-post Evaluation des GTZ-Projektes ‚Maschinenstationen der Jordan Cooperative Organization – Jordanien’ 8/199810/1998Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Ex-post Evaluation des KfW-Projektes ‚Ländliche Gesundheitseinrichtungen Swasiland’ 8/199810/1998Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Evaluation des Förderprogramms ‚Anreizorientierung zur Beschleunigung der Studienreform, zur Studienzeitverkürzung und zur Verbesserung der Lehre’1/19988/1999Universität des Saarlandes

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Erstellung eines Gutachtens ‚Ex-Post Evaluationen als Instrument des Qualitätsmanagements’1/19985/1998Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Erstellung eines Durchführungskonzeptes ‚Kurzkurse zur Anwendung von Statistik und Methoden der empirischen Sozialforschung im Themenfeld Arbeitsmarkt und Berufsbildung’ für die Mubarak-Kohl-Initiative (MKI), Kairo8/19970/0Mubarak-Kohl-Initiative Ägypten (MKI)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Erstellung eines Durchführungskonzeptes ‚Kurzkurse zur Anwendung von Statistik und Methoden der empirischen Sozialforschung im Themenfeld Arbeitsmarkt und Berufsbildung’8/19970/0Deutsche Stiftung für internationale Entwicklung (DSE), Zentralstelle für Gewerbliche Berufsförderung (ZGB)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Erstellung eines Durchführungskonzeptes ‚Wirkungsanalyse von Berufsbildungsprojekten in Pakistan’6/199710/1997Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Evaluation des Orientierungsberatungsprogramms der Deutschen Bundesstiftung Umwelt in den neuen Bundesländern1/199712/2000Deutsche Bundesstiftung Umwelt (DBU)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Wolfgang Meyer

Beschreibung

Als Soforthilfe für die neuen Bundesländern unterstützte die Deutsche Bundesstiftung Umwelt zwischen 1991 und 1996 mit rd. 25 Mio. Euro den Aufbau einer Umweltberatungsinfrastruktur bei den neugegründeten Handwerks-, Industrie- und Handelskammern, verschiedenen Einzelgewerkschaften und der Landwirtschaftsberatung Mecklenburg-Vorpommern sowie die Vermittlung von fast 10.000 Beratungen privater Ingenieurbüros bei Kommunen sowie kleineren und mittleren Unternehmen. Im Rahmen der ex-post Evaluation wurden knapp 1500 beratene Betriebe und Kommunen telefonisch befragt und rund 80 Leitfaden gestützte Intensivinterviews mit allen Beteiligten durchgeführt.

Wissenschaftliche Begleitung der BMZ Wirkungsuntersuchung abgeschlossener Vorhaben der deutschen EZ1/199712/2000Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Vor dem Hintergrund steigenden Interesses an der langfristigen Wirksamkeit der deutschen Entwicklungszusammenarbeit (EZ) sowie einem Beschluss des Deutschen Bundestages startete das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) 1997 eine groß angelegte Studie „Wirkungsuntersuchung abgeschlossener Vorhaben der deutschen EZ“. Ziel der Studie war es, erstmals durch eine breit angelegte Untersuchung empirisch abgesicherte Aussagen zu langfristigen Wirkungen der deutschen EZ zu gewinnen. Zu diesem Zweck wurden 1999 Einzelevaluationen von 32 Projekten in den jeweiligen Empfängerländern durchgeführt.

Erstellung eines Durchführungskonzeptes ‚Evaluation der Orientierungsberatungsprogramme des ZDH, DIHT, Difu, des gewerkschaftlichen und des landwirtschaftlichen Beratungsprogramms’1/19970/0Deutsche Stiftung für internationale Entwicklung (DSE)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

[Nach oben]

 


 

Dr. Stefan Silvestrini

Wome

Geschäftsführer CEval GmbH
Bereichskoordinator Entwicklungszusammenarbeit

E-Mail: s.silvestrini(at)ceval.de
Telefon: +49 (0)6 81 - 3 02 - 36 79
Sprechzeiten: nach Vereinbarung
Anschrift:
CEval GmbH
Im Stadtwald, Geb. C 5.3
66123 Saarbrücken
Funktionsbereiche: Grundlagen- und Auftragsforschung
Methodentrainings
Organisation
Schwerpunkte: Arbeits- und Industriesoziologie
Regionalentwicklung
Innovationsforschung
Personal- und Organisationsentwicklung
Entwicklungszusammenarbeit
Qualitative und quantitative Methoden
Formative Evaluationen

Wissenschaftlicher Werdegang

Seit 05.2011 Geschäftsführer der CEval GmbH
07.2004 - 04.2011 Wissenschaftlicher Mitarbeiter und Bereichskoordinator „Bildung und Entwicklungszusammenarbeit“ am Centrum für Evaluation (CEVal)
01.2000 - 06.2004 Wissenschaftlicher Mitarbeiter am Institut für Sozialforschung und Sozialwirtschaft e.V. (ISO-Institut), Saarbrücken
05.1999 - 12.2000 Wissenschaftliche Hilfskraft am Institut für Sozialforschung und Sozialwirtschaft e.V. (ISO-Institut), Saarbrücken

Ausbildung

06.2011 Promotion bei Prof. Dr. Reinhard Stockmann am Lehrstuhl für Soziologie an der Universität des Saarlandes (Gesamtnote: summa cum laude)
Dissertationsthema: Ex-ante Evaluation von Programmen der Entwicklungszusammenarbeit — Entwicklung eines theoretisch fundierten Evaluationsansatzes zur Anwendung im Rahmen der Planung von entwicklungspolitischen Interventionen (Note: opus eximium)
11.1999 Abschluss als Diplom-Soziologe (Gesamtnote: gut)
Thema der Diplomarbeit: "Veränderungen der Arbeits- und Beschäftigungsformen in den Jahren 1990 bis 1999 — Eine Literaturanalyse" (Note: sehr gut)
1993 - 1999 Diplomstudium an der Universität des Saarlandes
Hauptfach: Soziologie; Nebenfächer: Sozialpsychologie, Entwicklungspsychologie, Informationswissenschaft
1992 Abitur am Otto-Hahn-Gymnasium, Saarbrücken

Bücher

JahrTitelAutor
2015Nachhaltige Evaluation? Auftragsforschung zwischen Praxis und WissenschaftHennefeld, Vera; Meyer, Wolfgang; Silvestrini, Stefan
2013Metaevaluierung Berufsbildung. Ziele, Wirkungen und Erfolgsfaktoren der deutschen Berufsbildungszusammenarbeit. Münster u.a.: Waxmann.Stockmann, Reinhard; Silvestrini, Stefan
2011Ex-ante-Evaluation. Ein Planungsansatz für die Entwicklungszusammenarbeit. Münster u.a.:Waxmann. Silvestrini, Stefan

Aufsätze

JahrTitelAutor
2015Impact Evaluation Guidebook for Climate Change Adaption Projects. Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ), Global Project Effective Adaption Finance (M&E Adapt), Bonn und EschbornSilvestrini, Stefan; Bellino, Ines; Väth, Susanne Johanna
2013Erwartungen, Hoffnungen und Ergebnisse zur Nachhaltigkeit der deutschen staatlichen Berufsbildungsförderung. In: Zeitschrift für Berufs- und Wirtschaftspädagogik Heft 2, 2013, Band 109, S. 170-190Stockmann, Reinhard; Silvestrini, Stefan
2011Organizational aspects of evaluations. In: Stockmann, Reinhard (ed.): A Practitioner Handbook on Evaluation. Cheltenham: Edward Elgar.Silvestrini, Stefan
2011Wer beweist Qualität? Stellungnahme zum VENRO Positionspapier zur Wirkungsbeobachtung. In: Zeitschrift für Evaluation, 10. Jg., Nr. 1: S. 135-140.Meyer, Wolfgang; Rech, Jörg; Silvestrini, Stefan; Stockmann, Reinhard; Wolf, Sonja; Gaus, HansJörg
2009Developing an Evaluation Community in Romania - Requirements, Reflections and Recommendations. Nr. 17 aus der Reihe der Arbeitspapiere des CEval. Saarbrücken: Centrum für Evaluation. Silvestrini, Stefan
2009Ex-ante Evaluation von Programmen der Entwicklungszusammenarbeit – Entwicklung eines integrativen Ansatzes zur Programmevaluation unter Zuhilfenahme von Instrumenten der Technikfolgen-Abschätzung. In: Bora, Alfons et.al. (Hg.): Technology Assessment in der Weltgesellschaft II. Berlin, Edition Sigma.Silvestrini, Stefan
2008CEval-Ansatz zur Wirkungsevaluation (Stockmann’scher Ansatz). Nr. 11 aus der Reihe der Arbeitspapiere des CEval. Saarbrücken: Centrum für Evaluation.Silvestrini, Stefan; Reade, Nicolà
2007Organisatorischer Ablauf von Evaluationen. In: Stockmann, Reinhard (Hg.): Handbuch zur Evaluation. Eine praktische Handlungsanleitung. Münster: Waxmann Verlag.Silvestrini, Stefan
2007Technikfolgenabschätzung in der Entwicklungszusammenarbeit. In: Bora, A. et.al. (Hg.): Technology Assessment in der Weltgesellschaft. Berlin: Edition Sigma.Silvestrini, Stefan
2005Evaluation im Saarland - Eine politische Modellregion sucht (und findet) den fachlichen Austausch. In: ZfEv (1/2005), S. 131-136.Silvestrini, Stefan

Manuskripte und Gutachten

JahrTitelAutor
2012Final Evaluation of SCAMPIS – Scaling up Micro Irrigation Systems in India, Madagascar and Guatemala, im Auftrag von IFAD, Rom. Funk, Evelyn; Silvestrini, Stefan
20122nd Progress Report: Hands-on Methods to measure development effectiveness and enhance knowledge sharing im Auftrag von IFAD, Rom.Gödert, Jessica; Silvestrini, Stefan
2012ECMI Georgia Activities Evaluation. Im Auftrag des European Center for Minority Issues (ECMI), Kiel. Klier, Sarah; Silvestrini, Stefan
2012Joint Evaluation of Norwegian Support Through the Multilaterals to Basic Education, Inception Report. Im Auftrag von Norad, Oslo. Pfaffe, Joachim; Silvestrini, Stefan
2012Ex-ante Evaluation of the GIZ Program „Skills Development for Green Jobs“. Im Auftrag der GIZ, Eschborn.Silvestrini, Stefan; Wolf, Sonja
2012Ex-post evaluation 2011 - Main Report. Promotion of Reproductive Health, Mongolia. Im Auftrag der GIZ, Eschborn. Silvestrini, Stefan
2012Synthese und Meta-Evaluierung Berufliche Bildung. Im Auftrag der GIZ, Eschborn.Stockmann, Reinhard; Silvestrini, Stefan
2011Final Evaluation of the Project ‚Child Legal Support and Protection Network Initiative‘ im Auftrag von Plan Deutschland e.V., Hamburg.Keller, Daniela; Silvestrini, Stefan
20111st Progress Report. Project ‘Hands-on methods to measure Development effectiveness and enhancing knowledge-sharing’ im Auftrag des International Fund for Agricultural Development (IFAD), Rom.Keller, Daniela; Silvestrini, Stefan
2011Methodological Report. Mid-term Evaluation of the Project ‚ENGENDERED! Minimizing the Gender Gap‘ im Auftrag von Plan Deutschland e.V., Hamburg.Keller, Daniela; Silvestrini, Stefan
2010Erarbeitung einer Evaluierungsstudie zur Effektivität und Effizienz der Richtlinie des Ministeriums für Wirtschaft und Europa Angelegenheiten (MWE) zur Förderung des wirtschaftsbezogenen Technologietransfers vom 23.8.2007, PricewaterhouseCoopers, Berlin/Brandenburg.Glenz, Heike; Silvestrini, Stefan
2010Joint Expost Evaluation 2010 – Dual Vocational Training, Philippines. Centrum für Evaluation, Saarbrücken.Silvestrini, Stefan; Garcia, Melody
2010Evaluation of Higher Education Programmes in Nicaragua and South-East Europe 2005 – 2009. Centrum für Evaluation, Saarbrücken.Silvestrini, Stefan; van den Boom, Dirk; Jacoby, Klaus-Peter
2009Synthesebericht „Begleitende Untersuchung der Einführung gemeinsamer Programmvorschläge und gemeinsamer Berichterstattung in der deutschen EZ“, im Auftrag der GTZ, Eschborn. Silvestrini, Stefan
2008Evaluation der Wiederaufbau- und Umsiedlungsprojekte der CARITAS Schweiz in Meulaboh und Singkil. Saarbrücken.Stockmann, R; Silvestrini, Stefan
2008Evaluation of the Reconstruction Project in Meulaboh implemented by Caritas Switzerland. Saarbrücken: Centrum für Evaluation.Silvestrini, Stefan
2008Externe Evaluation des 'Programms zur Förderung der Internationalisierung an den deutschen Hochschulen' (PROFIS). Saarbrücken: Centrum für Evaluation.Rech, Jörg; Silvestrini, Stefan
2008Ongoing Evaluation of the Project: “Kopal II”. Saarbrücken: Centrum für Evaluation.Silvestrini, Stefan
2008External Evaluation of the “Community Development in Maharashtra”-Project. Saarbrücken: Centrum für Evaluation.Silvestrini, Stefan
2007Evaluation der Sur-Place-Stipendienprogramme der Konrad-Adenauer-Stiftung e.V. (im Auftrag der Konrad-Adenauer-Stiftung e.V.). Saarbrücken: Centrum für Evaluation.Schneider, Vera; Silvestrini, Stefan
2006Interner Evaluationsbericht (zur Evaluation des CEval). Saarbrücken, Centrum für Evaluation.Stockmann, R.; Silvestrini, Stefan
2006Evaluation ASEAN Industrielle Biotechnologie und Umweltmanagement. Synoptischer Gesamtbericht (im Auftrag der InWEnt gGmbH). Saarbrücken: Centrum für Evaluation.Silvestrini, Stefan; Sevegnani, Christiane
2006Evaluation ASEAN Industrielle Biotechnologie und Umweltmanagement. Programmbericht: Environmental Management Accounting. (im Auftrag der InWEnt gGmbH). Saarbrücken: Centrum für Evaluation.Silvestrini, Stefan; Sevegnani, Christiane
2006Evaluation ASEAN Industrielle Biotechnologie und Umweltmanagement. Programmbericht: Pilotprojekt Interaktives Selbstlernprogramm „Lebenszyklusorientiertes Anlagenmanagement“ (im Auftrag der InWEnt gGmbH). Saarbrücken: Centrum für Evaluation.Sevegnani, Christiane; Silvestrini, Stefan
2006Evaluation ASEAN Industrielle Biotechnologie und Umweltmanagement. Programmbericht: Environmental Performance Assessment for Industry – Green Productivity Project II (im Auftrag der InWEnt gGmbH). Saarbrücken: Centrum für Evaluation.Silvestrini, Stefan; Sevegnani, Christiane
2006Evaluation ASEAN Industrielle Biotechnologie und Umweltmanagement. Programmbericht: Transfer and Networking Industrielle Biotechnologie (im Auftrag der InWEnt gGmbH). Saarbrücken: Centrum für Evaluation.Sevegnani, Christiane; Silvestrini, Stefan
2006Evaluation ASEAN Industrielle Biotechnologie und Umweltmanagement. Programmbericht: Biodüngerproduktion aus agroindustriellen Abfällen für weibliche Führungskräfte aus ländlichen NRO (im Auftrag der InWEnt gGmbH). Saarbrücken: Centrum für Evaluation.Sevegnani, Christiane; Silvestrini, Stefan
2005Evaluation of the ASEAN Industrial Biotechnology and Environmental Management – Interim Report (on behalf of InWEnt). Saarbrücken, Centrum für Evaluation.Silvestrini, Stefan; Sevegnani, Christiane
2005Endbericht der Studie zur Gewinnung US-amerikanischer Studierender für deutsche Hochschulen (im Auftrag des Deutschen Akademischen Austauschdienstes, DAAD). Saarbrücken, Centrum für EvaluationKrapp, Stefanie; Maats, Peter; Silvestrini, Stefan
2005Ergebnisse der Fragebogenauswertung im Rahmen des INTERREG III- Projekts: Vergleich der Gesundheitssysteme im Saarland und der Region Moselle (im Auftrag der Landesarbeitsgemeinschaft für Gesundheitsförderung im Saarland e.V., LAGS). Saarbrücken, Centrum für Evaluation.Silvestrini, Stefan
2004Wirtschaftsstruktur und demographischer Wandel. Beitrag zum Jahresbericht 2004 der Arbeitskammer des Saarlandes. Saarbrücken, ISO-InstitutSilvestrini, Stefan
2003Sozialpartnerschaft unter Veränderungsdruck. Überlegungen zu den Anforderungen an eine moderne Gestaltung der betrieblichen Sozialbeziehungen. Saarbrücken, ISO-Institut.Fidorra, Joachim; Reindl, Josef; Hielscher, Volker; Silvestrini, Stefan
2002Abschlussbericht aus dem Projekt "SOZIUS - Neue Formen industrieller Sozialpartnerschaft" für das BMBF. Saarbrücken, ISO-Institut.Fidorra, Joachim; Silvestrini, Stefan
2000LocLevConc – New forms of employment and work – local level concertation: Findings from the survey in Saarland and Southern Upper Rhine. Saarbrücken, ISO-Institut.Grewer, Hans-Günter; Silvestrini, Stefan

Von Prof. Stockmann betreute Qualifizierungsarbeiten

JahrTitelAutor
2011Ex-ante Evaluation von Programmen der Entwicklungszusammenarbeit - Entwicklung eines integrativen Ansatzes zur Programmevaluation unter Zuhilfenahme von Instrumenten der Technikfolgen-Abschätzung.Silvestrini, Stefan
[Nach oben]

Laufende Projekte

ProjektnameBeginnEndeAuftraggeber
Integration des Programms „Servicestelle Kommunen in der Einen Welt“ (SKEW) in das M&E-System von Engagement Global9/201812/2018Engagement Global Service für Entwicklungsinitiativen gGmbH

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Cornelia Römling

Beschreibung

Anfang 2012 wurde mit Engagement Global gGmbH auf Bundesebene eine zentrale Einrichtung zur Förderung und Koordination des entwicklungspolitischen Engagements zivilgesellschaftlicher, kommunaler und privatwirtschaftlicher Akteure sowie zur entwicklungspolitischen Informations- und Bildungsarbeit geschaffen. Die SKEW – ein Programm von Engagement Global – fokussiert sich insbesondere auf die Förderung von kommunaler Entwicklungszusammenarbeit. Um sowohl die zweckgemäße Verwendung dieser Mittel, als auch vor allem die Wirksamkeit ihres Einsatzes belegen zu können, hat Engagement Global für alle Fachbereiche und Programme die Grundlagen zur technischen Implementierung eines umfassenden Monitoring- und Evaluations- (M&E) System geschaffen.

Da die SKEW in der damaligen Entwicklung des Monitoringsystems ausgenommen wurde, wurden das CEval und ISPO nun damit beauftragt die Einbindung der SKEW in das organisationsweite Monitoringsystem vorzunehmen. Wie bei der Konzeption des hausweiten M&E-Systems werden zuerst die Wirkungsmodelle und Indikatoren überprüft oder entwickelt. Die Zielsetzungen und Indikatoren werden daraufhin in die strategischen Richtungsaussagen von Engagement Global integriert. Um die Erstellung eines Monitoringsystems für die SKEW zu vervollständigen, wird zudem im nächsten Schritt ein Datenerhebungsplan erstellt und die zugehörigen Datenerhebungsinstrumente werden (weiter-) entwickelt.
Meta-Evaluation von ADA Projekt- und Programmevaluationen 2016-20188/201812/2018Austrian Development Agency (ADA)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: M.A. Sandra Bäthge, Teresa Böttcher

Beschreibung

Gegenstand der Meta-Evaluation sind ADA-Evaluationen von Programmen und Projekten der Entwicklungszusammenarbeit, welche zwischen 2016 und 2018 durchgeführt wurden. Ziel ist es, die Qualität und Nützlichkeit der (internen und externen) Evaluationen zu bewerten und daraus Empfehlungen zur Verbesserung des ADA-Instrumentariums für das Design und die Durchführung zukünftiger Evaluationen abzuleiten.

Im Zentrum der Meta-Evaluation steht dabei eine Dokumentenanalyse, mittels derer auf Grundlage eines detaillierten Analyseprotokolls die Qualität der Evaluationsberichte bewertet wird. Durch den Einsatz eines solchen Protokolls, das alle relevanten Analysedimensionen, Indikatoren und Skalendefinitionen beinhaltet, wird sichergestellt, dass die Bewertungsergebnisse verlässlich und nachvollziehbar sind. Zur Bewertung der Nützlichkeit und Nutzung der Evaluationen, werden deren Nutzer/innen (z.B. Programmverantwortliche) im Rahmen von leitfadengestützten Einzel- und Gruppeninterviews sowie – zur Gewährleistung einer größtmöglichen Repräsentativität der Untersuchungsergebnisse – einer teilstandardisierten Online-Erhebung befragt.
Begleitende Evaluation des Studienbegleitprogramms des Masterstudiengangs AMASE8/201811/2018European School of Materials (EUSMAT)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Mitarbeiter: M.A. Sandra Bäthge, Dr. Cornelia Römling

Beschreibung

Die European School of Materials (EUSMAT) der Universität des Saarlandes bietet im Konsortium mit drei weiteren europäischen Universitäten (Luleå Technical University, Schweden, Barcelona Tech, Spanien und Université de Lorraine, Frankreich) den internationalen Masterstudiengang AMASE (Advanced Materials Science and Engineering) an. Die Studierenden haben die Möglichkeit, zu Beginn des Studiums an einer Einführungswoche in Saarbrücken teilzunehmen, die darauf abzielt, eine grundlegende Orientierung bezüglich des Studienverlaufs zu vermitteln sowie mithilfe von Trainings diverse Schlüsselkompetenzen zu stärken. Nach dem ersten Jahr des zweijährigen Masterstudiums wird den Studierenden zudem die Teilnahme an einer Sommerschule in Saarbrücken angeboten, deren Ziel es ist, die Studierenden mit Blick auf Ihren Berufseinstieg zu unterstützen. Beide Veranstaltungen sollen als Bestandteil des Studienbegleitprogramms evaluiert werden. Im Rahmen einer begleitenden Evaluation steht die Ermittlung des Nutzens der beiden Angebote für die Zielgruppe im Mittelpunkt.

In methodischer Hinsicht werden hierfür zwei standardisierte Befragungen sowie Fokusgruppendiskussionen mit den Teilnehmenden der beiden Veranstaltungen durchgeführt.
Auswertung der Gefahrenabwehr und Schäden nach den Starkregenereignissen im Saarland von Mai/Juni 20188/201810/2018Ministerium für Umwelt und Verbraucherschutz des Saarlandes

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Susanne Johanna Väth

Mitarbeiter: Dr. Hansjörg Gaus, Fabian Otto

Beschreibung

In den Monaten Mai und Juni 2018 wurde das Saarland durch schwere Unwetter getroffen, wobei in einer Reihe von Kommunen hohe Schäden durch Starkregen verursacht wurden. Das Ministerium für Umwelt und Verbraucherschutz des Saarlandes (MUV) möchte im Nachgang dieser Ereignisse die Maßnahmen zur Gefahrenabwehr und der Abwehr von Schäden überprüfen. Dazu soll eine Stärken- und Schwächenanalyse von Gefahrenabwehr und Katastrophenmanagement bezüglich Vorsorge, Einsatz und Nachsorge durchgeführt werden, anhand derer Verbesserungspotenziale erkannt und Handlungsempfehlungen abgeleitet werden können. Darüber hinaus soll eine Auswertung der entstandenen Schäden vorgenommen werden.

Zur Analyse der Stärken und Schwächen von Gefahrenabwehr und Katastrophenmanagement werden ca. 90 leitfadengestützte Interviews mit Vertretern des Ministeriums für Inneres, Bau und Sport, Wehrführern, Hilfsorganisationen vor Ort sowie Bürgermeistern und Ortsvorstehern der am stärksten betroffenen Kommunen geführt. Die inhaltsanalytische Auswertung dieser Interviews bildet die Grundlage zur Identifikation von Verbesserungspotenzialen und zum Ableiten konkreter Handlungsempfehlungen. Die Schäden im Bereich von kommunaler Infrastruktur, Landwirtschaft und Privathaushalten werden anhand der vom Auftraggeber bereitgestellten Daten quantitativ ausgewertet.
Wissenschaftliche Begleitung einer Wirkungsanalyse des Projektes „egal war gestern – Richtung Nachhaltigkeit an beruflichen Schulen“6/20188/2019Landesbund für Vogelschutz in Bayern (LBV) e.V.

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Mitarbeiter: M.A. Sandra Bäthge

Beschreibung

Der Landesbund für Vogelschutz in Bayern e.V. (LBV) führt im Schuljahr 2018/19 zum zweiten Mal das Projekt „egal war gestern – Richtung Nachhaltigkeit an beruflichen Schulen“ durch. Es zielt darauf ab, zu einer Mobilisierung der Jugend für Nachhaltigkeitsfragen beizutragen. Genauer richtet sich das Projekt dezidiert an Schülerinnen und Schüler bayerischer beruflicher Schulen. Mit dem Projekt soll ihre Aufmerksamkeit in dieser wichtigen Lebensphase der beruflichen Orientierung auf Nachhaltigkeitsthemen gelenkt und ihr Bewusstsein für entsprechende Themen gestärkt werden. Hierzu setzen die Schülerinnen und Schüler eigenverantwortlich Projektideen für einen nachhaltigeren Schulalltag an ihren Schulen um. Das Projekt wird einer Wirkungsanalyse unterzogen, welche im Rahmen einer begleitenden Evaluation gemeinsam von LBV und CEval GmbH durchgeführt wird. Ziel ist es zu ermitteln, ob die durch das Projekt angestrebten Wirkungen tatsächlich eintreten, ob sich also die Nachhaltigkeitseinstellungen und das -verhalten der teilnehmenden Schülerinnen und Schüler verändern und ob es gelingt, das Thema Nachhaltigkeit noch besser an bayrischen beruflichen Schulen zu verankern. In methodischer Hinsicht wird eine standardisierte Vorher-Nachher-Befragung der am Projekt teilnehmenden Schülerinnen und Schüler (Interventionsgruppe) sowie einer Vergleichsgruppe durchgeführt. Zusätzlich werden vor und nach dem Projekt leitfadengestützte Interviews mit dem die Projekte betreuenden Lehrpersonal geführt.
Evaluation von CAPAQUA –Development of Educational and Research CAPacity in Eastern Africa for the Sustainable Management of AQUAatic Ecosystems4/20187/2018Universität für Bodenkultur Wien (BOKU)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Cornelia Römling

Beschreibung

CAPAQUA (Development of Educational and Research CAPacity in Eastern Africa for the Sustainable Management of AQUAatic Ecosystems) zielt darauf ab, die Kapazitäten ostafrikanischer Institutionen im Bereich Hochschulbildung, Wissenschaft und Technologie (Higher Education, Science and Technology (HEST)) zu stärken. CAPAQUA wird gemeinsam von der Universität für Bodenkultur (BOKU), Wien, dem IHE Delft Institute for Water Education, der Egerton University (EGU), der Addis Abeba University (AAU), der Bahir Dar University und dem Ethiopian Institute for Agricultural Research, National Fish and Other Aquatic Lives Research Center (EIAR-NFALRC) durchgeführt. Übergeordnetes Ziel von CAPAQUA ist es, eine nachhaltige Bewirtschaftung der aquatischen Ökosysteme und ihrer Ressourcen zu fördern, die Lebensgrundlagen in Ostafrika zu verbessern und zur Erreichung der Sustainable Development Goals beizutragen.

Hauptziel der Evaluierung ist es, Stärken und Schwächen des Projekts zu identifizieren und den Projektpartnern Empfehlungen im Hinblick auf eine höhere Relevanz, Effektivität, Effizienz und Nachhaltigkeit zukünftiger CAPAQUA-Projekte zu geben. Die Evaluierung bewertet auch, inwieweit das Querschnittsthema Gender Mainstreaming berücksichtigt wurde und versucht, die wichtigsten Einflussfaktoren für das Erreichen bzw. Nichterreichen der erwarteten Projektergebnisse und -ziele zu identifizieren. Die Evaluierung ist auf den Projektzeitraum von Oktober 2015 bis September 2018 ausgerichtet.

Durch Tiefeninterviews mit Projektmitarbeiter*innen und verschiedenen Stakeholdern, Fokusgruppendiskussionen mit Programmteilnehmer*innen und Alumni sowie Programm- und Projektdokumentationen werden umfangreiche qualitative und quantitative Daten erhoben. Geografischer Schwerpunkt der Evaluierung liegt in Ostafrika mit Fokus auf Uganda, Kenia und Äthiopien, in denen während eines Feldbesuchs die empirischen Daten erhoben werden. Außerdem werden auch die involvierten Institutionen und weitere Stakeholder in Österreich in die Datenerhebung eingebunden.
Evaluation von APPEAR Projekten (Programmphasen I und II)3/20188/2018Österreichischer Austauschdienst (OeAD)-GmbH

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Cornelia Römling, M.A. Tatjana Mauthofer

Beschreibung

Das Austrian Partnership Programme in Higher Education and Research for Development (APPEAR) wird von der Austrian Development Agency (ADA) konzipiert, geleitet und finanziert, um die Strategie „Higher Education and Scientific Cooperation" zur Unterstützung von Hochschulen und Forschung für Entwicklung auf akademischer Ebene umzusetzen. Mit Unterstützung des World University Service (WUS) Österreich werden die geförderten Projekte von der Österreichischen Agentur für internationale Mobilität und Zusammenarbeit in Bildung, Wissenschaft und Forschung (OeAD GmbH) durchgeführt. Das übergeordnete Ziel von APPEAR ist die Stärkung der institutionellen Kapazitäten in den Bereichen Hochschulbildung, Forschung und Management durch akademische Partnerschaften mit österreichischen Hochschulen und durch Stipendien. Ziel der Partnerschaften ist es, die allgemeinen Standards in den Bereichen Hochschulbildung, Forschung und Management durch Wissenstransfer und innovative Projekte zu verbessern. Die Erreichung dieser Ziele soll schließlich zu einer wirksamen und nachhaltigen Armutsbekämpfung in den Partnerländern beitragen.

Übergeordnetes Ziel der Evaluation ist es, die laufenden und abgeschlossenen Projekte der APPEAR-Phasen I und II zu bewerten. Dabei wird Einblick gegeben, inwiefern die APPEAR-Richtlinien und Grundprinzipien bei der Projektumsetzung eingehalten wurden und in welchem Umfang, die Projekte ihre Ziele und Ergebnisse erreichen konnten. Darüber hinaus werden die Projekte nach den OECD/DAC-Kriterien Relevanz, Effektivität, Effizienz, Wirkung und Nachhaltigkeit bewertet. Die Evaluierung zielt darauf ab, die Stärken, Schwächen und Herausforderungen der APPEAR-Projekte zu identifizieren und Schlussfolgerungen, Lehren und Empfehlungen für die verbleibenden oder zukünftigen Projekte zu präsentieren.

Bei der Bewertung kommen verschiedene Methoden zum Einsatz (z. B. qualitative Dokumentenanalyse, Kontributions- und qualitative Attributionsanalyse). Primärdaten werden bei Projektbesuchen in Äthiopien und Uganda, Interviews und Gruppendiskussionen mit Projektpartnern in Österreich sowie in online Interviews mit Projektmitarbeiter*innen in Nicaragua erhoben. Die Datenerhebungsinstrumente umfassen auch teilstandardisierte Befragungen, Programm- und Projektdokumentationen sowie frühere Programme.
Meta-Evaluation von 34 Evaluationsberichten von World Vision Deutschland 12/20173/2018World Vision Deutschland e.V. (WVD)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: M.A. Tatjana Mauthofer

Mitarbeiter: M.A. Tatjana Mauthofer, Dr. Susanne Johanna Väth

Beschreibung

Schon zum dritten Mal beauftrage World Vision Deutschland (WVD) das CEval dazu, eine Meta-Evaluation zu Evaluationsberichten von WVDs unterstützen Entwicklungsprogrammen durchzuführen. Insgesamt werden 34 Evaluationsberichte aus den Finanzjahren 2016 und 2017 analysiert. Als Bewertungsgrundlage dient dabei ein in den vorangegangenen Meta-Evaluationen von CEval und WVD gemeinsam ausgearbeitetes Bewertungsraster, das sich zum Teil auf das international anerkannte BOND-Tool stützt. Das Raster beinhaltet die Kriterien Mitsprache und Inklusion, Transparenz, Methodik, Triangulation, Befriedigung des Informationsbedarfs, Identifizierung des Programmbeitrags, Ergebnisdarstellung sowie das neu ergänzte Kriterium der Nachhaltigkeit. Die Bewertungskriterien werden anhand von verschiedenen Unterkriterien systematisch bewertet und schließlich in einem zweiten Schritt aggregiert und verbildlicht. Abschließend werden Ergebnisse mit vorangegangenen Ergebnissen verglichen und erläutert.
Entwicklung und Implementation eines M&E-Systems für das Projekt "EinTanzHaus"12/20178/2020Kulturamt der Stadt Mannheim

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Mit dem EinTanzHaus soll in Mannheim ein Zentrum für zeitgenössischen Tanz in einem Kulturdenkmal von besonderer Bedeutung geschaffen werden.Der Gründer des La_Trottier Dance Collectives Eric Trottier und die Gestalterin und Künstlerin Daria Holme haben gemeinsam durch den beispielhaften Umbau des denkmalgeschützten Sakralbaus die Voraussetzungen geschaffen, in Süddeutschland ein Tanzzentrum zu entwickeln, das durch seine Infrastruktur, seine Bühnengröße, seinen zentralen Standort in der Innenstadt und die künstlerische Erfahrung der Akteure für den Tanz in Deutschland neue Perspektiven eröffnen kann.

Aufgabe der CEval GmbH ist es, ein M&E-Konzept zu entwickeln und umzusetzen, das der Projektsteuerung sowie der regelmäßigen Überprüfung der Zielerreichung und der Wirkungserfassung dient. Hierzu werden in einem ersten Schritt gemeinsam mit den Beteiligten eine Zielhierarchie und wertbestückte Indikatoren für das EinTanzHaus sowie ein Datenerhebungsplan entwickelt. Die CEval GmbH ist in alle Schritte der Datenerhebung, -auswertung und -interpretation eingebunden und unterstützt so die Beteiligten in der strategischen Steuerung des Projektes.
Meta-Evaluation und Synthese von Evaluationsberichten der Christoffel Blindenmission12/20172/2018Christoffel-Blindenmission (CBM)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: M.Sc. Elisabeth Schneider

Mitarbeiter: M.A. Tatjana Mauthofer, Dr. Susanne Johanna Väth

Beschreibung

Im Auftrag der Christoffel Blindenmission (CBM) führte CEval eine Meta-Evaluation von 24 Evaluationsberichten der Jahre 2016 und 2017 durch. Mit dem Mandat „in den ärmsten Regionen der Welt für eine Verbesserung der Lebensqualität von Menschen mit Behinderungen zu kämpfen“, liegt der Projektfokus der CBM auf einer eingehenden Kooperation mit sowie auf der Förderung von lokalen Akteuren in Entwicklungsländern und Krisenregionen.

Primäres Ziel der Meta-Evaluation war die Zusammenfassung der unabhängigen Projektevaluationen sowie der Identifikation daraus resultierender Erkenntnisse hinsichtlich der einzelnen CBM-Mandatsbereiche. Dies soll zum einen die eigentliche Wirkung der Projektinitiativen bei CBM-Partnern und deren Klienten untersuchen und zum anderen die Evaluationsberichte auf Nutzung und Nutzwert für CBM-Mitarbeiter in sieben Weltregionen analysieren.

Im Zentrum der Evaluation steht eine eingehende Dokumentenanalyse der eingereichten Evaluationsberichte. Um die Homogenität der Daten zu gewährleisten wurde zunächst die Qualität aller Evaluationsberichte systematisch bewertet. Berichte, die gegebene Mindestqualitätsstandards erfüllen, wurden anhand eines Analyserasters, beruhend auf den Evaluationsfragen, evaluiert. Zusätzliches Instrument zur qualitativen und quantitativen Datenerhebung war eine Onlinebefragung der weltweiten Regionalbüros bezüglich der Nutzung und des Nutzwertes der Evaluationsberichte für deren Endnutzer.
Monitoring & Evaluation of slum rehabilitation project in Brazil11/201711/2020Knorr-Bremse Global Care e.V.

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: M.A. Tatjana Mauthofer

Mitarbeiter: M.A. Tatjana Mauthofer, Dr. Cornelia Römling

Beschreibung

Knorr-Bremse Global Care e.V. (KBGC) unterstützt zusammen mit einem lokalen Partner ein Trainings- und Rehabilitationsprojekt in Grajaú, einem Slum Gebiet in Sao Paolo. Das Projekt strebt eine Verbesserung von Lebensbedingungen der Slumbevölkerung an, in dem, zum einen, Trainingsmaßnahmen im Bereich des Zivilen Bauens für junge Erwachsene angeboten werden und, zum anderen, die ausgebildeten Jugendlichen zusammen mit der Slumbevölkerung und dem lokalen Partner nachhaltige und adäquate Wohnhäuser errichten.

CEval unterstützt KBGC beim Aufbau eines Monitorings- & Evaluationssystems, das Fortschritte gegenüber der Projektziele und Wirkungen des Projekts über eine Laufzeit von drei Jahren misst. Um kurz-, mittel- und langfristige Wirkungen zu erfassen, wird dabei eine Zeitreihenanalyse eingesetzt, die sich auf mehrere Datensammlungen durch Fragebögen stützt. Alle sechs Monaten werden die Teilnehmer des Trainingprogramms befragt, deren Daten analysiert und aufbereitet, und in Kurzberichten Erkenntnisse des Programfortschritts an KBGC und deren Partner kommuniziert.
Datenerhebung zur Vergabe des Qualitätssiegels "Fanprojekt nach dem Nationalen Konzept Sport und Sicherheit"10/201712/2019Koordinationsstelle Fanprojekte bei der Deutschen Sportjugend (KOS)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Mitarbeiter: M.A. Sandra Bäthge

Beschreibung

In Deutschland existiert ein dichtes Netzwerk von Einrichtungen der sozialen Arbeit mit jugendlichen Fußballfans, die nach den Rahmenbedingungen und Vorgaben des Nationalen Konzepts Sport und Sicherheit (NKSS) arbeiten. Das "Qualitätssiegel nach dem Nationalen Konzept Sport und Sicherheit" wurde im Jahr 2010 mit dem Ziel eingeführt, diesen sozialpädagogisch arbeitenden Fußballfanprojekten in Deutschland ein Instrument der Qualitätssicherung an die Hand zu geben, um gemeinsame Standards und mehr Handlungssicherheit herbeizuführen und die strukturellen Rahmenbedingungen der sozialpädagogisch arbeitenden Fußballfanprojekte verbessern. Das Qualitätssiegel wird vergeben von der AG Qualitätssicherung, welche durch die Koordinationsstelle Fanprojekte bei der Deutschen Sportjugend (KOS) organisiert wird. In der AG Qualitätssicherung sind Akteure aus dem Fußball, den obersten Landes- und Familienbehörden, der Wissenschaft und der Fanprojekte selbst vertreten.

Im abgeschlossenen ersten Teilprojekt (5/2015-06/2016) wurde (a) das Qualitätssiegel von der CEval GmbH überarbeitet, (b) modellhaft mit fünf Fanprojekten getestet und so (c) ein standardisiertes, praxistauglisches Konzept zur Erhebung der erforderlichen Informationen entwickelt. Das Qualitätssiegel ist damit heute ein valides Zeichen für die hohe Qualität der Arbeit von Fanprojekten. Weitere Informationen finden sich hier.

Im laufenden zweiten Teilprojekt unterstützt die CEval GmbH die bundesweite Ausrollung des überarbeiteten Qualitätssiegels durch die Erhebung der für die Vergabe notwendigen Informationen in allen Fanprojekten Deutschlands.
Evaluation des arbeitsweltbezogenen Demografie-Monitorings demowanda: Bedarfsorientiertes Coaching zur Durchführung einer Selbstevaluation9/201712/2018Bundesanstalt für Arbeitsschutz und Arbeitsmedizin (BAuA)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

"Die Bundesanstalt (BAuA) für Arbeitsschutz und Arbeitsmedizin erforscht die Bedingungen und die Entwicklungen innerhalb der Erwerbsarbeit, um Arbeitnehmerinnen und Arbeitnehmer heute und in Zukunft bestmöglich zu schützen und zu fördern" (s. BAuA-Website). Unter anderem leitet die BAuA das Projekt Demografischer Wandel in der Arbeitswelt (demowanda). demowanda ist ein Demografie-Monitoringsystem, dessen Entwicklung vom Bundesministerium für Arbeit und Soziales beauftragt wurde.

Die BAua möchte eine Selbstevaluation von demowanda - das Kollaborationsprojekt mit BiB, BIBB, DZA, IAB, RKI - durchführen. Gegenstand dieser Selbstevaluation durch die BAuA sind Projektergebnis und Projektverlauf. Die Projektpartner möchten (a) das Monitoringsystem in Form des Internetportals www.demowanda.de und (b) den Projektprozess von Auftragsvergabe bis hin zur Umsetzung evaluieren.

Um diese Selbstevaluation erfolgreich umzusetzen, hat die BAuA die CEval GmbH mit deren Begleitung beauftragt. Im Rahmen der Evaluationsbegleitung werden bedarfsorientierte Coachings/Trainings der beteiligten Mitarbeiterinnen und Mitarbeiter durchgeführt. Bedarfsorientiertes Coaching/Training ermöglicht es den Mitarbeiterinnen und Mitarbeitern, gezielt etwaige Wissenslücken zu schließen und vorhandene Kenntnisse zu erweitern. Zugleich wird so die konzeptionelle und methodische Qualität der Selbstevaluation gesichert.

Das bedarfsorientierte Coaching beinhaltet (a) telefonische Vor-Ort-Beratung, (b) in house-Schulungen/-Workshops sowie (c) Unterstützung bei der Erstellung evaluationsrelevanter Unterlagen/Dokumente und deren Qualitätssicherung.
Evaluation der Deutschen Strategie zur Anpassung an den Klimawandel7/20176/2020Umweltbundesamt (UBA)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Hansjörg Gaus, Selina Röhrig, M.A. Sandra Bäthge

Kooperationspartner: adelphi

Beschreibung

Die Deutsche Strategie zur Anpassung an den Klimawandel (DAS) und der dazugehörige Aktionsplan Anpassung sind die Hauptpfeiler der deutschen Anpassungspolitik. Langfristig verfolgt die Bundesregierung das Ziel, die Verwundbarkeit von Wirtschaft, Umwelt und Gesellschaft gegenüber den Folgen des Klimawandels zu reduzieren. Um dies zu erreichen, wurde in den vergangenen Jahren bereits eine Vielzahl konkreter Maßnahmen auf unterschiedlichen Ebenen umgesetzt. Für die Fortführung einer erfolgreichen Anpassung an den Klimawandel und für die Weiterentwicklung der Strategie ist es wichtig, den bisherigen Prozess kritisch zu reflektieren sowie erzielte Erfolgte und mögliche Versäumnisse aufzuzeigen.

Übergreifendes Ziel der vom Umweltbundesamt (UBA) beauftragten Evaluation ist es, herauszufinden, ob die DAS einen erfolgreichen strategischen Ansatz darstellt, um die Anpassungsfähigkeit natürlicher, gesellschaftlicher und ökonomischer Systeme an die Auswirkungen des Klimawandels zu steigern bzw. deren Vulnerabilität zu senken. Die Evaluation umfasst dabei drei zentrale Teile: Zunächst wird in einer Prozessevaluation der DAS-Prozess auf strategischer Ebene betrachet, eine Umsetzungsevaluation analysiert den Umsetzungsstand der Anpassungsmaßnahmen auf Bundeseben und eine Wirkungsevaluation befasst sich mit der Wirkung der DAS auf die Vulnerabilität und Anpassungkapazität natürlicher, gesellschaftlicher und ökonomischer Systeme.

Gemeinsam mit adelphi führt das Centrum für Evaluaion (CEval) die Evaluation im Auftrag der UBA durch. Dabei greift das Konsortium auf die in einem Vorgängervorhaben entwickelte und politisch bereits abgestimmte Methodik zurück. Entlang zentraler Evaluationsfragen und unter Berücksichtigung eines Wirkungsmodells werden zunächst mit verschiedenen Methoden (Interviews, Dokumentenanalysen etc.) Daten erhoben. Anhand definierter Evaluationskriterien erfolgt anschließend eine umfassende Analyse und Auswertung der Daten. Die daraus resultierenden Ergebnisse und Empfehlungen werden in einem Delphi-Verfahren reflektiert und weiter verdichtet.
Wirkungsstudie: Armutsminderung im ländlichen Raum durch Fairtrade, Fortsetzungsstudie 20174/20172/2018TransFair Germany (TFG)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: M.Sc. Elisabeth Schneider, Friederike von Cölln, M.A. Tatjana Mauthofer

Beschreibung

Das Anliegen von TransFair e.V. ist es, den Fairen Handel zu stärken und es Produzenten und Produzentinnen im Süden zu ermöglichen, von den aus ihrer Produktion erwirtschafteten Einnahmen zu leben. Dies soll unter anderem durch die Schaffung von langfristigen und möglichst direkten Handelsbeziehungen von Produzentenorganisationen aus benachteiligten Regionen des Südens in den Markt des Nordens und durch die Einhaltung von Standards wie dem gesetzlichen Mindestlohn, dem Tragen von Schutzkleidung, bezahltem Urlaub oder sozialer Vorsorge für Angestellte auf Plantagen erreicht werden. Um die Wirkungen von Fairtrade auf das Umfeld der Produzenten und Produzentinnen zu untersuchen, beauftragte TransFair e.V. und die schweizerische Max Havelaar-Stiftung das CEval von 2011-2012 mit der Durchführung einer Wirkungsstudie unter dem Titel "Assessing the Impact of Fairtrade on Poverty Reducation through Rural Development." Damit war die Studie des CEval die erste, die potentielle Beiträge von Fairtrade zur Verbesserung der Lebensverhältnisse im ländlichen Raum analysierte. Das Untersuchungsdesign umfasste dabei die Länder Ghana, Indien, Kenia und Peru und die Sektoren der Bananen-, Baumwolle-, Blumen-, Kaffee-, Kakao- und Teeproduktion. Die 2012 veröffentlichte Studie legt für die ausgewählten Fallstudien nahe, dass durch die Präsenz von Fairtrade-zertifizierten Kooperativen oder Plantagen Teile der Bevölkerung stärker in ländliche Entwicklungsaktivitäten einbezogen werden und dass dies zu einer Verbesserung der sozialen, ökonomischen und ökologischen Bedingungen im ländlichen Raum beiträgt.

Im Jubiläumsjahr 2017 möchte TransFair e.V. an diese Untersuchungen anknüpfen und beauftragte das CEval damit, erneut eine Wirkungsstudie für Fairtrade durchzuführen, die auf den empirischen Grundlagen der ursprünglichen Studie aufbaut. Mit den 2011 erhobenen qualitativen und quantitativen Daten wurde eine umfangreiche Datengrundlage geschaffen, die es ermöglicht, im Rahmen eines Zielgruppenvergleichs Entwicklungsfortschritte bei den damals untersuchten Zielgruppen (Produzent*innengruppen) zu untersuchen. Anhand eines Abgleichs von Experteninterviews, Fokusgruppendiskussionen, teilnehmenden Beobachtungen und quantitativen Befragungen sollen Entwicklungspfade mit Blick auf die soziale, ökonomische und ökologische Entwicklung nachvollzogen und bewertet werden.
Begleitung und Beratung Wirkungsmessung/Baseline Update Länderprogramm Bangladesch5/20164/2018Hilfswerk der Evangelischen Kirchen Schweiz (HEKS)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Susanne Johanna Väth

Beschreibung

Das Länderprogramm Bangladesch 2013-1016 von HEKS/EPER hat zum Ziel die soziale Inklusion von marginalisierten und entrechteten Minderheiten im Nordwesten Bangladeschs zu fördern. Die unterschiedlichen Interventionen haben vor allem urbane und rurale Dalit und Flachland-Adibashi Gemeinden zur Zielgruppe, die unter komplexen Formen von Diskriminierung leiden. Der Ausschluss der beiden Minderheiten ist ein entscheidender Grund für Konflikte zwischen Minderheiten und der Mainstream-Gesellschaft. Mit einem Menschenrechtsansatz und einem Value-Chain Ansatz will HEKS die soziale Inklusion der beiden Gruppen fördern.

HEKS will die Wirkungen aus der letzten Projektphase messen und gleichzeitig valide Baselinedaten für die kommende Programmphase erheben. Das CEval steht HEKS dabei unterstützend zur Seite. Die Wirkung des Programms sollen mit Hilfe von Haushaltsbefragungen und der qualitativen Methode der contribution analysis erfasst werden. CEval unterstützt HEKS dabei hauptsächlich bei der Vorbereitung für die quantitative Datenerhebung und bei der quantitativen Datenauswertung. Das CEval bereitet die Sampling Strategie vor, hilft bei der Entwicklung der Erhebungsinstrumente und bei der statistischen Auswertung der Daten. Bei letzterem gilt es insbesondere die zuvor erhobenen Daten mit den neu erhobenen Daten so zu kombinieren um valide Schlüsse aus der statistischen Analyse ziehen zu können.
Wirkungsevaluation des WIENCO Ghana Ltd. Vertragsanbau 10/201512/2020Common fund for Commodities

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Susanne Johanna Väth, Dr. Cornelia Römling, Dipl.Reg.Wiss. Christina Gollan

Kooperationspartner: German Institute of Global and Area Studies

Beschreibung

Übergreifendes Ziel der Wirkungsevaluation ist es, die Wirksamkeit zweier vom Africa Agricultural and Trade Investments Fund (AATIF) finanzierten und von WIENCO Ghana gemanagten Vertragsanbauvorhaben in den Bereichen Kakao und Mais zu überprüfen und zu bewerten. Das Hauptinteresse der Evaluation liegt dabei insbesondere in der Bestimmung eines kausalen Zusammenhangs zwischen der Teilnahme an den Vorhaben von WIENCO und den folgenden Merkmalen:

  • Produktivitätsniveau
  • Beschäftigungsmöglichkeiten
  • Betriebs- und Haushaltseinkommen
  • Lebens- und Arbeitsbedingungen
  • Risikoaussetzung des Haushaltseinkommen
  • Eingesetzte Risikobewältigungs- und Managementstrategien der Haushalte und Betriebe
  • Die gewonnenen Erkenntnisse sollen dazu dienen, einen Nachweis über die Effektivität der Vertragsanbauvorhaben und damit der finanziellen Unterstützung durch den AATIF zu erbringen. Darüber hinaus soll für WIENCO ein einfaches Datenerhebungsinstrument für ein kontinuierliches Monitoring seiner Vorhaben entwickelt werden.

    Die in Zusammenarbeit mit dem German Institute for Global and Area Studies (GIGA) und weiteren ghanaischen Partnern durchgeführte methodisch anspruchsvolle Wirkungsevaluation läuft über fünf Jahre, beginnend mit einer Baseline-Erhebung Anfang 2016. Zur Generierung einer möglichst validen Datenbasis wird dabei im Rahmen eines Multi-Methoden-Ansatzes quantitative Haushaltsbefragungen mit einer tiefgehenden qualitativen Kontextanalyse mittels Fokusgruppen- und Experteninterviews kombiniert.

Abgelaufene Projekte

ProjektnameBeginnEndeAuftraggeber
Auswertung der Verbraucher*innenbefragung 2018 des Forum Fairer Handel3/20188/2018Forum Fairer Handel

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: M.A. Sandra Bäthge

Mitarbeiter: M.A. Sandra Bäthge

Beschreibung

Seit 2007 gibt das Forum Fairer Handel in unregelmäßigen Abständen repräsentative Befragungen der deutschen Bevölkerung zum Fairen Handel in Auftrag. Auch 2018 hat eine solche Befragung stattgefunden. Neben verschiedenen Facetten des Kaufs fair gehandelter Produkte ging es hierbei auch um die Einstellungen der Befragten gegenüber den politischen Anliegen des Fairen Handels. Das Forum Fairer Handel hat die CEval GmbH mit der Auswertung der Ergebnisse der Befragung beauftragt. Die Daten wurden deskriptiv statistisch ausgewertet. Bei einzelnen Fragen wurden zudem Unterschiede im Antwortverhalten verschiedener Befragtengruppen untersucht. Bei Fragen, für die bereits Daten aus den vom Forum Fairer Handel beauftragten Erhebungen der Vorjahre existierten, wurden zudem Entwicklungen und Trends im Zeitverlauf dargestellt.
Meta-Evaluation der Evaluierungsberichte von Plan International2/20184/2018Plan International Deutschland e.V.

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Cornelia Römling, M.A. Sandra Bäthge, Dr. Susanne Johanna Väth

Beschreibung

Plan International arbeitet seit vielen Jahren in Afrika, Asien und Nord- und Südamerika, um Kinderrechte zu fördern und Kindern aus der Armut zu befreien. Das 1989 gegründete Deutsche Nationalbüro von Plan International beteiligt sich an der Finanzierung von Entwicklungsprojekten und -programmen sowie an der Finanzierung und Beauftragung externer Evaluationen. Plan International Deutschland beschloss, eine Meta-Evaluierung der Evaluierungsberichte aus den Jahren 2013 und 2017, die alle geographischen Regionen abdecken, durchzuführen. Die vorrangigen Ziele der Meta-Evaluation waren die Bewertung der Stärken und Schwächen der Evaluationsberichte anhand einer Analyse der Qualität, die Identifizierung der Erfolgs- und Risikofaktoren, die ihre Qualität beeinflussen können, und das Geben von Empfehlungen. Ein besonderer Schwerpunkt in der Meta-Evaluation war auf den Einfluss der Art der Evaluierung (d.h. von wem sie koordiniert und durchgeführt wird) sowie auf die verfügbaren Ressourcen und den Zeitrahmen gelegt. Die Meta-Evaluierung basierte auf einer Analyse der Evaluierungsberichte. Umfangreiche Analyseinstrumente wurden eingesetzt, um die Vollständigkeit der Berichte, die Validität der Befunde und die Nützlichkeit der Auswertungsberichte zu analysieren. Die Dokumentenanalyse gliederte sich in zwei Phasen. Während in der ersten Phase ("Pre-Rating") die Vollständigkeit der Evaluierungsberichte bewertet wurde, wurde in der zweiten Phase ("vertiefte Analyse") ein umfassenderes Set von Qualitätsbewertungskriterien auf eine Stichprobe von Berichten angewandt, um eine detailliertere Beurteilung der Validität der Ergebnisse und der Nützlichkeit für ihre Adressaten zu ermöglichen.
Meta-Evaluation von Projekt- und Programmevaluationen 2015-20179/20172/2018Finnisches Außenministerium

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Cornelia Römling, Dr. Susanne Johanna Väth, M.A. Tatjana Mauthofer

Beschreibung

Das finnische Außenministerium beauftragte das CEval zusammen mit Particip und Indufor eine Meta-Evaluation ihrer Evaluationen von Programmen und Projekten der Entwicklungszusammenarbeit durchzuführen. Das finnische Ministerium führt regelmäßig Meta-Evaluationen durch und im Fokus dieser Meta-Evaluation standen die Evaluierungen von 2015-2017.

Zielsetzung dieser Meta-Evaluierung war zum einen die Verbesserung von Evaluierungsberichten, die Praxis des Evaluierungsmanagements und Entwicklung von Evaluierungskapazitäten und die Identifizierung möglicher Lücken in der finnischen Evaluierungspraxis. Darüber hinaus standen auch die Inhalte der Evaluationsberichte im Fokus, z. B. wurden das Erreichen der DAC-Kriterien und weitere finnische Querschnittsthemen wie Gleichberechtigung von Mann und Frau oder nachhaltige Klimapolitik evaluiert.

Methodisch stand dabei eine Dokumentenanalyse der Evaluierungsberichte im Mittelpunkt der Meta-Bewertung, um zunächst die Qualität und anschließend den Inhalt der Evaluierungsberichte zu bewerten. Verschiedene Bewertungsinstrumente wurden entwickelt, um einen einfach durchführbaren und verlässlichen Bewertungsprozess zu ermöglichen. Im Rahmen der Qualitätsprüfung wurden die Evaluierungsberichte auf das Vorhandensein von Informationen überprüft, die für das Verständnis der Evaluierung (Gegenstand, Prozess und Ergebnisse) wesentlich sind. Zusätzlich wurden methodische Anforderungen wie z. B. die Daten- und Methodentriangulation oder der logische Fluss von den Daten über Ergebnisse und Schlussfolgerungen zu den Empfehlungen bewertet. Ein weiteres Tool wurde für die inhaltliche Analyse genutzt, bei der die Ergebnisse im Detail hinsichtlich der verschiedenen Bewertungskriterien sowie Schlussfolgerungen und Empfehlungen semi-standardisiert analysiert wurden.
Evaluation der Webseite www.bne-portal.de8/201712/2017Deutsche UNESCO-Kommission (DUK)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Die Deutsche UNESCO-Kommission ist eine Mittlerorganisation im Bereich der multilateralen Kultur-, Bildungs-, Wissenschafts- und Medienpolitik. Mit der Webseite www.bne-portal.de unterstützt die Deutsche UNESCO-Kommission das Global Action Programme on Education for Sustainable Development (dt. Weltaktionsprogramm Bildung für nachhaltige Entwicklung). Die Webseite möchte die inhaltliche Einstiegsplattform für (künftige) nationale BNE-Akteure sein. Nach ihrem Relaunch im Jahr 2016 und einer Laufzeit von einem Jahr soll die Webseite www.bne-portal.de durch die CEval GmbH evaluiert werden.

Die Evaluation sollte die Website hinsichtlich folgender Aspekte bewerten: (a) Verständlichkeit, fachliche Relevanz und Attraktivität der bereitgestellten Informationen, (b) Attraktivität von Design und Aufbau, (c) Auffindbarkeit von Informationen, (d) Praxisrelevanz der Informationen, (e) Eignung der Kontaktmöglichkeiten, (f) Erfüllung von Nutzererwartungen, (g) Nutzungsintensität, (h) Bekanntheisgrad/Attraktivität der angebotenen Lehrmaterialsammlung und (i) Bekanntheisgrad/Attraktivität der angebotenen Akteursdatenbank.

Die Evaluation basierte auf einer Online-Nutzerbefragung und quantitativer Datenwuswertung.
Mid-Term Evaluation of the “ASEAN Secretariat Post 2015 – Institutional Strengthening and Capacity Development” project (Jakarta, Indonesien)8/201711/2017Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: M.A. Tatjana Mauthofer

Beschreibung

Das ASEAN Sekretariat (ASEC) und die Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) implementieren gemeinsam das vom Auswärtigen Amt der Bundesrepublik Deutschland geförderte Vorhaben „ASEAN Sekretariat Post 2015 – Organisationsentwicklung und Capacity Development“. Die laufende Projektphase begann im Juni 2016 und unterstützt, aufbauend auf vorherige Capacity Development Aktivitäten, die Professionalisierung der strategischen Verwaltungsabteilungen und Stabsstellen des ASEAN-Sekretariats. Zudem arbeitet es mit Fachabteilungen zusammen, die zu einer Stärkung der ASEAN-Wirtschaftsgemeinschaft beitragen. Um den aktuellen Fortschritt der Projektphase zu erfassen, wurde das CEval beauftragt eine Zwischenevaluierung anhand der OECD-DAC Kriterien und erweiterten, projektspezifischen Leitfragen durchzuführen. Unter Berücksichtigung des institutionellen Rahmens des ASEC und der Vielfalt an Akteuren, wurde das Design der Kontributionsanalyse und ein Multi-Methoden-Ansatz gewählt.

Dazu wurden leitfadengestützte Interviews mit Schlüsselfiguren und teilstandardisierte Onlinebefragungen der Workshop Teilnehmer durchgeführt. Projektdokumentationen und Monitoringdaten ergänzen empirische Daten und ermöglichen Triangulation. Ziel der Zwischenevaluation ist es Einblicke in aktuellen Fortschritt des Projekts zu erhalten und Lernen für weitere Projektaktivitäten und zukünftige Phasen zu ermöglichen.
Beratungstätigkeit des ASEAN Sekretariats zur Ausarbeitung eines methodischen und operativen Rahmenkonzepts zum systematischen Wirkungsmonitoring4/20171/2018Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: M.A. Tatjana Mauthofer

Beschreibung

CEval wurde von der Deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) beauftragt im Rahmen des ‘ASEAN Sekretariat Post 2015 – Organisationsentwicklung und Capacity Development‘ Projekts das ASEAN Sekretariat bei der Ausarbeitung eines methodischen und operativen Rahmenkonzepts zum systematischen Wirkungsmonitoring zu beraten.

Dabei galt es vor allem die Evaluierungsprozesse des ASEAN-Sekretariats zu untersuchen und fachliche Unterstützung für die Neudefinierung des Wirkungsmonitorings des ASEAN-Sekretariats, mit Schwerpunkt aurf ASEAN-Kooperationsprojekte, zu leisten.

Im Rahmen der Beratung wurden eine Reihe von Interviews mit den verantwortlichen M&E-Abteilungen sowie ein dreitägiges Methodentraining durchgeführt. Dabei wurden nicht nur die M&E-Kapazitäten von Mitarbeitern gestärkt, sondern auch ein gemeinsames Diskussionsforum für verschiedene Abteilungen geschaffen. Dies war besonders wichtig um Meinungen und Erfahrungen auszutauschen und Akzeptanz gegenüber dem neuen PMEFs zu schaffen. Der Abschlussbericht fasst wichtige Erkenntnisse zusammen, erörtert Best Practices anderer Akteure und beschreibt Konzepte, mögliche Mechanismen und Empfehlungen zur Implementierung eines funktionalen PMEFs.
Formative Evaluation der Out-of-School-Children Initiative (OOSCI)3/20172/2018United Nations International Children’s Fund (UNICEF)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Cornelia Römling, Dr. Susanne Johanna Väth

Beschreibung

Im Focus dieser Evaluierung stand die Out-of-School-Children Initiative (OOSCI) von UNICEF und dem UNESCO Institute for Statistics (UIS). Die Initiatve wurde im Jahr 2010 initiiert, um die Anzahl von Kindern, die nicht zur Schule gehen, in den Partnerländern zu reduzieren. Zur Erreichung dieser Zielsetzung wurden einmal umfassende Profile von Kindern, die nicht zur Schule gehen, in jedem Land erstellt, die spezifischen Barrieren in jedem Land identifiziert, die dazu beitragen, dass Kinder nicht zur Schule gehen und Empfehlungen für politische und strategische Änderungen entwickelt, um diese Barrieren zu adressieren.

Die Evaluierung zielte darauf ab, die Validität der Theory of Change und ihrer Annahmen zu testen. Dadurch wurde die Programmlogik gestärkt und der Fortschritt in der Zielerreichung der Reduzierung von Kindern, die nicht die Schule besuchen, bewertet. Außerdem lieferte die Evaluierung detaillierte Informationen über den Nutzen der Initiative für die verschiedenen Stakeholder. Zudem wurden die Ergebnisse der Evaluierung dazu genutzt, den Rechenschaftspflichten gegenüber den Geldgebern nachzukommen.

Im Zentrum der Evaluierung stand eine Dokumentenanalyse zur Bewertung des Fortschritts durch OOSCI für eine Stichprobe von 42 Ländern. Die Inhalte der Dokumente wurden zur Beantwortung der Evaluationsfragen auf einer vierstufigen Skala bewertet. Neben einer deskriptiven Analyse wurden diese Kodierungen auch für eine Qualitative Comparative Analysis (QCA) genutzt. QCA ermöglichte die Analyse, welche Kombinationen von Merkmalen zu einem bestimmten Outcome führt. Zusätzliches Instrument der Datenerhebung war eine Onlinebefragung aller UNICEF Länderbüros. Es wurden weitere qualitative Daten in den USA und in acht Länderbesuchen erhoben. Die Evaluierung wurde zusammen mit Proman und weiteren Consultants durchgeführt. CEval war in der Evaluierung für die Evaluationsmethodik verantwortlich.
Wirkungsmonitoring im Rahmen der TZ-Maßnahme und Wirkungsevaluation auf systemischer Ebene zum Beitrag der Maßnahme zur Verzahnung von EZ und AWF3/20172/2018Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: M.Sc. Elisabeth Schneider

Kooperationspartner: iSPO Institut - Institut für Sozialforschung, Praxisberatung und Organisationsentwicklung GmbH

Beschreibung

Die Herausforderungen des Klimawandels und des kontinuierlichen Rückgangs fossiler Brennstoffvorräte treffen die verschiedenen Regionen der Erde in unterschiedlicher Weise. Die Staaten haben sich dabei ambitionierte Ziele gesetzt: Mexiko möchte z.B. bis zum Jahr 2024 mehr als ein Drittel seiner Energieproduktion durch erneuerbare Energien erzeugen. Trotz aller Bemühungen ist der Umweltschutz bisher im nördlichen Lateinamerika noch nicht sonderlich erfolgreich gewesen. Eine Ursache hierfür ist die mangelhafte Verbreitung moderner Umwelttechnologien in der Region. Hier setzt das Projekt "Kooperationsplattform Lateinamerika Nord (KOPLAN)" an und nimmt vor allem zentrale Defizite in den Blick, die internationalen Investitionen und Kooperationen entgegenstehen. Diese sind vor allem fehlende Fachkompetenzen in der mittelständigen Wirtschaft im Bereich moderner Umwelttechnologien.

Im Rahmen des gegenwärtigen Auftrags unterstützt das CEval gemeinsam mit dem iSPO-Institut das Vorhaben in den Komponenten Wirkungsmonitoring und Evaluation. Ausgangspunkt eines wirkungsorientierten Monitoring ist in aller Regel das Zielsystem inkl. Zielerreichungsindikatoren und relevanter Annahmen der betreffenden Maßnahme. Veränderungen auf anderen Ebenenen, insbesondere im Rahmen von Kooperationsmechanismen, werden dagegen nicht direkt oder nur am Rande im Rahmen des Monitoring thematisiert. Diese Entwicklung von Kooperationssystemen oder aber die Eignung der diesbezüglichen Förderinstrumente werden darüber hinaus im Rahmen der Komponente Evaluation in den Blick genommen.

Im Ergebnis sollen im Rahmen dieses Auftrags neben dem Monitoring und der Erfassung von Wirkungen der Einzelmaßnahmen Erkenntnisse zum Beitrag KOPLANS zur besseren Verzahnung von EZ und AWZ sowie von öffentlichem und privatem Sektor aus systemischer Ebene generiert werden.
Durchführung einer Evaluation des Internationalen Klimaschutzstipendien-Programms12/201610/2017Alexander von Humboldt-Stiftung (AvH)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Mitarbeiter: Dr. Susanne Johanna Väth

Beschreibung

Im Jahr 2009 hat die Alexander von Humboldt-Stiftung (AvH) das Internationale Klimaschutz-Programm (IKS) zur Förderung begabter Nachwuchsführungskräfte aus außereuropäischen Schwellen- und Entwicklungsländern initiiert. Zwischen 2010 und 2015 wurden 100 Stipendiat_innen aus dem wissenschaftlichen und nicht-wissenschaftlichen Bereich gefördert.

Zielgruppen des IKS sind Nachwuchswissenschaftler_innen und akademisch ausgebildete Nachwuchsführungskräfte aus Industrie und Politik aus Entwicklungs- und Schwellenländern. Diese Zielgruppen sind nämlich beteiligt an Gestaltung/Umsetzung von (1) Klimaschutzmaßnahmen, (2) Maßnahmen des klimarelevanten Ressourcenschutzes und (3) Maßnahmen zur Anpassung an den Klimawandel in Entwicklungs- und Schwellenländern. Ziel des IKS ist die langfristige individuelle Begleitung der ausgewählten Stipendiat_innen: (1) Zwölfmonatiges Stipendium zur Durchführung eines selbstgewählten forschungsnahen Projekts bei einem/r selbstausgesuchten/r Gastgeber_in in Deutschland. (2) Alumni-Förderung (u.a. Finanzierung weiterer Deutschlandaufenthalte, Einladung Gastgeber_innen an Heimatinstitutionen, Einbindung in AvH-Netzwerk).

Die Evaluation des IKS prüfte, inwiefern die Wirkungen des Programms einen Beitrag leisten zu (1) Klimaschutz und klimarelevantem Ressourcenschutz und (2) Anpassung an den Klimawandel in Entwicklungs- und Schwellenländern. Im Mittelpunkt stehen die Analyse der Zielerreichung auf Ebene der Programmziele sowie die Analyse bereits überprüfbarer Programmwirkungen.

Die Evaluation des IKS orientierte sich an den DAC-Kriterien. Sie zeichnete sich durch einen partizipativen sowie Multimethoden-Ansatz aus. So wurden im Rahmen der Evaluation Dokumenten- und Sekundäranalysen kombiniert mit qualitativen (leitfadengestützte Intensivinterviews, Fallstudien) sowie quantitativen Verfahren (teilstandardisierte Online-Erhebungen). Evaluationsbericht
Evaluation des Projektes "Nachhaltige Kommunalentwicklung durch Partnerschaftsprojekte (Nakopa)" und des "Förderprogramms für Kommunalen Klimaschutz und Klimaanpassungsprojekte (FKKP)"12/20165/2017Engagement Global - Service für Entwicklungsinitiativen gGmbH

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Cornelia Römling

Beschreibung

Die Servicestelle Kommunen in der Einen Welt (SKEW) unter dem Dach von Engagement Global ist das Kompetenzzentrum der kommunalen Entwicklungspolitik in Deutschland. Seit 2001 bietet sie eine Dialogplattform zum kommunalen Erfahrungsaustausch und fördert kommunale Akteure in ihrem entwicklungsbezogenen Engagement durch Qualifizierungs-, Informations- und Beratungsangebote, die Umsetzung von Modellprojekten sowie Hilfestellungen für finanzielle Förderung.

Zum Leistungsspektrum der SKEW zählen unter anderem die Vorhaben "Nachhaltige Kommunalentwicklung durch Partnerschaftsprojekte (Nakopa)" und das "Förderprogramm für kommunale Klimaschutz- und Klimaanpassungsprojekte (FKKP)". Während durch Nakopa bestehende und neue Partnerschaften zwischen deutschen Kommunen und Kommunen des globalen Südens zur Planung und Unterstützung von gemeinsamen Projekten in ausgewählten entwicklungspolitisch relevanten Themenfeldern gefördert werden, zielt die Förderung durch FKKP ausschließlich auf die Förderung von Maßnahmen zum Klimaschutz und zur Anpassung an den Klimawandel.

Nach einem ersten dreijährigen Projektzyklus sollen diese beiden Vorhaben nun sowohl hinsichtlich prozessualer Aspekte der Projektadministration als auch herbeigeführter Wirkungen der geförderten Projekte sowie der Förderangebote Nakopa und FKKP evaluiert werden. Zur Beantwortung der an den OECD-DAC Evaluationskriterien ausgerichteten Leitfragen wird ein auf dokumentarischen und empirischen Daten beruhender kontributionsanalytischer Untersuchungsansatz gewählt. Grundlage der Untersuchen sind entsprechend sowohl Monitoringdaten und Projektdokumentation als auch eigens, mittels leitfadengestützter Intensivinterviews sowie teilstandardisierter Onlinebefragungen der teilnehmenden Kommunen, erhobene Daten.
Externe Evaluation des Netherlands Fellowship Programme (NFP II) und der Netherlands Initiative for Capacity in Higher Education (NICHE II)9/20161/2017Niederländisches Außenministerium (MFA)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Cornelia Römling

Kooperationspartner: ACE Europe

Beschreibung

Im Auftrag des niederländischen Außenministeriums (MFA) führte das CEval eine externe Evaluation des 'Dutch Fellowship Programme' (NFP II) und der 'Netherlands Initiative for Capacity Development in Higher Education' (NICHE II) durch. Diese Programme, die vom MFA finanziert und von der niederländischen Organisation für internationale Zusammenarbeit in der Hochschulbildung, 'EP-Nuffic' verwaltet werden, fördern die Entwicklung von Kapazitäten im Bereich der Hochschulbildung in Partnerländern der niederländischen Entwicklungszusammenarbeit. Hauptziel von NFP und NICHE ist es, den quantitativen und qualitativen Mangel an qualifiziertem Fachpersonal in Entwicklungsländern zu reduzieren und zum Aufbau nachhaltiger Kapazitäten im Rahmen der Armutsreduzierung beizutragen. Unter NFP werden Stipendien an Berufstätige vergeben, damit diese an Schulungen und Aufbaustudiengängen in den Niederlanden teilnehmen können. NICHE zielt auf die Stärkung institutionelle Kapazitäten zur Verbesserung der Qualität, Relevanz und Gender-Sensibilität der postsekundären Ausbildung in den NICHE-Partnerländern. Die Evaluation deckte den Umsetzungszeitraum der beiden Programme von 2002 bis 2015 ab, wobei der Fokus auf der letzten Projektphase seit 2012 lag, die sich durch eine besondere Ausrichtung der Programme auf Wirtschaftsdiplomatie und eine stärkere Angleichung an die vier Schwerpunktthemen der niederländischen Entwicklungsstrategie (Wasser, sexuelle und reproduktive Gesundheit und Rechte, Sicherheit und Rechtsstaatlichkeit und Nahrungsmittelsicherheit) auszeichnete. Die Evaluation diente dabei insbesondere zur Rechenschaftslegung über die hierfür von den Niederlanden bereitgestellten Finanzmittel sowie zur Generierung von Lernerfahrungen zur zukünftigen Programm- und Strategieentwicklung. Im Rahmen der Evaluation wurden beide Programme gemäß der OECD/DAC-Kriterien hinsichtlich ihrer Relevanz, Effizienz, Effektivität, Wirkung und Nachhaltigkeit bewertet. Auf Grundlage der Ergebnisse wurden Empfehlungen zur zukünftigen Optimierung der Programme entwickelt. Die Evaluation wurde in Zusammenarbeit mit ACE Europe, einem belgischen Beratungsunternehmen, umgesetzt.
Programmevaluation "Stärkung der regionalen Integration und Zusammenarbeit auf dem Gebiet der Qualitätsinfrastruktur (AI) in SAARC"9/20162/2017Physikalisch-Technische Bundesanstalt (PTB)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: M.A. Sandra Bäthge

Beschreibung

Das Ziel des Regionalvorhabens in SAARC (South Asian Association for Regional Cooperation) der die Länder Indien, Pakistan, Bangladesch, Nepal, Buthan, die Malediven, Afghanistan und Sri Lanka angehören, ist es technische Handelshemmnisse abzubauen. Um dieses Ziel zu erreichen, fördert die PTB mit ihren Maßnahmen innerhalb dieses Vorhabens gezielt die Zusammenarbeit der SAARC Mitglieder im Bereich Metrologie, Akkreditierung und Standardisierung. Zur Zielgruppe gehören nationale QI Institutionen sowie Ministerien und Wirtschaftsverbände mit denen u.a. technische Trainings- oder bewusstseinsbildende Maßnahmen durchgeführt wurden.

Für die Evaluation wurden sowohl qualitative als auch quantitative Methoden genutzt (mixed method design). So wurde nebst Dokumentenanalyse und Leitfaden gestützten Interviews mit Vertretern der Zielgruppen aus allen SAARC Ländern während einer zweiwöchigen Feldphase in Bangladesch, Buthan und Indien, auch eine standardisierte Online Befragung ehemaliger Trainingsteilnehmer durchgeführt.

Das Ziel der Evaluation ist es, mit Hilfe statistischer Daten- und qualitativer Inhaltsanalyse empirisch gestützte Aussagen zu Relevanz, Effektivität, Effizienz, Impact und Nachhaltigkeit (DAC-Kriterien)des Projektes zu machen. Die Ergebnisse werden zur weiteren Entwicklung dieses, sowie weiterer Projekte der PTB (in der Region)genutzt. Die Evaluationsergebnisse werden außerdem die Entscheidung über eine weitere Förderphase und eventuelle Änderungen in der Projektplanung beeinflussen.
Evaluierung der §§20a und b PolG (Polizeigesetz) NRW6/20165/2017Ministerium für Inneres und Kommunales des Landes NRW

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Mitarbeiter: Dr. Cornelia Römling

Beschreibung

Gegenstand dieses Projekts war die wissenschaftliche Begleitung der Evaluierung der §§ 20a und b des Polizeigesetzes Nordrhein-Westfalen (PolG NRW), welche am 01. Juli 2013 in Kraft traten. Sie wurden eingeführt zur Neuregelung des landesrechtlichen Auskunftsanspruchs der Polizei über Telekommunikations- und Telemediendaten und der Datenerhebung mit eigenen technischen Mitteln. Im Gesetz wurde verankert, dass die Auswirkungen dieser Vorschrift und die praktische Anwendung (...) nach einem Erfahrungszeitraum von drei Jahren durch die Landesregierung unter Mitwirkung einer oder eines unabhängigen wissenschaftlichen Sachverständigen geprüft (werden)(§20a Absatz 7 Satz 1).

Diese gesetzliche Neuregelung betrifft eine in der Politik und Öffentlichkeit immer wieder intensiv diskutierte Frage. So ist es einerseits Aufgabe der Polizei (nicht nur in) NRW, die innere Sicherheit im Land zu gewährleisten und sie ist daher mit allen Befugnissen auszustatten, die sie zur Erfüllung dieser Aufgabe benötigt. Andererseits argumentieren Datenschützer, dass gerade die Telekommunikations- und Telemediendaten einen sehr sensiblen Bereich der individuellen Privatsphäre darstellen, des es so weitreichend wie möglich zu schützen gilt. Aus diesem Grund sollte durch die neuen Normen ein klarer Handlungsrahmen geschaffen werden, der sowohl Polizei als auch Dienstanbietern im Bereich Telekommunikation Rechtssicherheit verschafft. Das CEval war im Rahmen der Evaluation insbesondere für die Konkretisierung und Operationalisierung der leitenden Fragestellungen, die Identifizierung geeigneter Indikatoren und die Entwicklung eines geeigneten Evaluationsdesigns und der Erhebungsinstrumente zuständig und unterstützte bei der Datenerhebung. Auch die Analyse der Daten und die Berichtsfertigung erfolgten unter der Federführung des CEval.

Methodisch wurden sowohl leitfadengestützte Interviews, Fokusgruppendiskussionen als auch standardisierte Befragungen durchgeführt, um so Aussagen über durch die Einführung des Gesetzes bewirkte Veränderungen in den Prozessabläufen und die Auswirkungen der Neuregelung zu generieren und Empfehlungen für die Weiterentwicklung des Gesetzes abzuleiten.
Meta-Evaluation World Vision Deutschland3/20165/2016World Vision Deutschland e.V. (WVD)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Susanne Johanna Väth

Beschreibung

Zum zweiten Mal hat World Vision Deutschland (WVD) das CEval beauftragt 29 Evaluationsberichte seiner langfristig angelegten Regional-Entwicklungsprogramme einer Meta-Evaluation zu unterziehen. Ziel dabei war es, die Berichte im Hinblick auf ihre Qualität und Aussagekraft zu den ihnen zugrundeliegenden Fragestellungen zu bewerten und Empfehlungen für das Design und die Umsetzung zukünftiger Evaluationsvorhaben zu entwickeln.

Methodisch konzentrierte sich das CEval dabei auf ein zweistufiges Auswertungsverfahren, das sich an die OECD/DAC Kriterien, Relevanz, Effektivität, Effizienz, Wirkung und Nachhaltigkeit, anlehnt. In einem ersten Schritt wurden die von WVD erarbeitete Kriterien Mitsprache und Inklusion, Transparenz, Angemessenheit der Methoden, Methodik, Triangulation, Befriedigung des Informationsbedarf, Identifizierung des Programmbeitrags sowie Ergebnisdarstellung anhand von verschiedenen Unterkriterien bewertet, die schließlich in einem zweiten Schritt aggregiert wurden.

Der Analyserahmen wurde bei der diesjährigen Meta-Evaluation um Nutzung und Nützlichkeit von Evaluationsergebnissen für die Projektarbeit erweitert. Um dies zu realisieren wurden leitfadengestützte Interviews mit WV Programmkoordinatoren auf internationaler Ebene durchgeführt. Basierend auf den erhaltenen Impulsen wurde ein Online Fragebogen für die Mitarbeiter von WV International entwickelt, sodass die Nützlichkeitsbewertung auf Grundlage einer internationalen, organisationsweiten Online-Befragung erfolgte.

Zusätzlich wurde die Transparenz innerhalb des herausgegebenen Wirkungsberichts bewertet. Die Bewertung erfolgte anhand der Kriterien Nachvollziehbarkeit/Verständlichkeit, Vorliegen der für die Zielgruppen relevante Informationen, methodische Vorgehensweise, Validität der genutzten Daten und Quellen, Objektivität sowie Veröffentlichung/Zugang.
Evaluation der Fördertätigkeit der Stiftung Umwelt und Entwicklung Nordrhein-Westfalen1/20163/2017Stiftung Umwelt und Entwicklung Nordrhein-Westfalen

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Seit ihrer Gründung im Jahr 2001 fördert die Stiftung Umwelt und Entwicklung Nordrhein-Westfalen die vornehmlich ehrenamtliche umwelt- und entwicklungspolitische Arbeit zivilgesellschaftlicher Gruppen. Ziel der Stiftungsarbeit ist es, die umwelt- und entwicklungspolitische Arbeit in Nordrhein-Westfalen (NRW) zu unterstützen, um diese Arbeit im Bewusstsein und im praktischen Engagement der Bevölkerung dauerhaft und auf der Höhe der Zeit zu etablieren.

Hierfür wurden in NRW bis zum Evaluationszeitpunkt etwa 1.100 Vorhaben gemeinnütziger Träger mit einem Volumen von 47,5 Mio. Euro unterstützt. Hinzu kommen Eigenprojekte der Stiftung, die durch diese operativen Tätigkeiten und ihre Öffentlichkeitsarbeit ebenfalls die Umsetzung der Agenda 21 der UN-Konferenz für Umwelt und Entwicklung von Rio de Janeiro im Jahr 1994 und die sich daran anschließenden Prozesse voranbringen möchte. Im Rahmen der Evaluation wurden die Ergebnisse und Wirkungen der Förderaktivitäten der Stiftung erfasst und bewertet und Erkenntnisse über mögliche hemmende und/oder fördernde Faktoren in der Förderarbeit der Stiftung in Bezug auf die Stiftungsziele generiert.

Die Datengewinnung basierte auf einem mixed-methods-Ansatz, d.h. es erfolgte eine vertiefende Analyse bereits vorhandener Dokumente und Daten der Stiftung und von geförderten Projekten. Zudem wurden im Rahmen von qualitativen Erhebungen (leitfadengestützte Einzel- und Gruppeninterviews) und einer quantitativen Befragung der laufenden und abgeschlossenen Projekte Primärdaten zur Zielerreichung und Wirksamkeit der Fördertätigkeit der Stiftung erhoben und ausgewertet. Auf Basis dieser Erkenntnisse wurden schließlich Empfehlungen zu Schwerpunktsetzungen der Stiftung hinsichtlich Inhalten, Akteuren, Zielgruppen und die angewandten Methoden und Formate abgeleitet.
Wie steuert man Nachhaltigkeit und Wirksamkeit?1/20165/2016Institut für Auslandsbeziehungen (ifa)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Die Akteure der Auswärtigen Kultur- und Bildungspolitik (AKBP) stehen vor der Herausforderung, dass der Kontext ihres Handelns immer auch in Interaktion mit komplexen, dynamischen Politik- und Sozialzusammenhängen steht. Dies erschwert die Generierung von Wissensgrundlagen zur Projektsteuerung und damit zur Sicherung der Nachhaltigkeit und Wirksamkeit der Projekte der AKBP.

Ziel des Forschungsprojekts war daher die Beantwortung der Frage, welche Methoden und Instrumente sich in den volatilen Kontexten der AKBP eignen, um Wirkungen unter sich verändernden Rahmenbedingungen erkennen zu können. Zudem wurde untersucht, wie dieses Wissen für die Projektsteuerung genutzt werden kann. Hierfür wurde zunächst eine Bestandsaufnahme bereits eingesetzter Instrumente durchgeführt, darauf aufbauend wurden neuere Ansätze zur Generierung von Bewertungs- und Entscheidungsgrundlagen im Hinblick auf ihre Übertragbarkeit in der AKBP analysiert.
Evaluation des Deutschen Partnerschaftsprogramms für Biosicherheit und Gesundheitssicherstellung1/20166/2016Auswärtiges Amt

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Mitarbeiter: Dr. Vera Hennefeld

Beschreibung

Das Deutsche Partnerschaftsprogramm für Biologische Sicherheit und Gesundheitssicherstellung wurde durch das Auswärtige Amt (AA) im Jahr 2013 ins Leben gerufen. Es fügt sich in die „G7 Globale Partnerschaft gegen die Verbreitung von Massenvernichtungswaffen und -materialien“ ein. Das Programm wurde im Auftrag des AA durch das Robert Koch-Institut (RKI) und die Gesellschaft für Internationale Zusammenarbeit (GIZ) entwickelt. Für das Programm wurden folgende Ziele formuliert: (1) Missbrauch von biologischen Agenzien und Erregern vorbeugen; (2) Kontrolle von biologischen Sicherheitsrisiken verbessern; (3) Ausbreitung von gefährlichen Agenzien und Erregern eindämmen; (4) Nationale Gesundheitskapazitäten in Partnerländern stärken; (5) Deutsche Expertise zur Abwehr biologischer Risiken erhöhen; (6) Internationale Kooperationen deutscher Institute nachhaltig stärken. Zum Erreichen dieser Ziele fokussiert das Partnerschaftsprogramm auf folgende Schwerpunkte: Surveillance, Detektion und Diagnostik, Biosafety und Biosecurity, Awareness Raising & Sensibilisierung, Vernetzung.

Die CEval GmbH wurde durch das AA mit der Durchführung einer externen Evaluation beauftragt. Die Ziele der Evaluation waren die Untersuchung der Arbeitsweise, Planung, Durchführung sowie Resultate bei den beteiligten Institutionen, die Analyse der Zusammenarbeit mit internationalen Partnern und die Überprüfung der Zielerreichung. Auf Basis der Ergebnisse wurden Entscheidungshilfen zur Nachsteuerung/Neuorientierung der Programmaktivitäten für die derzeit in Planung befindliche zweite Programmphase 2016-2019 generiert.

Die Evaluation erfolgte nach den OECD/DAC-Evaluierungskriterien: Relevanz, Effektivität, Effizienz, Impact und Nachhaltigkeit. Ergänzend dazu wurden die Kriterien Koordination, Komplementarität und Kohärenz untersucht. Seit Programmstart wurden 17 Projekte in mehr als 20 Ländern umgesetzt. Im Rahmen der Evaluation wurde der Schwerpunkt auf eine Analyse und Bewertung der Aktivitäten der Partner in den folgenden vier Ländern gelegt: RKI+GIZ: Sudan, BNI: überregionales Projekt GIBACHT, FLI: Kamerun, IMBw: Kasachstan. Hierzu erfolgten jeweils dreitägige Länderfallstudien vor Ort, in deren Rahmen Datenerhebungen durch ein interdisziplinäres Gutachterteam bei den für die Konzeption und Umsetzung der Projekte Verantwortlichen erfolgten. Zur Datenerhebung wurden Dokumentenanalysen, leitfadengestützte Interviews, Fokusgruppen (Gruppendiskussionen) sowie Begehungen und Beobachtung eingesetzt.
Untersuchung der Effektivität und des Impact der Extractive Industries Transparency Initiative (EITI)12/20158/2016Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ), LBN Strategies

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Cornelia Römling, Dipl.Reg.Wiss. Christina Gollan

Beschreibung

Die Extractive Industries Transparency Initiative (EITI) ist ein globaler Standard zur Förderung eines offenen und rechenschaftspflichtigen Managements natürlicher Ressourcen. Der Standard soll Regierungs- und Unternehmenssysteme stärken, die öffentliche Debatte informieren und Vertrauen fördern. In jedem implementierenden Land wird die Initiative durch einen Zusammenschluss von Regierungen, Unternehmen und Organisationen der Zivilgesellschaft unterstützt.

Die GIZ hatte die Evaluation der Initiative in Auftrag gegeben und dabei die folgenden Ziele definiert:

  • Die Bewertung der Outcomes, der Effektivität und des Impacts (positiv und negativ, intendiert und nicht intendiert) von EITI vor dem Hintergrund des EITI MDTF Results Framework, und die nähere Betrachtung der Verbindungen zwischen Transparenz, Rechenschaftspflicht und wenn möglich weitergehenden Entwicklungszielen.
  • Die Bewertung der durch EITI entwickelten Theorie des Wandels und des EITI MDTF Results Framework mit dem Ziel, ein verbessertes generisches EITI Zielsystem zu entwickeln und ausgewählte Multi Stakeholder Groups bei der Entwicklung spezifischer nationaler EITI Zielsysteme und der Ableitung wirkungsorientierter Indikatoren zu assistieren.

Diese Ziele und die Komplexität des EITI Kontextes machten ein maßgeschneidertes Design notwendig. Der methodische Ansatz der Evaluation umfasste deswegen:

  • Makro-quantitative statistische Analysen
  • Tiefgehende Fallstudien
  • Partizipative Ansätze in der Operationalisierung, Datenerhebung und der Analyse der Ergebnisse.

Unter der Koordination von LBN Strategies und in Zusammenarbeit mit weiteren Beratern übernahm das Centrum für Evaluation die Führung in der Studienkomponente „Ansätze und Methodologie“.
Ex-Post Evaluation des Regional-Entwicklungsprogramms „La Malacateca“ in Guatemala 11/20153/2016World Vision Deutschland e.V. (WVD)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Von Oktober 1998 bis September 2012 setzte World Vision in der Gemeinde Malacatán in Guatemala ein Regional-Entwicklungsprogramm um. Das Programm umfasste vier Bereiche: Gesundheit, Bildung, wirtschaftliche Entwicklung und Patenschaften und hatte zum Ziel, die Lebenssituation der Familien zu verbessern. Drei Jahre nach Beendigung des Programms lies World Vision eine Ex-Post-Evaluierung durchführen, um die Nachhaltigkeit der erreichten Wirkungen zu überprüfen. Zu diesem Zweck arbeitete das Centrum für Evaluation mit einer lokalen guatemaltekischen Beratungsfirma (CONSULTA) an der Umsetzung einer quantitativen Haushaltsbefragung mit Kontrollgruppe und qualitativen Erhebungen mit der Zielgruppe und relevanten Schlüsselinformanten.
Evaluierung und Weiterentwicklung der deutschen Anpassungsstrategie an den Klimawandel10/20159/2017Umweltbundesamt (UBA)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Hansjörg Gaus

Kooperationspartner: Adelphi Research gGmbH

Beschreibung

Die Deutsche Strategie zur Anpassung an den Klimawandel (DAS) und der dazugehörige Aktionsplan Anpassung sind die Hauptpfeiler der deutschen Anpassungspolitik. Langfristig verfolgt die Bundesregierung das Ziel, die Verwundbarkeit von Wirtschaft, Umwelt und Gesellschaft gegenüber den Folgen des Klimawandels zu reduzieren. Um dies zu erreichen, wurde in den vergangenen Jahren bereits eine Vielzahl konkreter Maßnahmen auf unterschiedlichen Ebenen umgesetzt. Für das Jahr 2019 ist geplant, die DAS sowie die mit ihr verbundenen strategischen Elemente in einem zweiten Fortschrittsbericht zu evaluieren.

Um die Evaluierung des DAS-Prozesses fachlich vorzubereiten, unterstützte die CEval GmbH adelphi (Berlin) bei der Entwicklung und Erprobung einer passenden Methodik. Allerdings gestaltet sich eine solche Evaluierung mitunter als schwierig: zum einen ist die Bestimmung kausaler Ursache-Wirkungs-Zusammenhänge zwischen Anpassungsaktivitäten und verringerter Vulnerabilität nicht unproblematisch. Zum anderen stellt die Entwicklung quantitativer und messbarer Ziele eine herausfordernde Aufgabe dar. Die entwickelte Methodik berücksichtigte daher diese und weitere Herausforderungen bei der Evaluation von Anpassungsstrategien und erarbeitete entsprechende Lösungen.

Zu diesem Zweck wurden zunächst bestehende Methoden zur Evaluation nationaler Anpassungs- und Nachhaltigkeitsstrategien analysiert und bewertet. Im Zuge dessen wurde außerdem geprüft, inwiefern sich einzelne Aspekte sinnvoll auf die Evaluation des DAS-Prozesses übertragen lassen. Die Ergebnisse der Auswertung und die daraus abgeleiteten Methodenvorschläge wurden anschließend im Rahmen mehrerer Workshops mit relevanten politischen Akteuren diskutiert. Zum Abschluss wurde die Methodik in einem Pilotverfahren getestet und die daraus gewonnenen Erkenntnisse in die abschließende Finalisierung der Evaluationsmethode einbezogen.
Evaluation des Vorhabens "Aufbau bedarfsgerechter und regional harmonisierter Qualitätsinfrastruktur in der Andenregion"9/20151/2016Physikalisch-Technische Bundesanstalt (PTB)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dipl.Reg.Wiss. Christina Gollan

Beschreibung

Das CEval wurde von der Physikalisch-Technischen Bundesanstalt (PTB) mit der Evaluation des Vorhabens „Aufbau bedarfsgerechter und regional harmonisierter Qualitätsinfrastruktur in der Andenregion“ beauftragt. Das Vorhaben umfasste die Länder Bolivien, Ecuador, Kolumbien und Peru und strebte eine Verbesserung der durch die lokalen Institutionen der Qualitätsinfrastruktur (QI) angebotenen Dienstleistungen an. Die Evaluation orientierte sich an den DAC-Kriterien (Relevanz, Effektivität, Impact, Effizienz, Nachhaltigkeit) und den Komponenten des Managementmodells „Capacity Works“ (Strategie, Kooperation, Steuerungsstruktur, Prozesse, Lernen und Innovation). Spezifische Evaluationsfragen waren:  Wie erfolgreich war das Konzept der Schaffung regionaler QI-Angebote?  Inwieweit halten die Partner den regionalen Ansatz für sinnvoll?  Welche Erfolgsfaktoren und Lernerfahrungen lassen sich identifizieren?  Wie erfolgreich war der Ansatz, sektorbezogene Angebotsstrategien pro Land ausarbeiten zu lassen?  Welche Erfolgsfaktoren und Lernerfahrungen gibt es dazu? Zunächst stützte sich die Evaluation ausschließlich auf Projektdokumente, um die Möglichkeit der Durchführbarkeit von rein dokumentbasierten Evaluationen zu beleuchten. Nach einer ersten Einschätzung der Ergebnisse wurden diese durch Interviews mit Projektbeteiligten der PTB und Partnerinstitutionen ergänzt und Empfehlungen für zukünftige Projekte und dokumentenbasierte Evaluationen abgleitet.
Trend- und Wirkungsstudie zum Fairen Handel in Deutschland8/20158/2016Transfair, Servicestelle Kommunen in der Einen Welt, MISEREOR, Brot für die Welt, Forum Fairer Handel; mit Unterstützung der Friedrich-Ebert-Stiftung

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: M.A. Sandra Bäthge

Beschreibung

Der Faire Handel blickt in Deutschland auf eine über 40-jährige Geschichte zurück, in deren Verlauf er sukzessive stärker ins öffentliche Bewusstsein vordrang. Die Wirkungen des Fairen Handels in den Produktionsländern fair gehandelter Produkte sind inzwischen in zahlreichen Studien bearbeitet worden. Demgegenüber fehlen bislang Erkenntnisse darüber, welche Auswirkungen der Faire Handel in den Konsumentenländern zeigt. Diese Lücke schließt die vom CEval durchgeführte Studie zum Fairen Handel in Deutschland. Ihr Ziel ist es, durch den fairen Handel hervorgerufene gesellschaftliche Veränderungen sowie den Beitrag der Fairhandelsbewegung auf diese Trends zu identifizieren. Mithilfe eines partizipativen Ansatzes wird dabei sichergestellt, dass die Expertise und Perspektiven wichtiger Akteure angemessen in die Studie einfließen. Dem Untersuchungsgegenstand widmet sich die Studie weiter entlang eines theoriebasierten Ansatzes und wendet einen ausgewogenen Mix aus qualitativen und quantitativen Methoden an. Zur Datenerhebung werden eine intensive Literaturstudie, qualitative Experteninterviews, Fokusgruppendiskussionen, Online-Erhebungen und eine telefonische Konsumentenbefragung durchgeführt. Die Auswertung der Daten erfolgt unter anderem mittels qualitativer Inhaltsanalysen, Zeitreihenanalysen sowie deskriptiver statistischer Auswertungen. Nach der Datenauswertung werden die Ergebnisse der Studie in einem Bericht aufbereitet und bei einem Abschlussworkshop gemeinsam mit den Auftraggebenden und Unterstützenden der Studie reflektiert.
Begleitende Evaluation des Karriereförderprogramms „Talente sichern – Zukunft gestalten“6/201512/2016Cusanuswerk - Bischöfliche Studienförderung

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Mitarbeiter: Dr. Vera Hennefeld, M.A. Sandra Bäthge

Beschreibung

Das Programm „Talente sichern – Zukunft gestalten“ des Cusanuswerks – Bischöfliche Studienförderung zielt auf die Förderung des weiblichen Führungsnachwuchses. Hierzu setzt das Programm auf Mentoringelemente, also eine tutorielle Betreuung von Stipendiatinnen deutscher Begabtenförderungswerke durch berufserfahrene Akademikerinnen und Akademiker, auf berufsspezifisch ausgerichtete Trainings- und Fördermaßnahmen sowie den Aufbau eines Peer-Networks. Seit Beginn des Karriereförderprogramms im Jahr 2007 führt das Centrum für Evaluation (CEval) zur Qualitätssicherung prozessbegleitende, externe Evaluationen durch. Auch im fünften Programmdurchlauf 2015-2016 fand eine begleitende Evaluation statt. Zentrale Aufgabe dieser Evaluation war es, den durchführungsverantwortlichen Mitarbeiterinnen und Mitarbeitern des Cusanuswerks zeitnah steuerungsrelevante Informationen zur Verfügung zu stellen. Von besonderem Interesse waren entsprechend der Zielsetzungen des Programms Fragen zur Zufriedenheit mit den angebotenen Veranstaltungen, zur Qualität der tutoriellen Beziehungen sowie zum beruflichen und persönlichen Nutzen der Beziehung für beide Seiten. Ergänzend dazu wurde eine Verbleibstudie der ersten vier Förderjahrgänge realisiert. Methodisch stützte sich die Evaluation auf standardisierte Online-Befragungen der Mentees und Mentorinnen und Mentoren zu drei Zeitpunkten; zur Datenerhebung im Rahmen der Verbleibstudie wurden die bislang geförderten Mentees ebenfalls online befragt.
Externe Auditierung im Rahmen der Vergabe des Qualitätssiegels „Fanprojekt nach dem Nationalen Konzept Sport und Sicherheit“5/20156/2016Koordinationsstelle Fanprojekte bei der dsj

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

In Deutschland existiert in Form von Fanprojekten ein dichtes bundesweites Netzwerk von Einrichtungen der Sozialen Arbeit mit jugendlichen Fußballfans, die nach den Rahmenbedingungen und Vorgaben des Nationalen Konzepts Sport und Sicherheit arbeiten (NKSS). Zu Zwecken der Qualitätssicherung und der kontinuierlichen Verbesserung der Arbeit der Fanprojekte wurde 2010 das Qualitätssiegel ‘Fanprojekt nach dem NKSS‘ eingeführt. Dieses soll zu einer verbesserten Wahrnehmung der Fanprojekte beitragen und den Fanprojekten Handlungssicherheit bieten. Das Qualitätssiegel ist 2012 in das überarbeitete NKSS aufgenommen worden und damit auf hoher politischer Ebene anerkannt. Vergeben wird das Qualitätssiegel von der Arbeitsgruppe Qualitätssicherung, in welcher Akteure aus dem Fußball, der obersten Landes- und Familienbehörden, der Wissenschaft sowie der Fanprojekte vertreten sind.

Das Vergabeverfahren des Qualitätssiegels sollte sowohl aus inhaltlicher als auch aus prozeduraler Perspektive überarbeitet werden, um ein Siegel zu schaffen, das ein valides Zeichen für die Güte und Qualität eines Projektes ist. Das Vergabeverfahren soll möglichst objektiv gestaltet sein und Transparenz über die Gründe für eine Vergabe oder auch Nicht-Vergabe des Siegels sichern. Im Rahmen der Überarbeitung des Siegels war es daher Aufgabe des Centrums für Evaluation (CEval), einen Kriterienkatalog sowie einen standardisierten Erhebungsbogen zu entwickeln. Darüber hinaus erarbeitete das CEval in Absprache mit den Partnern ein Konzept für die Umsetzung einer Pilotphase, in der das überarbeitete Qualitätssiegel und dessen Vergabeprozess auf ihre Praxistauglichkeit geprüft wurden. Die Pilotphase wurde mit fünf ausgewählten Fanprojekten umgesetzt. Auf Basis der Erkenntnisse und Erfahrungen der Pilotphase wurden das Konzept und die Instrumente finalisiert.
Synthese von drei Instrumentenevaluationen der Technischen Zusammenarbeit der PTB5/20158/2015Physikalisch-Technische Bundesanstalt (PTB)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: M.A. Sandra Bäthge

Beschreibung

Das CEval wurde von der Physikalisch Technischen Bundesanstalt (PTB) mit der Ergebnissynthese dreier Instrumentenevaluationen beauftragt. 2014 hatte die PTB die separate Evaluation von drei Instrumenten ihrer technischen Zusammenarbeit in Auftrag gegeben – CALIDENA, QuISP und NMI-Metrology User Relations – von denen die ersten beiden vom CEval durchgeführt wurden. Ihrer Ergebnisse sollen nun aggregiert, verglichen und kontrastiert werden um übergeordnete Erfolgsfaktoren und Lernerfahrungen zu identifizieren und relevante Empfehlungen abzuleiten, unter anderem mit Blick auf den zukünftigen Einsatz der Instrumente in der technischen Zusammenarbeit der PTB. Zu diesem Zweck wird das CEval die Evaluationsberichte einer qualitativen Inhaltsanalyse unterziehen und über qualitative Experteninterviews ergänzende Daten sammeln. Die Ergebnisse werden in einem Bericht aufbereitet und der PTB bei einem Workshop präsentiert.
Projektevaluierung und Prüfung einer Folgemaßnahme des GIZ Sektorvorhabens Inklusion von Menschen mit Behinderungen4/201510/2015Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Susanne Johanna Väth

Beschreibung

Im Rahmen der Projektevaluierung wurde geprüft inwiefern das Sektorvorhaben Inklusion von Menschen mit Behinderungen der Deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) entwicklungspolitische Wirkungen entfalten konnte.

In Anlehnung an die OECD-DAC Kriterien wurden Experteninterviews und Fokusgruppendiskussionen geführt sowie M&E-Daten des Sektorvorhabens und weiterführende Dokumente systematisch ausgewertet. Damit wurde ein Beitrag zur Rechenschaftslegung gegenüber dem Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) geleistet, durch die Veröffentlichung eines Kurzberichts den Anforderungen der International Aid Transparency Initiative (IATI) nachgekommen sowie die Grundlage für die Planung einer Folgemaßnahme gelegt.

Aufbereitung methodischer Ansätze und Erfahrungen zur Wirkungsevaluation von Trainingsmaßnahmen im öffentlichen Sektor3/20158/2015Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ), Centro de Investigación y Capacitatión en Administración Pública (CICAP)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: M.A. Sandra Bäthge

Beschreibung

Gemeinsam mit dem in Costa Rica ansässigen Institut CICAP beriet das CEval das GIZ-Vorhaben CADESAN in der Andenregion. Das Regionalvorhaben unterstützt die Entwicklung von Capacity Building Angeboten in den Bereichen Dezentralisierung und Modernisierung der öffentlichen Verwaltung. Der Beratungsauftrag zielte darauf ab, der GIZ und ihren Partnerinstitutionen in der Region eine Analyse und Aufbereitung möglicher methodischer Ansätze zur Verfügung zu stellen, um die Wirkungen entsprechender Capacity Building und Trainingsmaßnahmen zu evaluieren. Hierzu wurden verschiedene Ansätze und Evaluationsdesigns, deren Anwendbarkeit auf den genannten Bereich sowie internationale Erfahrungen und Praktiken aufbereitet. Die Ergebnisse wurden bei einem Training mit der GIZ und ihren Partnern diskutiert.
Wirkungsevaluierung des Nachwuchsförderprogramms „Agentes de Cambio“ in Zentralamerika sowie der Dominikanischen Republik2/20152/2016Friedrich-Ebert-Stiftung (FES)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dipl.Reg.Wiss. Christina Gollan

Beschreibung

Die Friedrich-Ebert-Stiftung (FES) hatte das Centrum für Evaluation mit der Evaluierung des Nachwuchsförderprogramm "Agentes de Cambio" beauftragt, welches ein zentraler Bestandteil der Stiftungsarbeit ist und sich über die Länder Costa Rica, Dominikanische Republik, Guatemala, Honduras, El Salvador, Nicaragua und Panama erstreckt. Ziel der Evaluierung war es, die Wirkungen des Nachwuchsförderprogramms in der Summe zu verstehen und gleichzeitig mögliche länderspezifische Besonderheiten herauszuarbeiten und damit die Basis für Empfehlungen zur Weiterentwicklung des Curriculums, zur Anpassung von Projektzielen und -strategien sowie zur Verbesserung von Steuerungsmechanismen zu legen. Darüber hinaus sollte der FES ein praxistaugliches Datenerhebungsinstrument zum Programmmonitoring und zur Evaluierung in den teilnehmenden Ländern an die Hand gegeben werden. Bei der Evaluierung kombiniert das CEval in einem quasi-experimentellen Untersuchungsdesign teilstandardisierte Online-Erhebungen mit Fokusgruppendiskussionen und leitfadengestützte Experteninterviews.
Evaluation des Programms Baden-Württemberg-STIPENDIUM für Studierende – BWS plus1/201511/2015Baden-Württemberg Stiftung gGmbH

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Seit über zehn Jahren vergibt die Baden-Württemberg Stiftung das Baden-Württemberg-STIPENDIUM, durch das jährlich bis zu 1.400 Studierende aus dem In- und Ausland Stipendien für ein Auslandsstudium erhalten. Mit dem Programmteil BWS plus unterstützt die Baden-Württemberg Stiftung seit 2011 innovative Initiativen baden-württembergischer Hochschulen, die den Auf- und Ausbau von neuen Beziehungen zu ausländischen Hochschulen bzw. die nachhaltige Intensivierung bestehender Kontakte zum Ziel haben. Aufgabe der Evaluation des Programmteils BWS plus war es, das Erreichen der gesetzten Ziele zu überprüfen. Hierbei wurde unterschieden zwischen programmbezogenen (z.B. Ausbau des internationalen Netzwerks, Förderung innovativer Ideen von Studierenden) und strukturellen Zielen (z.B. die Verbesserung der Wahrnehmung des Stipendienprogramms und der Baden-Württemberg Stiftung). Zur Datengewinnung folgte das CEval einem mixed-methods Ansatz. Dabei wurde eine Sekundäranalyse bereits vorhandener Dokumente vorgenommen und es wurden eigene Erhebungen in Form einer standardisierten Onlinebefragung realisiert. Zudem wurden qualitative Leitfadeninterviews mit Projektbeteiligten durchgeführt.
Entwicklung eines Handbuchs zur Einführung und Nutzung von wirkungsorientierten M&E-Ansätzen im Bereich Anpassung an den Klimawandel12/20149/2015Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ), Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Susanne Johanna Väth

Beschreibung

Projekte zur Anpassung an den Klimawandel benötigen ein methodisch ausgereiftes M&E-System, das sich nicht auf das Messen von Effekten auf Outputebene begrenzt, sondern Outcomes und Impacts sowie die Attribution von nachgelagerten Wirkungen zu den Projektaktivitäten berücksichtigt.

Die GIZ ist an das Centrum für Evaluation (CEval) mit Bitte um fachliche Unterstützung bei der Entwicklung eines praxistauglichen Ansatzes zur Impact Evaluation in diesem Bereich herangetreten. Zum einen hat das CEval verschiedene Designs der rigorosen Impact Evaluation zusammengestellt und zum anderen Beispiele zu deren Anwendbarkeit im Kontext von Anpassungsprojekten herausgearbeitet. Ergebnisse wurden in einem Handbuch zur Einführung und Nutzung von wirkungsorientierten M&E-Ansätzen im Bereich Anpassung an den Klimawandel festgehalten. Das Handbuch richtet sich an Mitarbeiterinnen und Mitarbeiter der Ministerien, der Geberinstitutionen und anderer relevanter Organisationen, die Projekte zur Anpassung an den Klimawandel entwickeln, umsetzen, prüfen und verbessern wollen.
Konzeption, (Erst-)Durchführung und Auswertung eines Expertenpanels in Chile zur Analyse qualitativer Rahmenfaktoren des Erneuerbaren Energien Sektors11/20141/2015Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dipl.Reg.Wiss. Christina Gollan

Beschreibung

Die Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ) GmbH unterstützt im Auftrag des Bundesministeriums für Umwelt, Naturschutz, Bau und Reaktorsicherheit (BMUB) das Chilenische Energieministerium bei der Umsetzung von Maßnahmen zur Diversifizierung der Energieversorgung des Landes. Hierfür setzt die GIZ eine Reihe von Vorhaben um, zu denen auch ein Projekt zur Förderung des Ausbaus der Solarenergienutzung zählt. Zu Beginn des Projekts sollten die quantitativen und qualitativen Rahmenfaktoren erfasst werden, die Einfluss auf die Wirksamkeit und Nachhaltigkeit und damit die Zielerreichung des Projekts haben. Insbesondere für die Dokumentation der qualitativen Faktoren waren empirische Daten erforderlich, die im Rahmen eines Expertenpanels, also einer strukturierten Befragung von Energieexperten, erhoben werden sollten. Die CEval GmbH erbrachte im Rahmen dieses Auftrags die folgenden Leistungen: • Konzeptentwicklung: Festlegung der zu befragenden Experten in Abstimmung mit GIZ-Mitarbeitern, Erstellung strukturierter und an verschiedene Akteursgruppen angepasster Fragenkataloge, Konzeption der zukünftig periodisch durchzuführenden Panelerhebungen, methodisches Konzept zur längerfristigen Weiterführung des Expertenpanels • Durchführung der Ersterhebung des Expertenpanels • Auswertung, Nachbereitung und Berichterstattung der Ersterhebung des Expertenpanels • Konzeptentwicklung zur Ableitung quantitativer Wirkungen basierend auf der qualitativen Erhebung unter Anwendung des von Stockmann entwickelten „Trichterverfahrens.
Unterstützung der Aufbereitung von möglichen methodischen Ansätzen zur Evaluierung mittel- und langfristiger Wirkungen der (Politik-) Beratung im spezifischen Kontext des CEPAL-Vorhabens11/201411/2015Hertie School of Governance

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dipl.Reg.Wiss. Christina Gollan

Beschreibung

Die Gesellschaft für Internationale Zusammenarbeit (GIZ) ist im Juli 2014 mit der Durchführung eines zweijährigen TZ-Beratungsvorhabens „Strukturwandel für eine nachhaltige und inklusive Entwicklung“ mit der CEPAL (Wirtschaftskommission für Lateinamerika und die Karibik) beauftragt worden. Vor diesem Hintergrund arbeitet das Vorhaben aktuell mit einem Monitoring-System, welches eine Nachverfolgung der durchgeführten Aktivitäten/Beratungsdienstleistungen der CEPAL (inputs) und deren Nutzung (outputs) erlaubt. Eine Beobachtung der langfristigen Wirkungen findet bisher nur bedingt statt.

Die Hertie-School of Governance (HSoG) wurde mit der Aufbereitung von möglichen methodischen Ansätzen zur Evaluierung mittel- und langfristiger Wirkungen von (Politik-) Beratung im spezifischen Kontext des CEPAL-Vorhabens beauftragt. Da es für eine erfolgreiche Umsetzung des Beratungsprozesses neben Kenntnissen aus der Politikberatung umfassender Expertise in der Evaluationsforschung und -praxis bedarf, ist die HSoG an das Centrum für Evaluation (CEval) herangetreten um dieses als Konsortialpartner zu gewinnen.

Der Beratungsprozess setzt sich dabei aus den folgenden drei Arbeitspaketen zusammen:

  • Grundlegende Aufbereitung theoretischer Ansätze zur Evaluierung von Politikberatung (unter Bezugnahme auf qualitative Methoden der empirischen Sozialforschung);

  • Aufarbeitung von praktischen Erfahrungen aus der Politikberatung, wenn möglich in vergleichbaren Kontexten;

  • Darstellung eines methodischen Ansatzes zur Messung von mittel- und langfristigen Wirkungen aufbauend auf den Erkenntnissen der ersten beiden Arbeitspakete für den spezifischen Kontext des Kooperationsprogramms mit der CEPAL.

    Das CEval war schwerpunktmäßig am dritten Arbeitspaket beteiligt und entwickelte einen methodischen Ansatz, welcher eine Kombination von vorhabenübergreifendem Impact- und programmspezifischem Outcome-M&E umfasst. Der Ansatz sieht dabei einen Methodenmix aus Dokumentenanalyse, standardisierten (Online)Befragungen und leitfadengestütztem Expertenpanel vor.

Verbleibstudie: Evaluation der Begabtenförderung der Heinrich-Böll-Stiftung e.V.11/20149/2015Heinrich-Böll-Stiftung e.V (hbs)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Zu den zentralen Aufgaben der Heinrich-Böll-Stiftung (hbs) gehört die Studien- und Promotionsförderung. Seit dem Beginn der Studien- und Promotionsförderung im Jahre 1990 wurden rund 3000 Studierende und Promovierende gefördert. Das Ziel der Nachwuchsförderung ist es, die ausgewählten Persönlichkeiten sowohl materiell wie ideell zu unterstützen und damit einen Beitrag zur Förderung der demokratischen Kultur sowie grüner Ideen und Werte zu leisten. Das CEval führte zur Evaluation der Langzeitwirkung der Begabtenförderung eine Verbleibstudie aller ehemaligen Stipendiatinnen und Stipendiaten der hbs durch. Die Förderwirkungen der hbs in Studium und Promotion wurden dabei erstmals dokumentiert und fach-, zielgruppen- und diversityspezifisch analysiert. Aufgabe war es, die Langzeitwirkungen der Begabtenförderung zu analysieren und die Befunde mit den Ergebnissen anderer Absolventen- und Verbleibstudien zu vergleichen. Zur Datengewinnung folgte das CEval einem mixed-methods Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Daten und Dokumente vorgenommen und es wurden eigene Erhebungen in Form einer standardisierten Onlinebefragung der Alumni und qualitativen Leitfadeninterviews mit Alumni und Zuständigen der hbs durchgeführt.
Meta-Evaluierung: Evaluierungen in der Internationalen Entwicklungszusammenarbeit der Friedrich-Ebert-Stiftung (FES)10/20144/2015Friedrich-Ebert-Stiftung (FES)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Susanne Johanna Väth

Mitarbeiter: Dr. Susanne Johanna Väth

Beschreibung

Um die eigene Arbeit kontinuierlich zu verbessern, um als Organisation aus gesammelten Erfahrungen Lernprozesse zu initiieren und um der Rechenschaftspflicht gegenüber dem Zuwendungsgeber nachzukommen, gibt die Abteilung Internationale Entwicklungszusammenarbeit (IEZ) der Friedrich-Ebert-Stiftung (FES) pro Jahr circa zehn externe Evaluierungen in Auftrag.

Im Rahmen einer Meta-Evaluierung wurde das Centrum für Evaluation (CEval) mit der Analyse von 18 Evaluierungsberichten beauftragt, die zwischen 2012 und 2014 in einer Phase erstellt wurden in der sich das Qualitätsmanagement der IEZ stark weiterentwickelt hat. Ziel der Meta-Evaluierung ist es systematische Stärken und Schwächen der gängigen Evaluierungspraxis zu identifizieren, daraus Erkenntnisse für die Verbesserung der Qualität von künftigen Evaluierungen abzuleiten und so deren Nützlichkeit für Projektleitungen und die zuständigen Referate zu erhöhen.

Während die Qualität der Evaluierungsberichte in einer Deskstudie analysiert wird, finden darüber hinaus vertiefende Experteninterviews und Fokusgruppendiskussionen innerhalb der FES statt um die Nützlichkeit der Evaluierungen zu bewerten.

Weiterentwicklung des Monitoring und Berichtssystems zum Aktionsplan „Inklusion von Menschen mit Behinderungen“ in der deutschen entwicklungspolitischen Zusammenarbeit10/201411/2015Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ), Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Stefan Silvestrini

Beschreibung

Das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) hat im Februar 2013 zur Umsetzung der Verpflichtungen, die sich aus Artikel 32 der Konvention über die Rechte von Menschen mit Behinderungen (MmB) der Vereinten Nationen ergeben, den Aktionsplan zur Inklusion von MmB veröffentlicht. Dieser gibt die zentralen Leitlinien und strategischen Ziele der Bundesrepublik Deutschland für die inklusive Gestaltung ihrer entwicklungspolitischen Zusammenarbeit vor.

Zur Fortschrittsbewertung und zur Steuerung der im Rahmen des Aktionsplans durchgeführten Maßnahmen bedurfte es eines adäquaten Monitoringsystems und Berichtswesen für dessen Konzeption methodisches Fachwissen notwendig ist. Dementsprechend wurde das Centrum für Evaluation (CEval) beauftragt das Sektorvorhaben „Inklusion von Menschen mit Behinderungen“ der deutschen Gesellschaft für Internationale Zusammenarbeit (GIZ) und das Referat 300 des BMZ bei der Erstellung eines Monitoring- und Analyserahmen zu unterstützen.

Begleitende Evaluation des Projektes “Media in Libya – Stability through Structure”9/20146/2018Deutsche Welle-Akademie

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Das Projekt „Media in Libya - Stability through Structure“ hatte das übergeordnete Ziel, die Einführung einer modernen Mediengesetzgebung in Libyen zu unterstützen und die Medieninstitutionen des Landes zu stärken. Darüber hinaus sollte das Projekt zu einer Stärkung von unabhängigem und professionellem Journalismus in den Provinzen Libyens beitragen. Das Projekt hatte eine Gesamtlaufzeit von insgesamt 30 Monaten und wurde von der Europäischen Kommission im Rahmen des SPRING Programms gefördert. Gesteuert und umgesetzt wurde das Projekt von der Deutsche Welle-Akademie (Abteilung Medienentwicklung, Team Afrika) in Kooperation mit dem Institute for War and Peace Reporting (IWPR). Die Maßnahmen des Projekts waren in vier Aktivitätscluster untergliedert, von denen die DW-Akademie drei und das IWPR eines bearbeitete. Das CEval evaluierte in diesem Projekt die Cluster 1 bis 3, für deren Umsetzung die DW-Akademie verantwortlich war.

Die Evaluierung des Projekts unterteilte sich in eine Basis-, eine Zwischen- und eine Abschlussevaluation zum Ende der Implementierungsphase. Zur Datengewinnung folgte das CEval einem „mixed-methods“ Ansatz. Dabei wurde eine vertiefende Analyse bereits vorhandener Dokumente vorgenommen und es wurden eigene Erhebungen (standardisierte Onlinebefragungen der Teilnehmer der Trainings und qualitative Leitfadeninterviews mit externen Experten und Verantwortlichen der DW-Akademie) durchgeführt.
Evaluation von CALIDENA – Partizipatives Instrument zur Qualitätsinfrastrukturentwicklung8/20143/2015Physikalisch-Technische Bundesanstalt (PTB)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: M.A. Sandra Bäthge

Beschreibung

Das CEval wurde von der Physikalisch Technischen Bundesanstalt (PTB) mit der Evaluierung von CALIDENA beauftragt, einem partizipativen Instrument zur Unterstützung der systematischen und nachhaltigen Verbesserung von Qualitätsinfrastrukturen in Entwicklungsländern. Die Evaluierung zielt darauf ab, auf Grundlage bisher gesammelter Erfahrungen mit dem Instrument, relevante Informationen für dessen Weiterentwicklung und Übertragung auf neue Kontexte bereitzustellen.
Zu diesem Zweck wendet das CEval einen ausgewogenen Methodenmix an. Zur Informationsgewinnung werden qualitative Experteninterviews mit quantitativen Erhebungen, teilnehmenden Beobachtungen und Gruppeninterviews verbunden. Nach deren Auswertung werden die Ergebnisse in einem Bericht aufbereitet und präsentiert und fließen in eine übergeordnete Evaluationssynthese verschiedener Instrumente der PTB im Bereich Qualitätsinfrastrukturentwicklung ein, die ebenfalls vom CEval durchgeführt wird.
Evaluation des Mitarbeitergesprächs 2014 der Saarstahl AG8/201411/2014Saarstahl AG

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Im Jahr 2013 führte die Saarstahl AG auf Wunsch der Führungskräfte systematische Mitarbeitergespräche (MAG) als Instrument der Mitarbeiterführung ein. Dieses partnerschaftliche, anlassunabhängige Vieraugengespräch wird nun jährlich zwischen Mitarbeitern mit Führungsverantwortung und deren Vorgesetzten durchgeführt, um eine verbesserte Ausrichtung auf die Ziele des Unternehmens und die Unternehmenskultur zu erreichen und eine Förderung der Mitarbeiter und Verbesserung der Zusammenarbeit innerhalb des Unternehmens zu realisieren. Die Aufgabe der Evaluation des MAG 2014 war es zu prüfen, ob das MAG auch im zweiten Jahr erfolgreich von MitarbeiterInnen wie Führungskräften aufgenommen wird und ob erste Trends in der Akzeptanz und Umsetzung des MAG identifiziert werden können. Ein besonderer Fokus lag dabei auf der Vorbereitung der Mitarbeiter auf das Gespräch (Schulungen, Materialien), die Umsetzung und Kommunikation von Zielvereinbarungen sowie Förder- und Entwicklungsmaßnahmen und der generellen Handhabbarkeit des Instruments hinsichtlich Inhalt und Struktur. Darüber hinaus galt es zu bewerten, inwieweit das MAG als sinnvolles Instrument der Mitarbeiterführung angesehen wird und ob dadurch eine Verbesserung der Führungskultur im Unternehmen Saarstahl erreicht werden konnte. Ziel war es, das MAG in seiner gegenwärtigen Form zu bewerten und ggf. Optimierungspotenziale zu identifizieren. Hierzu wurde von der CEval GmbH in Abstimmung mit der Saarstahl AG eine standardisierte Online-Befragung der MitarbeiterInnen des Unternehmens über verschiedene Hierarchieebenen hinweg konzipiert und durchgeführt. Die im Rahmen der Evaluation erhobenen quantitativen Daten wurden dann im Rahmen der Berichtslegung unter Einbezug der Daten der MAG-Evaluation 2013 in einer Längsschnittanalyse ausgewertet.
Evaluation des Blended-Learning Kurses „Qualitätsinfrastruktur für Nachhaltige Entwicklung“6/20149/2014Physikalisch-Technische Bundesanstalt (PTB)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Susanne Johanna Väth

Beschreibung

Das Centrum für Evaluation (CEval) wurde von der Physikalisch-Technischen Bundesanstalt mit der Evaluation des Blended-Learning-Kurses „Qualitätsinfrastruktur für Nachhaltige Entwicklung“ beauftragt. Ziel des Kurses ist der Aufbau von individuellem Know-how und institutionellen Kapazitäten zur Verbesserung der Qualitätssicherung in Entwicklungsländern. Dabei stehen Standardisierung, Normierung und verwandte Themenfelder im Mittelpunkt.

Durch die Evaluation werden wichtige Erkenntnisse zur Verbesserung der Kursinhalte, der Umsetzung des Blended-Learning-Kurses, sowie zur Ausweitung des Kursangebots gewonnen.

Evaluation des Deutsch-Ägyptischen Forschungsfonds (GERF)6/201410/2014Deutsches Zentrum für Luft- und Raumfahrt (DLR), Bundesministerium für Bildung und Forschung (BMBF)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Susanne Johanna Väth

Beschreibung

Der Projektträger im Deutschen Luft- und Raumfahrtzentrum (DLR) setzt im Auftrag des Bundesministeriums für Bildung und Forschung (BMBF) die Programmaktivitäten des Deutsch-Ägyptischen Forschungsfonds (GERF) um. Die zu evaluierenden Programmaktivitäten umfassen zwei Förderrunden (GERF I: 2009-2011, GERF II: 2011-2013/14), in deren Rahmen deutsch-ägyptische Forschungsvorhaben in den Bereichen Biotechnologie, Energieeffizienz und erneuerbare Energien, Wasserentsalzung, Gesundheit sowie Management natürlicher Ressourcen finanziell unterstützt wurden.

Das CEval wurde sowohl mit der Ex-post- (bzgl. GERF I) als auch mit der Zwischenevaluation (bzgl. GERF II) beauftragt. Dementsprechend gilt es zum einen die durch GERF I erreichten Ziele und nachgelagerten Wirkungen sowie deren Nachhaltigkeit zu bewerten und zum anderen den Umsetzungsprozess des noch laufenden GERF II Programms hinsichtlich dessen Design und Effizienz zu untersuchen und auf Grundlage der Untersuchungsergebnisse Empfehlungen für die Fortführung von GERF II sowie die Konzeption zukünftiger Förderzyklen auszuarbeiten.

Externe Evaluation von vier Projekten im Bereich Bewusstseinsbildung und Erstellung eines Syntheseberichts6/20146/2015Christoffel-Blindenmission (CBM)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Susanne Johanna Väth

Mitarbeiter: Dr. Susanne Johanna Väth

Beschreibung

Als internationale christliche Entwicklungsorganisation hat sich die Christoffel Blindenmission (CBM) die Verbesserung der Menschenrechtssituation und die Inklusion von Menschen mit Behinderungen zum Ziel gesetzt. Dabei kommt der Bewusstseinsbildung als Komponente zahlreicher Entwicklungsprojekte eine wichtige Rolle zu. CBM Deutschland beauftragte das CEval mit der Evaluation von vier Projekten und der Erstellung eines Syntheseberichts, um mehr über die Implementierung von Bewusstseinsbildungsaktivitäten zu lernen, ihren Beitrag zu CBMs übergeordneten Zielen besser zu verstehen und nachzuvollziehen wie projekt-und länderspezifische Faktoren unterschiedliche Wirkungen produzieren.

Mit Kofinanzierung durch die Europäische Union oder das Bundesministerium für wirtschaftliche Entwicklung und Zusammenarbeit implementiert CBM Deutschland zwei Projekte in den Palästinensischen Gebieten (Gaza-Stadt und Gaza-Streifen), die an den Bedürfnisse von Menschen mit Hörbehinderung ansetzen, ein Projekt in Indien um die augenärztliche Versorgung im ländlichen Raum und die Rehabilitierung von Menschen mit Sehbehinderung zu verbessern und ein Projekt in Swasiland, dass sich für die Stärkung der Rechte von Menschen mit Behinderung und deren Inklusion einsetzt. Diese sehr unterschiedlichen Projekte erlaubten es die Thematik Bewusstseinsbildung von verschiedenen Perspektiven zu untersuchen und somit zu einem besseren Verständnis der verschiedenen Ansätze, zugrundeliegenden Wirkungsketten und (erwarteten) Wirkungen beizutragen. Während die Projekte in Gaza-Stadt und Indien einer Zwischenevaluation unterzogen wurden, wurde für die Projekte im Gaza-Streifen und in Swasiland eine Abschlussevaluation durchgeführt.

Entwicklung eines Monitoring- und Evaluierungsrahmens für das Plan Projekt „Adolescent Boys: Champions of Change on Gender Equality and Girls’ Rights“6/20148/2015Plan International Deutschland e.V.

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dipl.Reg.Wiss. Christina Gollan

Beschreibung

Plan International ist eine nicht-religiöse und nicht-politische Nichtregierungsorganisation welche sich für die dauerhafte Verbesserung der Lebensumstände von Kindern in Afrika, Asien und Lateinamerika einsetzt. Um die Gleichberechtigung der Geschlechter zu fördern und Jungen und Männer in diese Arbeit zu involvieren, starteten Plan International Deutschland und Plan International Finnland zusammen mit vier Länderbüros aus Lateinamerika das Pilotprojekt „Adolescent Boys: Champions of Change on Gender Equality and Girls Rights“. Das Projekt bildete männliche Jugendliche zu Tutoren für Geschlechtergleichstellung aus und wurde in fünf Ländern umgesetzt: El Salvador, Guatemala, Honduras, Dominikanische Republik und Deutschland. Das Centrum für Evaluation (CEval) evaluierte das Pilotprojekt mit Hilfe quantitativer und qualitativer Methoden, sammelte gemachte Erfahrungen und entwickelte einen Monitoring- und Evaluationsrahmen für die zukünftige Implementierung und Ausweitung des Projekts.
Entwicklung und Umsetzung eines organisationsweiten wirkungsorientierten Monitoring- und Evaluationssystems5/20144/2017Engagement Global Service für Entwicklungsinitiativen gGmbH

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Kooperationspartner: iSPO Institut - Institut für Sozialforschung, Praxisberatung und Organisationsentwicklung GmbH

Beschreibung

Ziel des Beratungsprojekts war es, ein unternehmensweites, wirkungsorientiertes Monitoring- und Evaluations- (M&E) System zu entwickeln und gemeinsam mit den Programmverantwortlichen umzusetzen. Aufgrund der Komplexität des abzubildenden Wirkungsgefüges, das insgesamt 17 Bildungs- und Förderprogramme, kommunale Entwicklungsprogramme und Dienstleistungen sowie die Unternehmensziele von Engagement Global umfasste, wies das Vorhaben einen klaren Forschungsbezug auf. Es ist damit das erste ganzheitliche wirkungsorientierte M&E auf Unternehmensebene in der Entwicklungszusammenarbeit.

Entsprechend des durch die Systemkomplexität und der großen Anzahl von involvierten Akteuren (Unternehmensleitung und Programmverantwortliche von Engagement Global, kommunale und zivilgesellschaftliche Akteure, BMZ etc.) bedingten hohen organisatorischen Aufwands, folgte das Vorhaben einem mehrstufigen, partizipativen Beratungsansatz. Ausgangspunkt war dabei eine Bestandsaufnahme der bislang in den einzelnen Programmen und Dienstleistungsbereichen von Engagement Global bereits genutzten Indikatoren, Erhebungsinstrumente und Auswertungsverfahren.

Im Anschluss daran wurde auf Grundlage rekonstruierter und entsprechend validierter spezifischer Wirkungsgefüge überprüft, inwieweit damit die Wirksamkeit der einzelnen Programme und Dienstleistungen erfasst wird und welche Informationslücken noch bestehen. Besonderes Augenmerk lag hierbei auch auf der Erfassung des Beitrags der einzelnen Programmwirkungen zur Erreichung der Unternehmensziele von Engagement Global. Im nächsten Schritt wurde dann wiederum gemeinsam mit den Programmverantwortlichen das bestehende Instrumentarium weiterentwickelt und die Umsetzbarkeit der neuen Elemente praktisch erprobt. Die Ergebnisse dieses Entwicklungsprozesses wurden schließlich in einem umfassenden M&E-Konzept dokumentiert und in das organisationsweite Qualitätssicherungssystem technisch sowie mittels entsprechender Schulungsmaßnahmen operativ integriert.
Meta-Evaluation von 34 Evaluationsberichten zu den Regional-Entwicklungsprogrammen von World Vision Deutschland4/20147/2014World Vision Deutschland e.V. (WVD)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Susanne Johanna Väth

Beschreibung

World Vision Deutschland hat das CEval beauftragt 34 Evaluationsberichte seiner langfristig angelegten Regional-Entwicklungsprogramme einer Meta-Evaluation zu unterziehen. Ziel ist es dabei, die Berichte im Hinblick auf ihre Qualität und Aussagekraft zu den ihnen zugrundeliegenden Fragestellungen zu bewerten und Empfehlungen für das Design und die Umsetzung zukünftiger Evaluationsvorhaben zu entwickeln.

Methodisch konzentriert sich das CEval dabei auf ein zweistufiges Auswertungsverfahren, das sich an die Evaluationskriterien Relevanz, Effektivität, Effizienz, Wirkung und Nachhaltigkeit des OECD/DAC anlehnt. In einem ersten Schritt werden die von WVD erarbeitete Kriterien Mitsprache und Inklusion, Transparenz, Angemessenheit der Methoden, Methodik, Triangulation, sowie Identifizierung des Programmbeitrags anhand von verschiedenen Unterkriterien bewertet, die schließlich in einem zweiten Schritt aggregiert werden.

Darüber hinaus unterstützt das CEval WVD bei der Entwicklung seines Wirkungsberichts in Form von kritischer Kommentierung sowie Beratung zu methodischen Aspekten.

Durchführung einer Mitgliederbefragung von IMMOEBS e.V.2/20146/2014IMMOEBS e.V.

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Mitarbeiter: Dr. Vera Hennefeld

Beschreibung

IMMOEBS e.V. ist der Verein der Ehemaligen und Förderer der Post-Graduate- und Masterstudiengänge zur Immobilienökonomie an der European Business School und der Universität Regensburg. IMMOEBS wurde 1991 gegründet und hat derzeit ca. 2.600 Mitglieder; es ist damit das größte Alumni-Netzwerk der Immobilienwirtschaft in Deutschland.

IMMOEBS hat das CEval mit einer Mitgliederbefragung beauftragt. Übergeordnetes Ziel der als Online-Erhebung angelegten Befragung ist es, die Bewertung von IMMOEBS und seinen Aktivitäten durch die Mitglieder zu erfassen und Entwicklungspotenziale und eventuelle Anpassungsbedarfe zu identifizieren.

Studie „Gute Arbeit im Vollzug – eine Studie zu Arbeitsbedingungen und Gesundheit im saarländischen Justizvollzug“ 2/201410/2014Ministerium der Justiz des Saarlandes

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Mitarbeiter: Dr. Vera Hennefeld

Beschreibung

Im Jahr 2011 wurde der Justizvollzug im Saarland einer Strukturreform unterzogen, die unter anderem mit einer Schließung von Teilanstalten einherging. Vor dem Hintergrund der seitherigen Veränderungen ist es Aufgabe der Studie, die Auswirkungen auf Arbeitsbedingungen, Arbeitsmotivation und Gesundheit der Beschäftigten des saarländischen Justizvollzugs zu analysieren. Auf Basis der Untersuchungsergebnisse sollen Empfehlungen zur Optimierung der Veränderungsprozesse abgeleitet und geeignete Maßnahmen für ein nachhaltiges anstaltsspezifisches Arbeits- und Gesundheitsmanagement aufgezeigt werden.

Die Datengewinnung basiert auf einem „mixed-methods“-Ansatz, d.h. es erfolgt eine vertiefende Analyse bereits vorhandener Dokumente und Daten und es werden Daten im Rahmen von qualitativen Befragungen (Leitfadeninterviews und Fokusgruppen) und einer quantitativen Befragung der Mitarbeiter des saarländischen Justizvollzugs erhoben und ausgewertet.

Evaluation der Umsetzung des internetstrategischen Konzepts „Länderportale als interkulturelle Begegnungsplattform“ 10/201312/2013Goethe-Institut e.V.

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Gegenstand der Evaluation ist die Umsetzung des internetstrategischen Konzepts des Goethe Instituts (GI) „Länderportale als interkulturelle Begegnungsplattform“. Dieses Konzept ist seit 2011 für das GI handlungsleitend und folgt dem Leitgedanken, dass

- Interkulturalität und Dialog als Wirkprinzipien des Goethe-Instituts zu sehen sind,
- das Erlebnis der Begegnung durch Multimedia und Online-Interaktion bedeutsam ist,
- das Online-Angebot im Sinne einer Plattform durch (eine gewisse) Reichhaltigkeit und Dauerhaftigkeit gekennzeichnet ist und
- die Nutzer sich beteiligen und Inhalte beitragen können.

Die interkulturellen Begegnungsplattformen zielen somit sowohl auf Informationsvermittlung als auch auf interkulturelle Sensibilisierung und interkulturellen Austausch.

Im Rahmen der Evaluationsstudie soll untersucht werden, ob die mit den Länderportalen angestrebten Ziele und die vorgesehen Zielgruppen erreicht werden. Zudem soll die Effektivität der Länderportale hinsichtlich der Informationsvermittlung und des interkulturellen Austauschs analysiert werden. Aus den dabei gewonnenen Erkenntnissen ist des Weiteren die Ableitung von konkreten Schlussfolgerungen und Empfehlungen zur Weiterentwicklung des Konzepts bzw. der Länderportale vorgesehen.

Zur Datengewinnung folgt das CEval einem „mixed-methods“-Ansatz. Dabei wird eine vertiefende Analyse bereits vorhandener Dokumente und Daten aus einer Online-Befragung des GI vorgenommen. Zudem werden eigene Erhebungen (qualitative Leitfadeninterviews) durchgeführt.

Energising Development (EnDev) Herdstudie in Äthiopien10/20137/2014Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Stefan Silvestrini

Beschreibung

Das GIZ-Projekt „Energising Development“ (EnDev) ist eine gemeinsame Initiative der Regierungen Australiens, Deutschlands, der Niederlande, Norwegens und des Vereinten Königreichs. Gegenstand der Studie ist das Energy Coordination Office (ECO) in Äthiopien, ein Teilprojekt von EnDev. ECO (oder EnDev Ethiopia) hat zum Ziel, einen kommerziellen Sektor und nachhaltigen Markt für energieeffiziente Kochherde in Äthiopien aufzubauen. Dabei fokussiert sich der Projektansatz sowohl auf die Stärkung der Angebotsseite durch die Verbesserung der betriebswirtschaftlichen und technischen Fähigkeiten von Herdproduzenten, als auch auf die Stimulation der Nachfrage seitens der Haushalte in Äthiopien.

Im Rahmen einer umfangreichen Herdstudie wird die Zielerreichung des ECO-Projektes in drei Projektregionen untersucht. Die Studie verfolgt somit folgende Ziele

  • die Nachhaltigkeit von ECOs Interventionen in drei Projektregionen unter Anwendung der EnDev-internen Nachhaltigkeitskriterien und anhand des HERA-Nachhaltigkeitsansatzes (HERA – Poverty-Oriented Basic Energy Services) zu analysieren und bewerten,
  • Empfehlungen für die zukünftige Steuerung der EnDev-Projekte anhand der Ergebnisse zu generieren.

Ergänzend zu einer Dokumentenanalyse von relevanten Projekt- und Sektorpapieren werden vor Ort standardisierte und qualitative Daten zur Datentriangulation erhoben. Das CEval unterstützt mit seiner Methodenexpertise in Datenerhebung und -auswertung die Durchführung der Studie.
Unabhängige Evaluierungen 2013/2014 im Sektor Ländliche Entwicklung: Management und Nutzung natürlicher Ressourcen, sowie Kapazitätenaufbau in Zentralamerika9/20137/2014Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Im diesem Zyklus der Unabhängigen Evaluierungen werden drei GIZ-Entwicklungsmaßnahmen durch das CEval evaluiert:
  •  Förderung nachhaltiger Ressourcennutzung und lokale wirtschaftliche Entwicklung in Honduras (PRORENA), Honduras
  •  Nachhaltiges Ressourcenmanagement und Förderung unternehmerischer Kompetenzen (MASRENACE), Nicaragua
  •  Entwicklung und Stärkung von Kompetenzen und Kapazitäten zum Management natürlicher Ressourcen in Zentralamerika (Alianza de Aprendizaje)

Ziel der Evaluierung ist es, ein vollständiges Bild der eingetretenen (positiven wie negativen, intendierten und nicht-intendierten) Veränderungen zu liefern (-->Ermittlung der Wirkungsbilanz). Dabei folgt das Vorgehen der Logik eines „Trichteransatzes“, indem es zunächst alle für den Sektor relevanten Veränderungen erfasst und in einem zweiten Schritt analysiert, welche dieser Veränderungen ursächlich mit den Programminterventionen in Zusammenhang stehen (-->Wirkungsattribution).

Zur Informationsgewinnung und zur Herstellung der kontrafaktischen Situation wendet das CEval einen ausgewogenen Methodenmix an. Dabei erfüllt das CEval u.a. folgende Leistungen:
  •  Entwicklung eines übergeordneten Wirkungsmodells der drei Vorhaben aus den Projektdokumenten, das der Bewertung der Evaluierung zugrunde liegt,
  •  Durchführung von qualitativen Interviews mit Schlüsselakteuren und Fokusgruppeninterviews mit Zielgruppen,
  •  Umsetzung quantitativer Befragungen auf Zielgruppenebene,
  •  bio-technische Analysen von Bodenproben und Biodiversitätsfaktoren (wie z.B. Erhebung der Bestandsgrundfläche und Anzahl der Baumarten).

Im letzten Schritt werden die Querschnittsauswertungen aller drei Entwicklungsmaßnahmen in einem Synthesebericht zusammengefasst.
Evaluation des Mitarbeitergesprächs 2013 der Saarstahl AG6/201310/2013Saarstahl AG

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Im Jahr 2013 führte die Saarstahl AG auf Wunsch der Führungskräfte systematische Mitarbeitergespräche (MAG) als Instrument der Mitarbeiterführung ein. Dieses partnerschaftliche, anlassunabhängige Vieraugengespräch wird nun jährlich zwischen Mitarbeitern mit Führungsverantwortung und deren Vorgesetzten durchgeführt, um eine verbesserte Ausrichtung auf die Ziele des Unternehmens und die Unternehmenskultur zu erreichen und eine Förderung der Mitarbeiter und Verbesserung der Zusammenarbeit innerhalb des Unternehmens zu realisieren.

Die Aufgabe der Evaluation des MAG 2013 war es zu prüfen, ob die Einführung des MAG erfolgreich verlaufen ist. Besonderer Fokus lag dabei auf der Vorbereitung der Mitarbeiter auf das Gespräch (Schulungen, Materialien) sowie auf der Handhabbarkeit des Instruments hinsichtlich Inhalt und Struktur. Darüber hinaus galt es zu bewerten, inwieweit das MAG als sinnvolles Instrument der Mitarbeiterführung angesehen wird und ob dadurch eine Verbesserung der Führungskultur im Unternehmen Saarstahl erreicht werden konnte. Ziel war es, das MAG in seiner gegenwärtigen Form zu bewerten und ggf. Optimierungspotenziale zu identifizieren.

Hierzu wurde von der CEval GmbH in Abstimmung mit der Saarstahl AG eine standardisierte Online-Befragung der Mitarbeiter des Unternehmens über verschiedene Hierarchieebenen hinweg konzipiert und durchgeführt. Im Vorfeld dazu wurden leitfadengestützte Interviews unter anderem mit für die Implementierung verantwortlichen Personen sowie mit ausgewählten Mitarbeitern unterschiedlicher Hierarchieebenen des Unternehmens geführt.

Unterstützung der Qualitätssicherungsprozesse des SIAP6/20133/2014Saarländisches Institut zur Aus- und Weiterbildung in Psychotherapie (SIAP)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Das Saarländische Institut zur Aus- und Weiterbildung in Psychotherapie (SIAP) wurde 1995 gegründet und gehört zur Saarland Heilstätten GmbH (SHG). Das Institut ist eine staatlich anerkannte Ausbildungsstätte unter anderem für Psychologische Psychotherapeuten und Kinder- und Jugendpsychotherapeuten.

Aufgabe der seitens des SIAP beauftragten Beratung, die auch eine Evaluation einschloss, war es für die beiden Ausbildungen a) Verbesserungspotentiale innerhalb der Ausgestaltung der Ausbildung aufzudecken und b) zur Qualitätssicherung der Kurse einen Fragebogen zu entwickeln.

Dafür wurden neben einer vertiefenden Analyse vorhandener Akten, Programmdokumente und der einschlägigen Literatur vor allem Leitfaden- und Gruppeninterviews mit den Ausbildungsteilnehmern (aus unterschiedlichen Ausbildungsstufen), den Praxisanleitern, den Dozenten und Supervisoren – und damit mit allen an der Ausbildung beteiligten Akteuren – durchgeführt.

Besonders im Fokus stand dabei die Frage, inwieweit die Ausbildungsabsolventen durch Optimierungen der Ausbildungsprozesse entlastet und gleichzeitig zielgerichteter auf eine Tätigkeit in der therapeutischen Praxis vorbereitet werden können. Alle Daten wurden einer synergetischen Datenauswertung unterzogen und mündeten in einem kurzen Evaluationsbericht inklusive Empfehlungen zur Weiterentwicklung der Ausbildung.

Daran anschließend wurde ein Fragebogen zur fortlaufenden Qualitätssicherung der Ausbildungskurse entwickelt, in den neben den Ergebnissen aus der Literaturanalyse die Erkenntnisse aus den qualitativen Interviews einflossen. Damit die Datenerhebungen sowie deren Auswertung von den Mitarbeitern des Instituts auch nach Beendung des Evaluationsprojekts in Eigenregie erfolgen können, wurde im Rahmen des Vorhabens zusätzlich ein Leitfaden entwickelt.

UNICEF-Mehrländer-Evaluation zu Inklusion aller Kinder in qualifiziertes Lernen in MOEL/GUS Staaten 6/20137/2014United Nations International Children's Fund (UNICEF)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dipl.Reg.Wiss. Christina Gollan

Beschreibung

Die Evaluation bewertet (i) inwiefern UNICEF einen Beitrag geleistet hat, damit die Programminterventionen sich mit wichtigen Kinderrechtsverletzungen im Bereich Bildung befasst, Gleichheitsdiskrepanzen verringert und zu Wirkungen zur Verbesserung der Situation von Kinder geführt haben. Fernerhin, werden (ii) Lehren aus den Lernpraktiken, -innovationen und –modelle gezogen, die für zukünftige Steuerungsprozesse innerhalb UNICEF zur Verfügung gestellt werden.
Der Evaluation liegen daher folgende Ziele zugrunde:
  •  nachzuweisen und zu dokumentieren welche Veränderungen im Leben von Kindern in den letzten zehn Jahren stattgefunden haben,
  •  zu bewerten und zu demonstrieren wie diese Wirkungen durch Systemveränderungen zustande gekommen sind, und
  •  den Beitrag UNICEFs zu diesen Systemveränderungen zu dokumentieren.

Zudem beachtet die Evaluation folgende Aspekte bei der Wirkungsbilanzierung:
  •  Kontextangemessenheit (bezüglich der Anpassung von Programmansätzen an qualitative Unterschiede);
  •  Koordination (mit anderen Stakeholder);
  •  (iii) Koheränz (über verschiedene Politiken und anderen unterstützenden Interventionen); und
  •  Schutz (im Sinne von Angemessenheit von jeweiligen Bildungssystemen auf den Schutz von vulnerablen Gruppen).

Letztlich, leistet die Evaluation einen Beitrag dazu, dass zukünftige Programme verbessert werden, indem sie verschiedene Kindergruppen berücksichtigen, die gefährdet sind die Schule abzubrechen bzw. der Schule fernzubleiben.
Wirkungsevaluierung der Aktivitäten der HSS im Bereich „Civic Education“ in Kenia5/20137/2014Hanns-Seidel-Stiftung (HSS)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Die Hanns-Seidel-Stiftung (HSS) ist seit mehr als 35 Jahren in der Entwicklungszusammenarbeit aktiv und arbeitet seit 1987 im Rahmen ihres Regionalprojekts Ostafrika in Kenia. 2013 sollen nun erstmals die Aktivitäten im Bereich Civic Education in Kenia einer Wirkungsevaluierung unterzogen werden. Diese Aktivitäten umfassen in erster Linie Weiterbildungsseminare zur politischen Bildung.

Primäres Ziel der Wirkungsevaluierung ist es, einen empirisch und methodisch fundierten Nachweis über die Wirksamkeit der Weiterbildungsseminare der HSS in Kenia zu liefern sowie die zu erwartende Nachhaltigkeit der erzeugten Wirkungen abzuschätzen. Dabei sollen auch die Effizienz der Maßnahmenumsetzung sowie deren Relevanz für die Partner und Zielgruppen bewertet werden.

Zur Beantwortung der Evaluationsfragen wurde ein aufwändiges quasi-experimentelles Design gewählt, das sich durch mehrere Messzeitpunkte und die Einbeziehung von zwei Vergleichsgruppen auszeichnet. Durch die verschiedenen Messzeitpunkte können direkte Effekte der Maßnahmen sowie die Veränderung dieser Effekte über einen längeren Zeitraum hinweg beobachtet werden (follow-up). Der Vergleichsgruppenansatz ermöglicht, externe Effekte auf die Zielgruppe auf lokaler und nationaler Ebene zu kontrollieren. Die Datenerhebung erfolgt durch ein Team Studierender der Universität Nairobi, die speziell für diese Aufgabe durch das CEval ausgebildet werden.

Nachhaltige Wirtschaftsentwicklung Myanmar5/201312/2016Deutsches Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Stefan Silvestrini

Beschreibung

Gemeinsam mit dem Deutschen Evaluierungsinstitut der Entwicklungszusammenarbeit (DEval) begleitet das CEval drei Vorhaben zur Nachhaltigen Wirtschaftsentwicklung in Myanmar zur Schaffung der Voraussetzungen für deren Wirkungserfassung und Bewertung. Die Beratung trägt zur Verbesserung der Qualität, Relevanz und Vollständigkeit der Projektkonzepte und Programmbildung, einschließlich eines kohärenten Ziel- und Wirkungssystems bei. Damit werden die methodischen Voraussetzungen für einen späteren Wirkungsnachweis sichergestellt. Gegenstand des Beratungsvorhabens sind drei Projekte in den Bereichen Berufliche Bildung, Privatwirtschaftsentwicklung und Finanzsektorreform, aus denen in der Zukunft ein kohärentes Programm im Bereich der Nachhaltigen Wirtschaftsentwicklung gebildet werden soll.

Aufgabe des CEval ist es dementsprechend, gemeinsam mit dem DEval:

  1. einen Beitrag zur Qualität, Relevanz und Vervollständigung der Projektkonzeptionen und zum Aufbau eines kohärenten Ziel- und Wirkungssystems zu leisten
  2. Voraussetzungen für die Wirkungserfassung und Bewertung der Vorhaben zu schaffen
  3. einen Beitrag zur Programmbildung zu leisten sowie
  4. eine Wirkungsevaluierung umzusetzen.

Hierfür wurde ein mehrstufiges Analyse- und Beratungskonzept ausgearbeitet, das im Kern aus

  1. der Entwicklung eines umfassenden Wirkungsmodells,
  2. der Erarbeitung eines entsprechend vollständigen Indikatorentableaus,
  3. der Umsetzung einer Baseline-Studie sowie
  4. der Ausarbeitung eines wirkungsorientierten Monitoring-Systems besteht.
Evaluation des Verfahrens zur Erstsemesterauswahl des Cusanuswerkes4/20137/2013Cusanuswerk - Bischöfliche Studienförderung

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Das Cusanuswerk führt seit 2009 parallel zum bestehenden Grundauswahlverfahren ein neues Verfahren zur Stipendiatenauswahl, die sog. Erstsemesterauswahl, durch. Dieses komprimierte Verfahren, welches sich noch in der Pilotphase befindet, soll einen deutlich früheren Zugang zur Förderung durch das Cusanuswerk ermöglichen. Nachdem nun drei Kohorten bei der Erstsemesterauswahl aufgenommener Stipendiaten den endgültigen Aufnahmeprozess durch die festen Gremien durchlaufen haben, soll das Erstsemesterauswahlverfahren evaluiert werden.

Aufgabe der seitens des Cusanuswerkes beauftragten Evaluation ist die Bewertung der prognostischen Validität des Verfahrens. Dabei werden das bisherige Grundauswahlverfahren und das neue Erstsemesterverfahren miteinander verglichen, indem die Teilnehmer beider Verfahren mittels standardisierter Online-Befragungen befragt und vorhandene Daten und Dokumente analysiert werden.

Talking about migrants‘ lives in Russia2/20136/2013Deutsche Welle-Akademie

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Gegenstand der Evaluation war das von der Deutschen Welle-Akademie und der russischen Foundation for Independent Radio Broadcasting durchgeführte EU-Projekt „Talking about migrants‘ lives in Russia“. Ziel des Projekts war es, die Inklusion von Migranten in der russischen Gesellschaft zu fördern. Zur Erreichung dieses Zieles wurden russische Radiojournalisten und Vertreter zivilgesellschaftlicher Organisationen (VZOs) aus dem Bereich Migration in Workshops fortgebildet und auf lokaler Ebene miteinander vernetzt. Durch diese Workshops sollte zum einen die Professionalität der Radiojournalisten und zum anderen die Medienkompetenz der VZOs erhöht werden. Mithilfe von Podiumsdiskussionen, einer Internetplattform und eines journalistischen Wettbewerbs wurde zudem angestrebt, die Kooperation zwischen Radiojournalisten und VZOs dauerhaft zu intensivieren. Mittelfristig wurde mit all diesen Maßnahmen beabsichtigt, die Quantität und Qualität journalistischer Beiträge zu migrationsrelevanten Themen zu erhöhen.

Der Fokus der summativen ex-post-Evaluation lag auf der Analyse und Bewertung der kurz- und mittelfristigen Wirkungen der Workshops. Zu diesem Zweck wurde zudem näher untersucht, in welcher Weise die Projektdurchführung, die Internetplattform und die Podiumsdiskussionen die beabsichtigten Wirkungen beeinflusst haben.

Im Rahmen der Datenauswertung und Evaluation verwendete die CEval GmbH einen Multimethodenansatz mit u.a. einer Analyse von Projektdokumenten, Sekundäranalysen von Evaluationsfragebögen der Teilnehmer und qualitativen Leitfadeninterviews. Zudem wurden eine standardisierte russischsprachige Online-Befragung aller Teilnehmer sowie eine russischsprachige Emailbefragung mit dem russischen Projektmanager durchgeführt.

East4South - Development Awareness from the Roots1/20136/2013Deutsche Welle-Akademie

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Gegenstand der Evaluation war das von der EU finanzierte Projekt der Deutschen Welle-Akademie (DWA) „East4South - Development Awareness from the Roots“. Das Projekt zielte darauf ab, Nachwuchsjournalisten aus den osteuropäischen EU12-Staaten dabei zu unterstützen, qualitativ hochwertige Reportagen über entwicklungspolitische Themen in den Medien ihrer Heimatländer zu veröffentlichen. Langfristig ist mit dem Projekt beabsichtigt, EU12-Bürger für entwicklungspolitische Themen zu sensibilisieren und in den EU12-Ländern eine positive Einstellung gegenüber der EU-Entwicklungspolitik zu erzeugen. Im Rahmen dieses Vorhabens wurden insgesamt 60 Nachwuchsjournalisten aus Osteuropa und Afrika in interkulturellem Journalismus weitergebildet und miteinander vernetzt. Bei einem Aufenthalt in Afrika produzierten afrikanische und osteuropäische Journalisten anschließend gemeinsam journalistische Beiträge über entwicklungspolitische Themen, mit dem Ziel diese in den Medien der EU12 Ländern zu veröffentlichen.

Ziel der summativen ex-post Evaluation war die Analyse und Bewertung der Wirkungen der Projektmaßnahmen und der Qualität der Projektdurchführung. Hierzu verwendete die CEval GmbH einen Multimethodenansatz mit u.a. qualitativen Leifadeninterviews mit Stakeholdern, einer Analyse von Projektdokumenten, Sekundäranalysen von Evaluationsfragebögen und Kurzberichten der Teilnehmer sowie einer standardisierten Online-Befragung aller Teilnehmer.

Lab2Venture: Unternehmerisches Denken und Handeln in Lernort Laboren1/20135/2014Deutsche Kinder- und Jugendstiftung e.V. (DKJS)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Das von der Deutschen Kinder- und Jugendstiftung (DKJS), dem LernortLabor des Bundesverbandes der Schülerlabore e.V. (LeLa) und des TheoPrax-Zentrums des Fraunhofer Instituts für Chemische Technologie (TheoPrax) durchgeführte Vorhaben "Lab2Venture: Unternehmerisches Denken und Handeln in Lernort Laboren" zielte darauf ab, Schülerlabore in die Lage zu versetzen, interessierte Schülerinnen und Schüler nicht nur in naturwissenschaftlicher Projektarbeit zu begleiten, sondern darüber hinaus dahin zu führen, dass sie eine Unternehmensgründung als realisierbar erkennen. Insgesamt wurden über die drei Module hinweg bundesweit zehn Schülerlabore bei der Verknüpfung von naturwissenschaftlich-technisch orientierten Themen mit der Wirtschaftswelt sowie beim Aufbau von Schülerfirmen über einen Zeitraum von gut einem Jahr begleitend unterstützt. Zielgruppen des Vorhabens waren primär ca. 200 14-17jährige Jugendliche, die während Modul II in den ausgewählten Schülerlaboren experimentierten, forschten und Produktideen entwickeln sollten. Des Weiteren gehörten auch die Mitarbeiter in den Laboren (d.h. Wissenschaftler, Laborangestellte sowie Lehrer und studentische Hilfskräfte) zu den Zielgruppen. Langfristig sollten die Mitarbeiter über das Projekt hinaus als Multiplikatoren für die Weiterverbreitung des unternehmerischen Handlungswissens im Rahmen ihrer Lehrtätigkeit fungieren. Ziel der Evaluation war es, unter Einbezug der Beteiligten systematisch Rückmeldungen und Anmerkungen über das Projekt zu gewinnen und diese mit der qualitativen Zielerreichung in Beziehung zu setzen. Ein besonderes Augenmerk wurde dabei auf die Prozessorientierung gelegt, die zur Weiterentwicklung sowie der möglichen Ausweitung des Vorhabens, nach dem Ende der Modellphase in Dezember 2013, beitragen sollte. Aufgabe der Evaluation war es entsprechend zu überprüfen, inwieweit die Zielsetzungen für beide o.g. Zielgruppen erreicht wurden, also in welchem Maße unternehmerische Themen erlernt, angewendet, beherrscht, weiterverfolgt etc. wurden. Für die prozessorientierte Evaluation des Lab2Venture Projekts wendete die CEval GmbH ein Paneldesign an, welches auf einer Kombination aus qualitativen und quantitativen Datenerhebungs- und auswertungsverfahren fußte. die Datenerhebung erfolgte projektbegleitend an drei Erhebungszeitpunkten.
DAAD-Stipendienprogramm „Deutsche Auslandsschulen“ 12/20122/2014Deutscher Akademischer Austauschdienst (DAAD)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Vera Hennefeld

Beschreibung

Das DAAD-Stipendienprogramm „Deutsche Auslandsschulen“ besteht seit 2001; seit 2008 ist das Programm in die Initiative „Schulen: Partner der Zukunft“ (PASCH) des Auswärtigen Amts eingebettet. Ziel des Programms ist es, den leistungsstärksten Absolventinnen und Absolventen deutscher Auslands- und Sprachdiplomschulen (seit 2004) sowie im Einzelfall auch sog. Fit-Schulen (seit 2010) im direkten Anschluss an die schulische Ausbildung eine stipendienfinanzierte akademische Ausbildungsperspektive in Deutschland zu bieten und sie so an den Wissenschafts- und Wirtschaftsstandort Deutschland zu binden. Auf diese Weise sollen Multiplikatoren für deutsche und bilaterale Anliegen in Wissenschaft, Wirtschaft, Politik und Kultur gewonnen werden.

Aufgabe der seitens des DAAD beauftragten Evaluation ist neben der Bewertung der Zielerreichung die Beurteilung wesentlicher Parameter der Programmförderung sowie der Programmdurchführung. Eine wichtige Rolle spielt dabei auch die Frage, wie sich das Stipendienprogramm in die PASCH-Initiative integriert. Ausgehend von den Ergebnissen der Evaluation werden Empfehlungen für die Weiterentwicklung des Programms und seine Vernetzung mit anderen DAAD- und PASCH-Maßnahmen entwickelt.

Zur Datengewinnung folgt die CEval GmbH einem „mixed-methods“ Ansatz. Neben der vertiefenden Analyse vorhandener Programmdokumente beinhaltet dieser die Durchführung einer Reihe von Leitfadeninterviews mit verschiedenen Stakeholdern sowie die Umsetzung mehrerer standardisierter Online-Befragungen und eine teilnehmende Beobachtung.

Final Evaluation Evaluation of “SCAMPIS” – Scaling up micro-irrigation systems in India, Madagascar and Guatemala8/201212/2012International Fund for Agricultural Development (IFAD)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Since 1977, IFAD has worked to raise productivity and income of rural poor populations to overcome poverty and improve the quality of their lives. In its long history, the Fund has developed and implemented various programs and projects all over the world. Scaling up micro-irrigation systems in India, Madagascar and Guatemala (SCAMPIS) is one of the IFAD’s latest projects, financed by COOPERNIC with a budget of 3 million Euro. In the period of 2008-2012, it has aimed at improving livelihoods and food security of 30.000 smallholder households in the three pilot countries of India, Madagascar and Guatemala by providing them with micro irrigation systems (MIS) and liquid organic fertilizer systems (LOF). Before the program is phasing out in December 2012, an external evaluation of SCAMPIS is conducted in order to assess the achievement of program objectives and outcomes. In particular, according to the Terms of Reference, the evaluation should pursue three objectives:
  • The review has to assess the achievement of the programme objectives and outcomes with regard to its components and corresponding target groups.
  • Lessons learnt and recommendations have to be provided for IFAD with regard to improvement of design and implementation of future programmes. Replicability and scaling up are core concepts in this context.
  • Special attention has to be put on the sustainability especially with regard to any future activities to be implemented by the different stakeholders along the water value chain of MIS/LOF.
The CEval evaluation team will visit each project country for 12 days to conduct interviews with main stakeholders in the implementing organizations, key persons along the MIS value chain and the primary beneficiaries. In addition, a quantitative survey will be conducted in each of the three project countries to learn more about the impact MIS has on food security in different country contexts. Finally, IFAD’s perspective is taken into account by using data from interviews with most important representatives for the SCAMPIS project.
Hochschulkooperation mit der Universität von Costa Rica (UCR) gefördert durch das DAAD-Programm „Fachbezogene Partnerschaften mit Hochschulen in Entwicklungsländern“ 1/201212/2015Deutscher Akademischer Austauschdienst (DAAD)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: M.A. Sandra Bäthge, Dr. Susanne Johanna Väth

Beschreibung

Nach einer erfolgreichen dreijährigen Zusammenarbeit zwischen dem Centrum für Evaluation (CEval) der Universität des Saarlandes und der Universität von Costa Rica (UCR) zur Weiterentwicklung des seit 1995 an der UCR implementierten ‚Masterstudiengangs in Evaluation von Projekten und Programmen zur sozialen Entwicklung‘ (MEPPD), planten die beiden Universitäten ab 2011 die Intensivierung und Vertiefung ihrer Kooperation. Der DAAD, der durch sein Beraterprogramm seit 2008 bereits die vorangegangene Zusammenarbeit der beiden Hochschulen finanziell unterstützt hatte, begrüßte dieses Vorhaben. Aus diesem Grund förderte er von 2012 bis 2015 über sein Programm „Fachbezogene Partnerschaften mit Hochschulen in Entwicklungsländern“ auch die zweite Phase der Kooperation zwischen UCR und UdS.

Gemäß der Zielsetzung des DAAD-Programms, durch den akademischen Austausch eine Verbesserung der Lehrsituation zu erreichen und einen Beitrag zum Aufbau von nachhaltigen Strukturen im Bereich der Lehre im Partnerland zu leisten, bildete der Austausch von Studierenden, Promovierenden und Dozierenden einen Schwerpunkt der vierjährigen Kooperation. Weiterhin standen die Öffnung des MEPPD für den zentralamerikanischen Raum (Regionalisierung), die Anpassung der Lehre im Masterstudiengang Evaluation der UCR an die regionale Nachfrage und die daraus abgeleiteten Ausbildungsbedürfnisse (Profilierung) sowie die Einbindung der Hochschulkooperation in bestehende internationale Netzwerke (Internationalisierung) im Mittelpunkt der engeren Zusammenarbeit. Durch die vierjährige Zusammenarbeit konnte die Praxis- und Bedarfsorientierung des MEPPD gestärkt, bestehende regionale und internationale fachliche Netzwerke etabliert bzw. erweitert sowie die Kapazitäten in Lehre und Forschung ausgebaut werden.

Eine Fortsetzung der Kooperation unter Aufnahme einer weiteren Hochschule aus dem lateinamerikanischen Raum ist für 2017 vorgesehen.
Development and Implementation of a M&E-System for the Plan Honduras Project "Prevention, Protection and rights Restitution for Girls and Boys survivors of sexual violence" 7/20117/2015Plan International Deutschland e.V.

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dipl.Reg.Wiss. Christina Gollan

Beschreibung

Das übergreifende Ziel des Plan Honduras Projekts war es, Mädchen und Jungen vor sexueller Gewalt zu schützen und ihnen Zugang zu kinderfreundlichen und kompetenten Präventions- und Versorgungsmechanismen auf lokaler bis nationaler Ebene zu ermöglichen. Um dieses Ziel zu erreichen, entwickelte Plan Honduras ein Programm zur Stärkung von Präventions-, Schutz- und Versorgungsmechanismen in Familien, Gemeinden und auf nationaler Ebene für durch sexuelle Gewalt bedrohte und von sexueller Gewalt betroffene Mädchen und Jungen. Die Aufgabe des Centrums für Evaluation (CEval) war die Begleitung und Unterstützung bei der Entwicklung und Implementierung eines wirkungsorientierten und geschlechtersensiblen M&E-systems für den Projektzyklus und darüber hinaus. Das CEval beriet Projektverantwortliche und deren Partner und bildete diese aus, um ihnen folgende Kompetenzen zu vermitteln:

Systematisches Monitoring und Evaluation von projektrelevanten Aktivitäten
Identifikation der wichtigsten Aspekte auf allen Wirkungsebenen
Formulierung wirkungsorientierter qualitativer Indikatoren
Entwurf eines Datenerhebungsplans und Erhebungsinstrumenten
Lösung auftretender Herausforderungen während der Datenerhebung und –analyse.

Dieser Wissenstransfer wurde erreicht durch eine Kombination von kontinuierlicher Beratung, Trainingsmaßnahmen und praktischer Umsetzung des Beratungs- und Trainingsinhalts im Rahmen einer begleiteten Baselinestudie (inklusive einer Geschlechteranalyse) und einer begleitenden Zwischen- und Schlussevaluierung.
Stärkung von Evaluierungskapazitäten in Zentralamerika (FOCEVAL)7/20117/2014Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Wolfgang Meyer, Dr. Stefan Silvestrini

Beschreibung

Das Vorhaben „Stärkung von Evaluierungskapazitäten in Zentralamerika (FOCEVAL)“ der Gesellschaft für Internationale Zusammenarbeit (GIZ) GmbH zielt darauf ab, die Rolle der Evaluation bei der politischen Entscheidungsfindung und der Steuerung von Politikmaßnahmen in Costa Rica und ausgewählten Ländern Zentralamerikas zu stärken. Die Maßnahme ist als Regionalvorhaben konzipiert, dessen politische Trägerschaft beim costaricanischen Ministerium für nationale Planung und Wirtschaftspolitik (MIDEPLAN) liegt.

Aufgabe der CEval GmbH ist es im Rahmen des ECD-Vorhaben, vor Ort eine Reihe von Fortbildungen zum Thema Monitoring und Evaluation (M&E) auf verschiedenen Anspruchsniveaus für die Partnerstrukturen zu realisieren, wobei die Inhalte der bereits erprobten und mehrfach durchgeführten Kurse dabei die unterschiedlichen Bedarfe der Zielgruppen widerspiegeln. Darüber hinaus bietet die CEval GmbH eine kontinuierliche wissenschaftlichen Begleitung für das Regionalvorhaben an, welche eine permanente Anbindung an die aktuelle internationale Evaluationsdiskussion sicherstellt und die Verbindung zu wissenschaftlichen Organisationen und Netzwerken aufrechterhält. Sie umfasst eine Reihe von Beratungsleistungen, insbesondere bei der Strategie- und Konzeptentwicklung, die auf den neuesten wissenschaftlichen Erkenntnissen der Monitoring- und Evaluationsforschung basiert.

Wirkungsstudie: Armutsminderung im Ländlichen Raum durch Fairtrade 5/201112/2012Transfair Germany (TFG), Max Havelaar Stiftung (Schweiz) (MHCH)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Fairtrade zielt darauf ab, den Fairen Handel zu stärken und möchte es Kleinbauern und Plantagenangestellten in Afrika, Lateinamerika und Asien ermöglichen, von der angestammten Produktion zu leben. Daher legen Fairtrade-Standards als Strategie zur Armutsbekämpfung u.a. ein stabiles Einkommen fest, sowie Grundsätze für Umweltschutz und Gleichstellung. Eine Fairtrade-Prämie, die für die Produkte der Kleinbauern und der zertifizierten Plantagen bezahlt wird, ermöglicht Investitionen in Entwicklungsprojekte. Die Ziele von Fairtrade sind u.a.:
  • Langfristige und möglichst direkte Handelsbeziehungen von Kleinbauern aus benachteiligten Regionen des Südens in den Markt des Nordens.
  • Mindestens gesetzlicher Mindestlohn, Schutzkleidung, bezahlter Urlaub und soziale Vorsorge für Angestellte auf Plantagen.
Ziel dieser Studie war es, die Wirkungen von Fairtrade auf die ländliche Entwicklung in ausgewählten Gebieten/Regionen auf Basis der neuesten Kenntnisse zur Wirkungsmessung zu identifizieren und zu bewerten. Dabei wurde folgende bisher nicht hinreichend untersuchte Hypothese überprüft: „Die Präsenz von repräsentativen Fairtrade-zertifizierten Kooperativen oder Plantagen innerhalb eines gegebenen Gebietes hat über die Fairtrade-Produzentenorganisationen (PO) hinaus eine positive Wirkung auf die ländliche Entwicklung und trägt somit zur Verbesserung der sozialen, wirtschaftlichen und ökologischen Bedingungen im ländlichen Raum bei“. Aufgabe der Wirkungsstudie war es folglich, objektive und belastbare Daten für die Diskussion der Frage, ob Fairtrade ein effektives Instrument der Armutsminderung im ländlichen Raum darstellt, zu liefern.

Methodisch basierte die Wirkungsstudie auf einer hypothesengeleiteten quasi-experimentellen Versuchsanordnung und einem Multi-Methodenansatz. In sechs Produktsektoren wurde jeweils eine Fallstudie durchgeführt: Blumen (Kenia), Kakao (Ghana), Kaffee (Peru), Bananen (Peru), Baumwolle (Indien) und Tee (Indien). Hierfür kamen folgende Datenerhebungsmethoden zum Einsatz: Sekundär- und Dokumentenanalysen, leitfadengestützte Intensivinterviews, Gruppendiskussionen, partizipative Methoden, teilnehmende Beobachtungstechniken sowie mehrere (teil-)standardisierte Zielgruppen-Befragungen. Des Weiteren wurden Inhaltsanalysen sowie deskriptive und inferenzstatistische Analyseverfahren als Datenauswertungsmethoden angewandt.

------------------------------------------------

Zum Download stehen bereit (externe Links): Die Zusammenfassung der Studie (pdf, 4 Seiten, deutsch)

Schlussevaluation der Projekte der World University Services im Kosovo und in Serbien zur Reform des Hochschulsektors12/20105/2011World University Services (WUS)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Gegenstand der Schlussevaluation waren die beiden von WUS umgesetzten Projekte “Building Quality, Knowledge and Skills for Social and Economic Development – Support to Reforms of Higher Education in Kosovo 2008-2011” und “Serbia 2007-2010: Improving Quality, Knowledge & Skills for Economic Development – Support to Reforms of Higher Education in Serbia”. Ziel dieser Projekte war die Unterstützung der Reformierung der jeweiligen Hochschulsektoren in den beiden Ländern im Hinblick auf eine bessere, bedarfsorientiertere Ausbildung. Damit sollte die Beschäftigungsfähigkeit und entsprechend die Beschäftigtenquote bei den Hochschulabsolventen gesteigert werden.
Weitere Informationen zu den Projekten erhalten Sie unter:
http://www.wus-austria.org/allprojects/38/15.html
Aufgabe der vom CEval durchgeführten Evaluation war es, gemäß der DAC-Kriterien, die Relevanz, Umsetzungseffizienz, Effektivität, Wirksamkeit sowie die Nachhaltigkeit der Projektmaßnahmen in beiden Ländern zu untersuchen und im Hinblick auf die Zielerreichung bewerten. Die Untersuchung war als Desk-Study angelegt, bei der neben Programmdokumenten weitere Hintergrundrecherchen zum bisherigen Entwicklungsverlauf der Sektoren vorgenommen wurden.

Hands-On Methods to Measure Development Effectiveness and Enhancing Knowledge-Sharing12/201012/2013International Fund for Agricultural Development (IFAD)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Ziel des Vorhabens ist die Stärkung der Kompetenzen der Programmpartner des United Nation’s International Fund for Agricultural Development (IFAD) in Ländern der North Africa Division im Bereich Monitoring und Evaluation (M&E). In einer ersten Phase werden hierzu im Rahmen zweier Pilotstudien in Süd-Sudan und Albanien die dort eingesetzten Monitoring- und Evaluationsverfahren auf ihre Angemessenheit und Vollständigkeit hin untersucht und zu umfassenden M&E-Systemen weiterentwickelt. Die dabei gewonnenen Erkenntnisse hinsichtlich Ergebnisqualität und Handhabbarkeit werden anschließend systematisch aufbereitet und in einem zweiten Schritt auf ihre Übertragbarkeit auf andere Länder hin untersucht. Damit sollen weitere Projektträger und nationale Institutionen in die Lage versetzt werden, eigenständig Daten zu erheben, zu analysieren und zu bewerten, die ihnen Aufschluss über die Wirkungen und Nachhaltigkeit ihrer Projekte geben. Schließlich werden daraus praktische Handlungsleitfäden für die Erfassung von Wirkungen von Programmen in den Bereichen ländliche Entwicklung und Armutsminderung entwickelt und im Rahmen von überregionalen Informationsveranstaltungen sowie im Internet weiter verbreitet. Bei dem Vorhaben kooperiert das CEval mit der Arbeitsgemeinschaft Entwicklungspolitischer Gutachter (AGEG), die ihrerseits hierfür Sektorexperten einsetzt.
Schlussevaluation der “Child Legal Support and Protection Network Initiative”9/20102/2011Plan International Deutschland e.V.

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Gegenstand der Schlussevaluation war das von Plan International Deutschland e.V. umgesetzte Programm „Child Legal Support & Protection Network Initiative“ in China, das auf eine umfassende Betreuung von Kindern abzielt, die misshandelt wurden oder selbst in Konflikt mit dem Gesetz gekommen sind.
Schwerpunkte der Schlussevaluation lagen auf der Identifikation und Bewertung der bislang erzielten Wirkungen und ihrer Nachhaltigkeit sowie der Rolle und der Zusammenarbeit der beteiligten Akteure. Darüber hinaus sollten auf Grundlage der Untersuchungsergebnisse Empfehlungen für die vorgesehene zweite Phase ab 2011 entwickelt werden. Gemäß dem Multimethodenansatz des CEval kamen bei der Datenerhebung neben leitfadengestützten Intensivinterviews mit den Programmverantwortlichen und Vertretern der Partnerorganisationen, standardisierte Befragungen weiterer Programmbeteiligter (z.B. freiwillige Unterstützer) sowie eine Dokumentenanalyse zum Einsatz.

Zwischenevaluierung des InWEnt-Programms “Dialogforen mit Ankerländern - Auf dem Weg zu einer globalen Partnerschaft (2008-2010)“8/201012/2010Internationale Weiterbildung und Entwicklung gGmbH (InWEnt)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Gegenstand der Zwischenevaluierung waren die seit 2008 von InWEnt durchgeführten Maßnahmen im Rahmen des Programms „Dialogforen mit Ankerländern“, welche eine Intensivierung des internationalen Erfahrungsaustauschs zu den aktuellen globalen Herausforderungen im Finanzsektor und im Bereich der Klimaentwicklung zum Ziel haben. Auf der Programmzielebene geht es darum, politische Gestaltungsspielräume für kooperative Politikansätze zur Wahrung der beiden globalen öffentlichen Güter „Begrenzung des Klimawandels und Stärkung der internationalen Finanzmarktstabilität“ zu vergrößern. Im Rahmen von Dialogforen sollen die Teilnehmer dazu befähigt werden, ihre Regierungen in der Wahrnehmung ihrer internationalen Verantwortung zur Sicherung dieser Güter durch eine konstruktive Mitgestaltung in formellen Global Governance Strukturen zu unterstützen.

Ziel dieser Untersuchung war es, auf der Basis der Analyse- und Bewertungsergebnisse eine Entscheidungsgrundlage für die von InWEnt beantragte Programmfortsetzung in den Jahren 2011/2012 zu erhalten. Entsprechend den DAC-Kriterien wurden die Effektivität, die Effizienz und die Nachhaltigkeit des Programms bewertet sowie Empfehlungen zur Kohärenz, Koordination und Komplementarität mit den Maßnahmen anderer deutscher Geber formuliert. Des Weiteren galt es die bislang erzielten Ergebnisse im Hinblick auf ihre Relevanz sowie ihre mittel- und langfristige Wirkung hin zu untersuchen.

Methodisch basierte die Evaluation auf Sekundär- und Dokumentenanalysen, ca. 50 leitfadengestützten Intensivinterviews, zwei teilstandardisierten Online-Befragungen aller Dialogforen-Teilnehmer beider Komponenten sowie auf der Teilnahme an zwei Dialogforen in China.

GTZ bzw. GIZ-Rahmenvertrag zur Durchführung von Unabhängigen Evaluierungen und Wirkungsevaluierungen von Programmen der technischen Zusammenarbeit 2/20106/2013Deutsche Gesellschaft für internationale Zusammenarbeit (GIZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Die Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) GmbH hat ihr bestehendes Evaluierungssystem 2005 mit der Einführung von Ex-post Evaluierungen vervollständigt und lässt seither im Auftrag des BMZ jährlich weltweit ca. 25-30 Unabhängige Evaluierungen (UE) in dessen Kooperationsländern durch unabhängige wissenschaftliche Institute und Consultingunternehmen durchführen. Der in diesem Zusammenhang mit dem CEval 2005 erstmalig geschlossene Rahmenvertrag wurde in den darauffolgenden Jahren kontinuierlich verlängert, so dass bisher bereits 30 Vorhaben der technischen Zusammenarbeit durch das CEval evaluiert wurden.

Im Zentrum der Evaluationsvorhaben steht nach der erfolgreichen Erprobung in 2008 und 2009, die Weiterentwicklung eines durch das CEval entwickelten Analysekonzepts, welches sich an den theoretischen Modellen und methodischen Verfahrensweisen des ‚Rigorous-Impact-Evaluation’-Ansatzes (RIE) orientiert. Kern dieses Ansatzes ist eine hypothesengeleitete Ursache-Wirkungsmessung, ein quasi-experimentelles Untersuchungsdesign (Vorher-Nachher-Messung, Vergleich von Ziel- und Nicht-Zielgruppe), die Kombination unterschiedlicher quantitativer und qualitativer Erhebungsverfahren (Multi-Methoden-Ansatz) sowie die Anwendung elaborierter Matching- und Datenauswertungsmethoden einschließlich multivariater statistischer Verfahren. Durch diese Vorgehensweise wird eine kausale Zuschreibung der in einem Untersuchungsgebiet eingetretenen (wirtschaftlichen, gesellschaftlichen, ökologischen etc.) Veränderungen und somit eine valide und reliable Wirkungsmessung ermöglicht.

In 2010 führt das CEval vier Evaluierungen im Schwerpunktsektor "Berufliche Bildung" und in 2011 zwei Evaluierungen in im Bereich "Gesundheit" durch. Für ein Vorhaben in der Mongolei wird von CEval-Mitarbeitern eine methodisch anspruchsvolle Wirkungsevaluierung und für ein anderes Programm in Südafrika wird erstmalig eine ex-ante Evaluierung realisiert, indem eine Bedarfsanalyse, ein Impact Assessment und eine Baseline-Studie durchgeführt werden. Des Weiteren wird im Rahmen der ex ante Evaluierung die Wirkungslogik des Programms entwickelt sowie ein Konzept für zukünftiges Wirkungsmonitoring erarbeitet. Die weiteren vier Evaluierungen in 2010 und 2011 werden unter der Koordination von Sonja Wolf von externen Gutachtern aus dem In- und Ausland umgesetzt.

In 2010 handelte es sich um folgende TZ-Vorhaben:

  • Schlussevaluierung des Programms „Förderung der beruflichen Erwachsenenbildung und Beschäftigung, Bulgarien"
  • Schlussevaluierung des „Indisch-Deutschen Zentrums für Moderne Technologien (IGIAT), Indien"
  • Schlussevaluierung des Programms „Berufsbildung von Mädchen und Frauen sowie Unterstützung des Reformprozesses im Bildungssystem, Kasachstan"
  • Ex-ante Evaluierung des Programms „Skills Development for Climate and Environment Business – Green Jobs, Südafrika”

In 2011 handelte es sich um folgende TZ-Vorhaben:

  • Schlussevaluierung des Programms "Multidisziplinäres HIV/AIDS Programm, Bangladesch"
  • Ex-post Wirkungsevaluierung des Programms "Förderung der reproduktiven Gesundheit, Mongolei"
Evaluation der Richtlinie des Brandenburgischen Wirtschaftsministeriums zur Förderung des wirtschaftsbezogenen Technologietransfers 12/20096/2010Pricewaterhouse Coopers (PwC)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Gegenstand der federführend von PricewaterhouseCoopers (PwC) durchgeführten Evaluation war die 2007 überarbeitete Richtlinie des Brandenburgischen Wirtschaftsministeriums zur Förderung des wirtschaftsbezogenen Technologietransfers, die eine stärkere Branchenfokussierung und eine intensivere Integration der beteiligten Akteure und Institutionen in das Transfersystem zum Ziel hat.

Im Rahmen der Untersuchung war es Aufgabe des CEval bei den Zielgruppen des Technologietransfers (Unternehmen und Wissenschaftler) ein repräsentatives Meinungsbild hinsichtlich der Einschätzung von Effektivität und Effizienz der Umsetzung der Richtlinie zu gewinnen. Hierzu wurden vom CEval in Abstimmung mit PwC und dem Brandenburgischen Wirtschaftsministerium zwei standardisierte Online-Befragungen konzipiert und durchgeführt. Die Erhebungsdaten wurden anschließend mittels deskriptiver und inferenzieller statistischer Verfahren ausgewertet und mit den von PwC erhobenen qualitativen Interviewdaten trianguliert. Die Ergebnisse nehmen Eingang in das von PwC zu erstellende Gutachten und bilden dabei die empirische Grundlage für die darin auszuarbeitenden Empfehlungen zur zukünftigen Gestaltung der Richtlinie.

Evaluierung Hochschulbildung in Nicaragua und Südosteuropa 2005-200912/20099/2010Austrian Development Agency (ADA)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Gegenstand der Evaluation war die Maßnahmen zur Unterstützung des Hochschulsektors in den Schwerpunktländern der österreichischen Entwicklungszusammenarbeit (OEZA) in Südosteuropa (SOE) sowie Lateinamerika (LA). Während der Fokus der OEZA in SOE auf arbeitsmarktorientierter Hochschulbildung und der Integration in den Europäischen Hochschul- und Forschungsraum liegt, wurden in LA vor allem Bildungsprojekte zur Stärkung von Minoritäten gefördert.

Aufgabe der Evaluation war es, die bisher erzielten Ergebnisse auf ihre Relevanz, Effektivität, entwicklungspolitische Wirksamkeit und Nachhaltigkeit hin zu untersuchen. Des Weiteren sollten die Capacity-Building Effekte bei den Partnerorganisationen sowie deren Ownership bewertet werden. Ausgehend von einer umfassenden
Dokumentenanalyse wurden hierfür im Rahmen dreier Feldstudien in Nicaragua, Serbien und dem Kosovo empirische Daten an den jeweiligen Standorten gesammelt und in einem Synthesebericht vergleichend ausgewertet.

Ziel war es dabei insbesondere Optionen für zukünftige Interventionen, entsprechend den strategischen Zielsetzungen der OEZA in den Bereichen Hochschulbildung und Wissenschaftskooperation, im Sinne der Entwicklung eines kohärenten programmbasierten Ansatzes aufzuzeigen.

Evaluation der DW-Akademie10/200810/2009Deutsche Welle (DW)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Mitarbeiter: Dr. Stefan Silvestrini

Beschreibung

Seit 2003 arbeitet die DW-Akademie im Kontext der deutschen Medienentwicklungszusammenarbeit und zielt mit ihren Aktivitäten darauf ab, weltweit die Meinungsfreiheit zu fördern. Durch die Realisierung internationaler Projekte zu Capacity Building will sie zu mehr Offenheit, Transparenz und Partizipation in den elektronischen Medien von Entwicklungs- und Transformationsländern beitragen.
Gegenstand der Evaluation sind die Qualifizierungsmaßnahmen, die von der DW-Akademie in den Jahren 2004 bis 2007 durchgeführt wurden. Im Rahmen einer bilanzierenden ex-post Evaluation sollen die Qualität der Planung und Durchführung dieser Maßnahmen sowie die entwicklungspolitischen Effekte und deren Nachhaltigkeit analysiert und bewertet werden.

Methodisch basiert die Evaluierung auf Sekundär- und Dokumentenanalysen, standardisierten Befragungen der Dozenten, Absolventen und Vertretern von Partnerorganisationen der DW-Akademie. Darüber hinaus werden 2009 drei Länderfallstudien in Vietnam, Tansania und Kolumbien realisiert.

Entwicklung und Umsetzung eines gendersensitiven kontinuierlichen M&E-Systems für das Plan Indien Projekt „ENGENDERED! – Minimizing Gender Gap…“ 10/20088/2015Plan International Deutschland e.V.

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Stefan Silvestrini, Dipl.Reg.Wiss. Christina Gollan

Beschreibung

Ziel des von Plan International Indien umgesetzten Projekts ist es, die strukturellen Ursachen für die Benachteiligung von Frauen in der indischen Gesellschaft zu identifizieren und zu beseitigen. Hierfür sollen alle Projektverantwortlichen der Partnerorganisationen zur Umsetzung gender-gerechter Maßnahmen sowie zum Monitoring und zur Evaluation der damit erzeugten Wirkungen befähigt werden. Aufgabe des CEval war es, die Entwicklung überprüfbarer Wirkungshypothesen zu unterstützen, gemeinsam mit den Verantwortlichen ein praktikables M&E-System zu erarbeiten sowie eine Zwischen- und eine Abschlussevaluation umzusetzen. Hierfür wurde zu Beginn des Projekts Ende 2008 ein Workshop durchgeführt, in dem der zuvor von Plan Indien entwickelte LogFrame diskutiert und im Hinblick auf die Messbarkeit der darin enthaltenen Indikatoren überarbeitet wurde. Als weitere Maßnahmen wurden 2009 eine Schulung vor Ort sowie weitere Beratungsleistungen im Projektverlauf durchgeführt. 2015 führte das CEval eine Abschlussevaluation des Projektes durch.
Begleitende Untersuchung der Einführung gemeinsamer Programmvorschläge und gemeinsamer Berichterstattung in der deutschen Entwicklungszusammenarbeit 10/200810/2009Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ), Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Im Zuge der Paris Declaration und der dadurch angestiegenen Anforderungen an die deutsche Entwicklungszusammenarbeit wird seit Mitte 2007 vom BMZ eine neue Verfahrensweise zur gemeinsamen Erstellung von Programmvorschlägen und Berichten eingeführt. Zielsetzung dieser neuen Verfahrensweise ist es, die Wirksamkeit der deutschen EZ durch die Verbesserung der politischen Steuerungsmöglichkeiten des BMZ zu erhöhen, die Abstimmung der DOs untereinander zu optimieren, die Effizienz der Ausgestaltung des Beitrags der deutschen EZ zur Armutsbekämpfung zu steigern sowie die Einbindung der Strategie des Partnerlandes und deren Verzahnung mit Beiträgen anderer Geber zu verbessern. Durch die Steigerung der Wirksamkeit der deutschen EZ soll ein wesentlicher Beitrag zur Erreichung der MDGs geleistet werden.

Ziel der Studie war es entsprechend, den Aufwand und Ertrag des Einsatzes gemeinsamer Programmvorschläge und gemeinsamer Berichterstattung zu analysieren sowie beabsichtigte und unbeabsichtigte Wirkungen zu ermitteln. Hierzu wurden 2008 im Rahmen zweier Länderstudien, einer mündlichen Befragung der mit der Konzeption der Verfahrensweise befassten Mitarbeiter aller staatlichen Durchführungsorganisationen sowie einer standardisierten Erhebung bei den Programmverantwortlichen Basisdaten erhoben. 2010 wurde eine weitere Erhebung realisiert, aufgrund derer die Wirkungshypothesen überprüft werden konnten.

Evaluation des Wiederaufbau- und Umsiedlungsprojekts der Caritas Schweiz in Meulaboh und Singkil (Provinz Aceh/Indonesien)8/200810/2008Caritas Schweiz

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Prof. Dr. Reinhard Stockmann, Dr. Stefan Silvestrini

Beschreibung

Im August und September 2008 wurden zwei von der Caritas Schweiz in der indonesischen Provinz Aceh durchgeführte Wiederaufbau- und Umsiedlungsprojekte evaluiert. Mit den Projekten, die in Folge des Tsunami und eines anschließenden Nachbebens im Dezember 2005 initiiert wurden, sollte ein Beitrag zur Wiederherstellung der Wohn- und Lebensbedingungen der von den Katastrophen betroffenen Bevölkerung in zwei Siedlungsgebieten in Küstennähe (Meulaboh und Singkil) geleistet werden. Im Zentrum des Evaluationsvorhabens stand die Untersuchung und Bewertung der Wirksamkeit der Projekte für die Begünstigten. Ziel der Evaluationen war es zu überprüfen,

  • inwieweit die Begünstigten erreicht wurden und Ihre Partizipationsmöglichkeiten angemessen waren,
  • ob die Projektmaßnahmen ausreichend an den Bedarfen der Begünstigten ausgerichtet waren (Relevanz und Signifikanz),
  • ob die intendierten Wirkungen in ausreichendem Maße erreicht wurden (Effektivität),
  • welche weiteren Wirkungen, also auch nicht intendierte Effekte, die Projekte im gesellschaftlichen Umfeld der Begünstigten ausgelöst haben und schließlich
  • inwieweit von einer Nachhaltigkeit der Wirkungen ausgegangen werden kann und welche weiteren externen Faktoren hierbei eine Rolle spielen.

Des Weiteren wurden die lokalen Rahmenbedingungen sowie die Effizienz des Umsetzungsprozesses beleuchtet. Anhand der Untersuchungsergebnisse wurden Empfehlungen für weiterführende Aktivitäten in den Zielregionen entwickelt.

Im Rahmen der Evaluation kam ein Multi-Methodenansatz zur Anwendung, der die Kombination sekundäranalytischer Verfahren Dokumentenanalyse, Analyse der Rahmenbedingungen) sowie qualitativer und quantitativer empirischer Erhebungsmethoden (leitfadengestützte Intensivinterviews, Beobachtung, standardisierte schriftliche Befragung)umfasste.

Externe Evaluation des 'Programms zur Förderung der Internationalisierung an den deutschen Hochschulen' (PROFIS)3/200810/2008Deutscher Akademischer Austauschdienst (DAAD)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Gegenstand der Evaluation ist das vom BMBF finanzierte Programm des DAAD "PROFIS" mit dem Ziel der Verbesserung der Rahmenbedingungen für das Studium ausländischer Studierender an deutschen Hochschulen sowie für das Auslandsstudium deutscher Studierender. Die Untersuchung soll klären, ob die angestrebten Ziele des Programms erreicht wurden, ob die Grundidee der Entwicklung transferfähiger Modelle erfolgreich war, welche Maßnahmen und Projekte sich als besonders erfolgreich erwiesen haben und ob Verbesserungspotentiale in der Programmadministration, der Projektbegleitung und der Förderung der Dissemination identifiziert werden können.
Zur Datengewinnung werden im Rahmen der Analyse u.a. standardisierte Online-Befragungen mit Hochschulen und Studierenden sowie Intensivinterviews mit den Programmbeauftragten durchgeführt.
Externe Evaluation von uni-assist e.V.1/20087/2008uni-assist e.V.

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Im Rahmen der Evaluation wurde der Nutzen und die Effizienz der Bearbeitung internationaler Studienbewerbungen durch die Geschäftsstelle von uni-assist bewertet. Damit sollte dokumentiert werden, ob uni-assist seine Gründungsziele erreicht hatte und ob eine Mitgliedschaft bei uni-assist aus wirtschaftlicher und organisatorischer Sicht für weitere Hochschulen empfehlenswert ist.
Hierfür wurden u.a. leitfadengestützte Interviews sowohl mit Vertretern teilnehmender als auch nichtteilnehmende Hochschulen sowie standardisierte Online-Erhebungen mit den verschiedenen Zielgruppen durchgeführt.
Begleitende Evaluation des Projekts: "Kopal II"12/20074/2008Plan International Deutschland e.V.

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Das zu evaluierende Projekt zielt auf die Schaffung eines Bewusstseins in Politik und Medien zur Eindämmung des Problems der pränatalen Geschlechtsbestimmung und anschließenden Abtreibung weiblicher Föten sowie einer dauerhaften Verhaltensänderung in der Bevölkerung hinsichtlich der Thematik in vier nordindischen Bundesstaaten. Aufgabe der begleitenden Evaluation ist es, die wesentlichen Erfahrungen aus der bisherigen Umsetzungsphase zu analysieren und zu dokumentieren. Weiterhin sollen auf Grundlage der Untersuchungsergebnisse Empfehlungen für die weitere Projektgestaltung entwickelt und der konkrete Nutzen der Erkenntnisse für die Strategien und Programme der Trägerorganisation und ihrer Partner aufgezeigt werden. Methodisch stützt sich die Untersuchung auf eine Begutachtung vorliegender Projektdokumente sowie auf die Durchführung qualitativer Intensivinterviews zur vertiefenden Analyse der Einschätzungen und Erfahrungen aller Projektbeteiligten.
Evaluation des Projekts: „Community Development in Maharashtra“ (Indien)10/20072/2008AWO International e.V.

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Stefan Silvestrini

Beschreibung

Seit 2004 fördert die AWO International e.V. das Projekt „Community Development in Maharashtra“ (Indien), durch das mit Hilfe eines partizipativen und nachhaltigen Managements der zur Verfügung stehenden natürlichen Ressourcen die Lebensgrundlage der armen ländlichen Bevölkerung in der Region gesichert werden soll. Hierfür wurden, in Kooperation mit ausgewählten Grassroots- und Gemeindeinstitutionen den Zielgruppen landwirtschaftliche Produktionsverfahren sowie Kompetenzen zur Selbstbestimmung und -regulierung vermittelt.

Im Rahmen der Evaluation soll u.a. festgestellt werden, inwieweit die einzelnen Maßnahmewirkungen einen Beitrag zur Oberzielerreichung leisten und wie effizient die dabei eingesetzten Mittel genutzt werden. Darüber hinaus sollen die Zielgruppenangepasstheit sowie die zu erwartende Nachhaltigkeit der Projektwirkungen überprüft und mögliche Anknüpfungspunkte zu den politischen Strategien zur Unterstützung der Zielgruppen identifiziert werden.

Forschungsstudie: „Wirkungsevaluierungen/Impact Evaluations – Zum aktuellen internationalen Stand der Diskussion und dessen Relevanz für deutsche EZ-Evaluierungen 10/20071/2008Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Im Rahmen der Forschungsstudie wurde die aktuelle internationale Diskussion über „(Rigorous) Impact Evaluations“ und deren Durchführung im Rahmen der Entwicklungszusammenarbeit eingehend analysiert. Im Vordergrund standen dabei experimentelle bzw. quasi-experimentelle Designs und die verschiedenen Verfahren zur Bildung von Kontroll- oder Vergleichsgruppen. Methodisch wurden zentrale Dokument, Internetauftritte und Workshopdokumente relevanter Akteure analysiert.
InWEnt Training zu M&E im Kontext von BTVET in Uganda: Datenerhebungsmethoden mit Schwerpunkt Durchführung von standardisierten Befragungen. 7/20079/2007Internationale Weiterbildung und Entwicklung gGmbH (InWEnt)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Im Rahmen des Trainings werden Module zu Monitoring, Evaluation, Datenerhebungsmethoden und Datenauswertung sowie Reporting angeboten. Außerdem findet ein Backstopping von InWEnt Alumni zum Thema M&E statt.

InWEnt Training zu Qualitätsmanagement, Monitoring und Evaluation im TVET Bereich4/20075/2007Internationale Weiterbildung und Entwicklung gGmbH (InWEnt)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Im Rahmen des Trainings werden Module zu Qualitätsmanagement, Monitoring, Evaluation, Datenerhebungsmethoden Datenauswertung sowie Reporting angeboten mit dem Schwerpunkt auf Berufsbildung.

GTZ-Rahmenvertrag 2007-2009 zur Durchführung von Unabhängigen Evaluierungen und Wirkungsevaluierungen von Programmen der technischen Zusammenarbeit 4/200712/2009Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Die Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ) GmbH hat ihr bestehendes Evaluierungssystem 2005 mit der Einführung von Ex-post Evaluierungen vervollständigt und lässt seither im Auftrag des BMZ jährlich weltweit ca. 25-30 Unabhängige Evaluierungen (UE) in dessen Kooperationsländern durch unabhängige wissenschaftliche Institute und Consultingunternehmen evaluieren (je ca. zehn Evaluierungen laufender Vorhaben, zehn Schluss- und zehn ex-post Evaluierungen). Hierfür wurde u.a. mit dem CEval ein zweiter Rahmenvertrag für die Jahre 2007 bis 2009 geschlossen.

Im Rahmen des Auftrages führte das CEval im Auftrag der GTZ in diesem Zeitraum 15 Unabhängige Evaluierungen und Wirkungsevaluierungen in den Sektoren Energie, Wasser, Mikrofinanzen und Berufliche Bildung durch.

Vier der Vorhaben evaluierten CEval-Mitarbeiter als Wirkungsevaluationen zur Erprobung eines durch das CEval erstellten Konzepts, zur methodisch anspruchsvolleren Wirkungsmessung im Rahmen von GTZ Unabhängigen Evaluierungen in Anlehnung an Rigorous Impact Evaluations (RIE). Prämisse des Konzepts war die Berücksichtigung des Leitfadens zur Erfolgsbewertung von GTZ unabhängigen Evaluierungen und der Alltagstauglichkeit, d.h. die Durchführung unter vertretbarem zeitlichem und finanziellem Rahmen. Das methodische Konzept beinhaltete: (a) Hypothesengeleitete Ursache-Wirkungsuntersuchung unter Berücksichtigung der GTZ Wirkungskette, (b) Quasiexperimentelles Forschungsdesign mit Vorher-Nachher Ansatz sowie Ziel- und Vergleichsgruppenansatz, (c) Multi-Methoden-Ansatz mit Berücksichtigung einer standardisierten Zielgruppenbefragung und (d) Adäquate Datenauswertungsmethoden (Einsatz von uni- und multivariaten statistischen Analyseverfahren). Wirkungen/Veränderungen sollten zu den Messzeitpunkten t1 (Ausgangssituation) und t2 (Zeitpunkt der Evaluation) identifiziert und die kausale Zuschreibung zum Evaluationsgegenstand (kausale Ursache-Wirkungszuschreibung) ermöglicht werden.

Alle weiteren elf Evaluierungen wurden unter der Koordination von Nicolà Reade und Stefan Silvestrini von CEval-Mitarbeitern sowie externen Gutachtern aus dem In- und Ausland umgesetzt.

Zu den Evaluierungen und Wirkungsevaluierungen in 2007 bis 2009 gehörten:

  • Laufende Evaluierung der GTZ Entwicklungsmaßnahme „Förderung produktiver Kleinwasserkraftnutzung, Nepal" (2007)
  • Laufende Evaluierung der GTZ Entwicklungsmaßnahme „ProBEC Effiziente Nutzung von Biomassenenergie im Südlichen Afrika" (2007)
  • Schluss Evaluierung der GTZ Entwicklungsmaßnahme „Förderung von Klein- und Mittelunternehmen, Mongolei" (2007)
  • Ex-post Evaluierung der GTZ Entwicklungsmaßnahme „Beratung zur Förderung der rationellen Energieverwendung (DEDP), Thailand" (2007)
  • Ex-post Evaluierung der GTZ Entwicklungsmaßnahme „Energieeinsparung in Klein- und Mittelindustrie im Bundesstaat Rio de Janeiro, Brasilien" (2007)
  • Ex-post Evaluierung der GTZ Entwicklungsmaßnahme „Förderung der Energieeffizienz in Gebäuden in Erzurum, Türkei" (2007)
  • Laufende Wirkungsevaluierung des KV Programms "Entwicklung des Wassersektors, Kenia" (2008)
  • Laufende Wirkungsevaluierung des KV "Programms für die Reform des Wassersektors, Sambia" (2008)
  • Ex-post Wirkungsevaluierung des GTZ Vorhabens "Qualifizierung kommunaler Dienste (TODAIE), Türkei" (2008)
  • Laufende Evaluierung des KV Programms "Trinkwasser- und Sanitärprogramm PROAGUA, Peru" (2008)
  • Schluss Evaluierung des KV Programms "Verbesserung der Wasserversorgung in der Volta- und Eastern-Region, Ghana" (2008)
  • Schluss Evaluierung des GTZ Vorhabens "Wassereinzugsgebiets-Management, Rio Lerma im Tal von Toluca und Rio Balsas, Mexiko" (2008)
  • Gemeinsame Ex-post Wirkungsevaluierung des Vorhabens "TESDA, Philippinen" (2009)
  • Zwischenevaluierung des Projekts "Unterstützung des Ukrainischen Finanzwesens" (2009)
  • Ex-post Evaluierung des KV Programms "Finanzsystementwicklung, Bolivien" (2009)
Entwicklung eines M&E Konzepts für das TVET Reform Program in Cairo, Ägypten 2/20079/2007Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Im Rahmen des Auftrages wird ein M&E Konzept für das TVET Reform Programm in Cairo, Ägypten entwickelt. Zudem findet ein Backstopping der verantwortlichen M&E Expertin vor Ort in M&E Fragen statt.

Entwicklung eines Analyserasters für EZ-Maßnahmen zur Stadtentwicklung hinsichtlich ihrer Wirkungen im politischen Raum12/200610/2008Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Die Anforderungen an die deutsche EZ, strukturelle Wirkungen in den Partnerländern zu entfalten, die zur Armutsminderung beitragen, haben auch die Ziele sowie Beratungsansätze und -methoden von Stadtentwicklungsvorhaben beeinflusst. Dabei rücken immer stärker Governance-Fragestellungen in den Mittelpunkt, was bedeutet, dass Aushandlungs- und Entscheidungsprozesse sowohl in der Stadt aber auch in übergeordnete Ebenen organisiert und nach Kriterien der guten Regierungsführung gestaltet werden müssen.

Ziel des Auftrages war die Erarbeitung eines Analyserasters, das der konzeptionellen und methodischen Weiterentwicklung des Politikberatungsansatzes in Stadtentwicklungsvorhaben dienen sollte. Hierfür wurden die erforderlichen theoretischen und inhaltlichen Grundlagen zur Erarbeitung des Analyserasters geschaffen. Das Analyseraster sollte in weiteren Gutachtereinsätzen in Stadtentwicklungsvorhaben erprobt werden. Auf Grundlage der durch die Anwendung des Analyserasters gewonnenen Erkenntnisse wurde schließlich ein Monitoring-Instrument entwickelt.

Evaluation der internationalen Sur-Place-Stipendienprogramme der Konrad-Adenauer-Stiftung e.V. in ausgewählten Ländern11/20063/2007Konrad-Adenauer-Stiftung e.V. (KAS)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Vera Hennefeld

Mitarbeiter: Dr. Vera Hennefeld, Dr. Stefan Silvestrini

Beschreibung

Die Konrad-Adenauer-Stiftung (KAS) fördert mit Hilfe ihrer Stipendienprogramme die Aus- und Fortbildung von Fach- und Führungskräften aus Entwicklungsländern sowie aus den Transformationsstaaten Mittel- und Südosteuropas. Ziel der Maßnahme ist es, die Leistungsfähigkeit der lokalen Partnerorganisationen zu stärken und Persönlichkeiten zu fördern, die für die Projektarbeit wichtig sind bzw. von denen erwartet werden kann, dass sie als Multiplikatoren oder Stützpunkte wirken.
Aufgabe der Evaluation war eine Bewertung der internationalen Stipendienprogramme der Stiftung für den Förderzeitraum von 1998 bis 2006 und die Entwicklung handlungsorientierter Empfehlungen für den Einsatz des Programms in den kommenden Jahren. Hierfür wurden vier Länderfallstudien in Afrika (Südafrika), Asien (Vietnam und Kambodscha), Europa (Russland und Bosnien-Herzegowina) und Lateinamerika (Argentinien und Chile) durchgeführt. Die Evaluationsergebnisse wurden nicht nur in Form einzelner Fallstudien sondern auch vergleichend in einem zusammenfassenden Synoptischen Summary dokumentiert. Methodisch basiert die Evaluierung auf leitfadengestützten Intensivinterviews mit den Stipendiaten und Auslandsmitarbeitern in den Zielländern sowie mit den zuständigen Stiftungsmitarbeitern in Deutschland. Des Weiteren wurde eine Auswertung vorhandener Daten und Dokumente zum Projektverlauf vorgenommen.

InWEnt Training zu Qualitätsmanagement, Monitoring und Evaluation im TVET Bereich11/200612/2006Internationale Weiterbildung und Entwicklung gGmbH (InWEnt)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Im Rahmen des Trainings werden Module zu Qualitätsmanagement, Monitoring, Evaluation, Datenerhebungsmethoden Datenauswertung sowie Reporting angeboten mit dem Schwerpunkt auf Berufsbildung.

Weiterbildungsmaßnahmen zu Training Needs Assessment im Enineering Capacity Building Project in Äthiopien3/20065/2006Internationale Weiterbildung und Entwicklung gGmbH (InWEnt), Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Gutachten ‚Neuere Verfahren und Konzepte im Rahmen der Wirkungsanalyse’1/20061/2006Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Entwicklung eines Monitoring Systems im Projekt: Vocational Qualification and Employment Promotion in the Western Regions of China. 11/20053/2007Gesellschaft für Organisation, Planung und Ausbildung mbH (GOPA), Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Im Rahmen des Auftrages wurde ein wirkungsorientierten Monitoringsystem mit den Projektverantwortlichen aufgebaut. U.a. wurde das Monitoringsystem konzipiert (inklusive Indikatorenformulierung, Planung der Datenerhebung), Mitarbeiter geschult, Datenerhebungsinstrumente entwickelt, Daten erhoben und ausgewertet für Management entscheidungen. Zudem wurde ein Handbuch für die Projektmitarbeiter verfasst, das sich detailliert mit den einzelnen Schritten im wirkungsorientierten Monitoring befasst.

Evaluierung ASEAN Industrielle Biotechnologie und Umweltmanagement (EIBUM)9/20058/2006Internationale Weiterbildung und Entwicklung gGmbH (InWEnt)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Stefan Silvestrini

Beschreibung

Im Auftrag der Internationalen Weiterbildungs- und Entwicklungs gGmbH (InWEnt) werden fünf Langzeit-Programme in den Bereichen der industriellen Biotechnologie, des industriellen Umweltschutzes sowie des Instandhaltungs- und Anlagenmanagements in sechs ASEAN-Staaten evaluiert. Ziel der Evaluation ist es, Erkenntnisse über die Stärken und Schwächen (Inhalt, Aufbau, Organisation, Abwicklung etc.) der Trainingsprogramme unter Berücksichtigung der politisch-institutionellen Rahmenbedingungen zu gewinnen. Dementsprechend wird eine angemessene programmübergreifende Bewertung der Qualität und des Nutzens der Programme (Planung, Vorbereitung, Durchführung, Ergebnisse) und seiner Projekte / Maßnahmen vorgenommen. Die Zusammenfassung der verschiedenen Programmevaluationen erfolgt primär aufgrund der Gesamtzielstellung. Die Komplexität und thematische Vielfalt bieten neben den strukturellen und regionalen Gemeinsamkeiten die Basis zur Erlangung von verallgemeinerbaren Ergebnissen für den Aufbau, die Organisation und praktische Durchführung von komplexen Programmen / Projekten der Entwicklungszusammenarbeit (EZ). Die komparative Evaluation hinsichtlich Themenbezug, Programmstruktur oder Budget ähnlich gelagerter Programme weiterer EZ-Organisationen ist ebenfalls Zielstellung der Evaluation.
Überblicksartige Vorstudie zur Stellung der Entwicklungszusammenarbeit an deutschen Hochschulen9/200510/2005Hochschulrektorenkonferenz (HRK)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Durchführung Fremdevaluationen - Rahmenvertrag9/20053/2007Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Die GTZ hat 2005 ihr bestehendes Evaluierungssystem mit der Einführung von Schluss- und Ex-post Evaluierungen vervollständigt. In diesem Zusammenhang wurden 2005 / 2006 Rahmenverträge mit verschiedenen Institutionen geschlossen, in dessen Rahmen die Evaluationen von ca. 34 Einzelvorhaben in verschiedenen Regionen und Themenbereichen durchgeführt wurden.

Die GTZ hat mit dem CEval einen Rahmenvertrag geschlossen, auf dessen Basis in 2005 im Rahmen einer ersten Pilotphase zwei Projekt ex-post evaluiert wurden:

  1. Ex-Post Evaluation des GTZ-Programms Umweltmanagement für Stadtentwicklung in Thailand
  2. Ex-Post Evaluation des Programms Slumsanierung in Nagpur, Indien

In 2006 wurden im Kontext des Rahmenvertrages vom CEval die Evaluationen von 10 Einzelvorhaben in 9 Ländern koordiniert. Drei der Evaluationen wurden von CEval-MitarbeiterInnen durchgeführt. Die übrigen Evaluationen wurden unter der Leitung und Koordination von Frau Dr. Alexandra Caspari von ca. 20 GutachterInnen aus dem In- und Ausland umgesetzt.

    • Ex-Post Evaluation des GTZ- Forstvorhaben Schwarzer Fluss in Vietnam
    • Ex-Post Evaluation des GTZ-Vorhabens KV-Kommunale Waldbewirtschaftung Quirino auf den Philippinen
    • Evaluation des laufenden GTZ-Vorhabens in Asien NA: Regionales Forstvorhaben – South Pacific Community
    • Ex-Post Evaluation des GTZ-Vorhabens Modernisierung des Steuersystems in der Dominikanischen Republik
    • Schlussevaluation des GTZ-Vorhabens Dezentralisierung und Regionalplanung in der Dominikanischen Republik
    • Ex-Post Evaluation des GTZ-Vorhabens Modernisierung der Steuerverwaltung in Rumänien
    • Schlussevaluation des GTZ-Vorhabens Tropenwaldrelevantes Ressourcenschutzprogramm in Ruanda
    • Schlussevaluation des GTZ-Vorhabens Erhaltung des Schutzgebietes Osa in Costa Rica
    • Schlussevaluation des GTZ-Vorhabens Regionalentwicklung Lovetsch in Bulgarien
    • Evaluation des laufenden GTZ-Vorhabens
      NAMARES Nachhaltiges Management natürlicher Ressourcen in Ecuador
Evaluation des Reintegrationsprogramms des Evangelischen Entwicklungsdienstes (EED)6/200510/2005Evangelischer Entwicklungsdienst (EED)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Der EED bietet in Deutschland lebenden Fachkräften aus Afrika, Asien und Lateinamerika, die auf Dauer in ihr Herkunftsland zurückkehren möchten ein Reintegrationsprogramm an. Dafür bietet es Bewerbern, die in Kürze ihre Ausbildung oder ihr Studium in Deutschland abschließen und noch keine oder nur geringe Berufserfahrung von weniger als zwei Jahren erworben haben, Beihilfen, wenn sie eine entwicklungspolitische Tätigkeit in ihrem Heimatland aufnehmen. Zu den Leistungen des Programms gehören neben der eigentlichen Reintegrationsbeihilfe, eine Ausreisebeihilfe, die Erstattung der Reise- und Gepäcktransportkosten, die soziale Sicherung im Heimatland sowie ein Kaufkraftausgleich. Voraussetzung für eine Förderung ist, dass die Bewerber sich in Deutschland bereits mit entwicklungspolitischen Fragen auseinandergesetzt haben und dass bei einer überseeischen (Partner-) Organisation ein geeigneter Arbeitsplatz zur Verfügung steht. Ziel der Evaluation ist eine Wirkungsanalyse, in der die Erfolge bei der Reintegration von Fachkräften und die entwicklungspolitischen Implikationen des Programms untersucht werden. Dabei wird einerseits der Frage nachgegangen, was das Reintegrationsprogramm in Bezug auf die soziale und berufliche Reintegration von Fachkräften in ihrem Herkunftsland leistet. Andererseits steht der Beitrag des Reintegrationsprogramms für die entwicklungspolitische Arbeit der Partnerorganisationen des EED im Vordergrund. Mit Hilfe quantitativer und qualitativer empirischer Methoden werden dazu Daten von Reintegranten sowie deren (ehemaligen) Arbeitgebern erhoben. Als Instrumente kommen neben standardisierten schriftlichen Befragungen leitfadengestützte Intensivinterviews, Fallstudien und sekundäranalytische Verfahren zum Einsatz. Die Studie ist weltweit ausgelegt, wobei der Fokus auf Afrika gerichtet wird.
Kommentierung der Standards-Diskussion von UNEG und DAC5/200510/2005Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Evaluation ‚Einzelmaßnahmen zur entwicklungspolitischen Informations- und Bildungsarbeit'4/20058/2005Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Gegenstand der durchgeführten Evaluation waren drei Einzelmaßnahmen, die aus Mitteln des BMZ gefördert wurden. Zentrale Fragestellung der Evaluation war, inwieweit die drei Einzelmaßnahmen einen sinnvollen Beitrag zur entwicklungspolitischen Bildungsarbeit leisten und ob bzw. inwieweit sie sich in ihren Tätigkeiten oder in den anvisierten Zielgruppen überschneiden. Ziel der Evaluation war es, dem BMZ eine angemessene Grundlage zu bieten, um die Angebote und Dienstleistungen sowie die Zielgruppen der drei Einrichtungen adäquat einschätzen zu können.
Gemäß der Fragestellung und im Sinne der Methoden-Triangulation wurden verschiedene Formen der Datenerhebung genutzt: Eine Sektoranalyse sollte einen Überblick über die ‚Rahmenbedingungen’ der entwicklungspolitischen Bildungsarbeit in Deutschland sowie einen Überblick über weitere relevante Akteure im Bereich der entwicklungspolitischen Bildungsarbeit und deren Informations- und Dienstleistungsangebote geben, um die Angebote und Zielgruppen der drei untersuchten Einrichtungen einschätzen zu können. Im Rahmen von Vor-Ort Besuchen der drei Einrichtungen wurden mit verschiedenen Mitarbeitern Intensivinterviews geführt sowie sämtliche zur Verfügung gestellten Materialien gesichtet. Auf dieser Grundlage wurden im möglichen Rahmen Kosten-Nutzen-Berechnungen erstellt. Darüber hinaus wurden leitfadengestützte Telefoninterviews mit weiteren relevanten Personen geführt. Um insbesondere die Nutzung sowie die Qualität und den Nutzen der Angebote und Dienstleistungen der drei Einrichtungen untersuchen zu können, wurde eine Online- Befragung verschiedener Personengruppen durchgeführt.

Entwicklung eines Monitoringsystems für das vietnamesisch-deutsche Berufsbildungsprogramm in Vietnam2/20058/2005Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Beratung des Berufsbildungsprogramms „Verbesserung von Leistungsfähigkeit und Nachfrageorientierung der Aus- und Fortbildungsstätten des vietnamesischen Berufsbildungssystems“ in Hanoi/Vietnam bei der Entwicklung eines Monitoringsystems und der Planung und Durchführung einer Tracer-Study und Betriebsbefragung.
Evaluation des Stipendienprogramms des Evangelischen Entwicklungsdienstes (EED)2/20056/2005Evangelischer Entwicklungsdienst (EED)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Das Stipendienprogramm des EED hat die Aufgabe, kirchliche Partner und entwicklungsorientierte Nichtregierungsorganisationen in Entwicklungsländern bei der Fortbildung und Qualifizierung ihres Personals zu unterstützen. Hierfür werden Stipendien für ein entwicklungsbezogenes Postgraduiertenstudium in Deutschland, europäischen Ausland oder Entwicklungsländern an berufserfahrene Hochschul-/ Fachhochschulabsolventen aus Entwicklungsländern vergeben. Ferner werden die Stipendiaten bei der studienbedingten Integration und Orientierung mittels studienergänzender Seminarangebote begleitet. Neben der akademischen Qualifikation beziehen sich die Förderkriterien u.a. auf die Bedeutung des Studienvorhabens für die nachhaltige Entwicklung sowie den Auf- bzw. Ausbau von Bildungsstätten im Heimatland, Fragestellungen des konziliaren Prozesses für Frieden Gerechtigkeit und Bewahrung der Schöpfung etc.

Seit Oktober 2003 ist das ehemalige Stipendienprogramm des Ökumenischen Studienwerks (ÖSW) Teil des EED in Bonn. Im Rahmen dieser Integration soll die Förderung berufserfahrener Nachwuchskräfte aus Entwicklungsländern enger mit den internationalen Programmen, der Personalvermittlung und dem Inlandsprogramm des EED verbunden werden.

Ziel der Evaluation ist die Untersuchung der Entwicklungsrelevanz des Stipendienprogramms des EED. Der Schwerpunkt der Evaluation liegt dabei auf den (beruflichen) Tätigkeiten der Stipendiaten nach Beendigung ihrer Ausbildung, ihrer Funktion als Multiplikatoren, und auf Ihrem „Wirken“, (insbesondere auch in Bezug auf Organisationsentwicklung und Zuwachs an Know-how in den Institutionen aus denen die Stipendiat(inn)en vermittelt werden). Der geographische Fokus der qualitativen Fallstudien liegt auf Lateinamerika (Brasilien) und Ostafrika (Tansania/ Kenia), während die quantitative Befragung der ehemaligen Stipendiaten weltweit erfolgt.

Ex-Post Evaluation des GTZ-Projekts: Slumsanierung Nagpur, Indien1/20051/2006Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Gegenstand der Evaluation war ein GTZ-Projekt zur Slumsanierung in Nagpur, Indien, das einen wichtigen Beitrag zur Verbesserung der Lebensbedingungen in den Slums und informellen Siedlungen Nagpurs leisten sollte. Der deutsche Beitrag war darauf ausgerichtet, die Stadt Nagpur darin zu unterstützten, eine eigenständige und nachhaltige Sanierungspolitik unter Beteiligung von Bewohnerorganisationen in den unterversorgten Siedlungen zu betreiben. Eines der wesentlichen Elemente der Zusammenarbeit sollte dabei die Bündelung lokaler Initiativen und bestehender nationaler oder regionaler Förderungsprogramme bewirken.

Hintergrund der Evaluation war die Einführung von Schluss- und Ex-Post Evaluationen bei der GTZ. Im Rahmen eines Pilotversuches werden zunächst 8 Evaluationen von Projekten zum Jahresthema der GTZ „Die Stadt von morgen“ durchgeführt.
Das hier evaluierte Projekt gehörte zu dieser Stichprobe. Die Evaluation sollte in erster Linie der Rechenschaftslegung dienen, darüber hinaus sollten die Erkenntnisse in das Wissensmanagement der GTZ einfließen und für die Weiterentwicklung von Konzepten und die Gestaltung künftiger Vorhaben genutzt werden.

Zentrale Fragestellung und Ziel der Evaluation war entsprechend fundierte Aussagen zum Erfolg des Projektes zu liefern, der auf der Grundlage vorgegebener Evaluationskriterien beschrieben und bewertet wurde. Diese waren die mit dem Vorhaben erreichten Wirkungen, die Effizienz der Mittelverwendung, die entwicklungspolitische Relevanz und Signifikanz, die Kohärenz sowie die Nachhaltigkeit der Wirkungen (in Anlehnung an OECD/DAC).
Ferner sollten die Evaluierungen bzgl. des ausgewählten entwicklungspolitischen Themas „Die Stadt von morgen“ Auskunft über weitere zusätzliche Fragen geben, die für die weitere Konzept- und Sektorentwicklung von Relevanz sind und auch eine vergleichende und übergreifende Aussage zu allen Evaluierungen ermöglichen sollen:

  1. Welchen Beitrag leistete das Vorhaben zur Erzielung von Wirkungen auf der Ebene der MDGs, insbesondere MDG 7, Teilziel 11?
  2. Welche Auswirkungen hatte der Mehrebenenansatz (Stadtteilebene, Gesamtstadtebene, übergeordnete Ebenen) und die Mehrdimensionalität des Vorhabens (technisch, sozial, räumlich, ökonomisch, ökologisch) auf die Nachhaltigkeit der Wirkungen des Vorhabens?
  3. Inwieweit gab es Synergieeffekte durch die Kombination von TZ und Finanzierung durch Dritte, welche Bedingungen waren hierfür ausschlaggebend?
Ein dritter Bearbeitungspunkt betraf das Konzept der Ex-post Evaluation, die Methodik und das Raster für die Erfolgsbewertung, was auf der Grundlage der Erfahrungen konstruktiv-kritisch bewertet werden sollte.
EASY-ECO 2005-2010 - Evaluation of Sustainability 1/200512/2010Marie-Curie-Programm der Europäischen Union

Leiter: Dr. Wolfgang Meyer

Ansprech­partner: Dr. Wolfgang Meyer

Mitarbeiter: Dr. Stefan Silvestrini

Beschreibung

EASY-ECO 2005-2007 war eine Serie von sieben Veranstaltungen (drei Konferenzen und vier Trainingskurse), die bis Ende 2007 in Deutschland, Großbritannien, Österreich, Polen, Rumänien, der Slowakei und in Ungarn stattfand. Thema der Veranstaltungsreihe war die Evaluation nachhaltiger Entwicklung. Dabei lag der Schwerpunkt unter anderem auf dem Austausch von praktischen Erfahrungen und neuen wissenschaftlichen Erkenntnissen sowie der Qualifizierung von Nachwuchswissenschaftlern und Nachwuchswissenschaftlerinnen insbesondere in den neuen Mitgliedsstaaten der Europäischen Union. Zu den Veranstaltungen wurden mehr als 600 Personen aus Wissenschaft, Politik und Praxis als Teilnehmer erwartet. Das CEval organisierte dabei vom 11.10.-14.10.2006 eine Konferenz im Saarland. Diese war zugleich die einzige Veranstaltung zu EASY-ECO 2005-2007 in Deutschland. Die Veranstaltungsreihe EASY ECO 2005-2007 wurde gefördert durch die "Marie Curie Conferences and Training Courses" innerhalb des Sechsten Rahmenprogramms der Europäischen Union. Aufgrund der dadurch vorhandenen Fördermittel konnten NachwuchswissenschaftlerInnen die Übernahme sämtlicher Kosten für die Teilnahme an bis zu zwei Konferenzen und einem Trainingskurs beantragen. Ausführliche Informationen über das Projekt EASY-ECO 2005-2007 und seine Ziele, die beteiligten Institutionen sowie Ihre Teilnahmemöglichkeiten finden Sie auf www.ceval.de/easyeco.
Vergleich der Gesundheitssysteme im Saarland und im Departement Moselle12/20044/2005Landesarbeitsgemeinschaft für Gesundheitsförderung Saarland (LAGS)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Mitarbeiter: Dr. Stefan Silvestrini

Beschreibung

Das Centrum für Evaluation (CEval) wurde von der Landesarbeitsgemeinschaft für Gesundheitsförderung Saarland e.V. (LAGS) beauftragt, die bereits zuvor erhobenen Fragebögen auszuwerten und die Ergebnisse für eine kartografische Darstellung in geeigneter Form aufzubereiten. Ziel der Erhebung war es, einen Ist-Zustand der vorhandenen Leistungsangebote zu ermitteln sowie mögliche Kooperationen zwischen den französischen und saarländischen Einrichtungen und die Mobilität der Patientinnen und Patienten darzustellen.
Vor dem Hintergrund der Schaffung grenzüberschreitender Zugangsmöglichkeiten zur Gesundheitsversorgung dienen die gewonnenen Informationen als Grundlage für eine Vergleichsstudie zur effizienteren Nutzung der dazu vorhandenen infrastrukturellen Ressourcen. Gleichsam soll auf diese Weise ein Beitrag zur Förderung der regionalen grenzüberschreitenden Gesundheitspolitik geleistet werden.

Einführung eines Monitoring- und Evaluationssystems in einem Berufsbildungsprojekt der deutsch- ägyptischen Entwicklungszusammenarbeit1/200212/2004Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Entwicklung und Implementation eines Monitoring- und Evaluationssystems für die Mubarak-Kohl-Initiative zur Einführung einer dualen Berufsausbildung in Ägypten.
Gutachten zu den Perspektiven der Programmarbeit der DSE-ZGB1/20025/2002Deutsche Stiftung für internationale Entwicklung (DSE), Zentralstelle für Gewerbliche Berufsförderung (ZGB)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Die konzeptionelle Reformulierung der Berufsbildungshilfe Anfang der 90er Jahre sowie die Neukonzipierung der Entwicklungszusammenarbeit (EZ) nach dem Regierungswechsel erfordern Anpassungen der ZGB-Programmarbeit. Anhand von drei ausgewählten Schwerpunktländern der deutschen EZ (Ägypten, Indien, Uganda) wurden daher in einem Gutachten Aussagen zur zukünftigen Rolle sowie zu den Beiträgen der DSE-ZGB im Rahmen einer neugeordneten EZ im Bereich der beruflich-technischen Bildung erarbeitet.

Entwicklung einer Methodologie für eine Benefit Monitoring and Evaluation (BME) inkl. eines Social Impact Monitoring (SIM) im Rahmen des Weltbank-Projektes ‚Road Rehabilitation Project – Kyr-gyz Republic’8/20010/0Müller&Müller Consulting

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Entwicklung und Implementation eines Monitoring- und Evaluationssystems für das philippinisch-deutsche Berufsbildungsprojekt "Promotion of Dual Training and Education" auf den Philippinen9/20002/2003Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Im Zeitraum von 2 Jahren wurde ein M&E-System für das Berufsbildungsprojekt der GTZ in Manila mit den beteiligten Partnern entwickelt und implementiert. Im Rahmen dieses Prozesses wurden Schulleiter, Lehrer, Unternehmer und Ausbilder, die in die duale Berufsausbildung involviert sind, mittels standardisierten Face-to-face-Interviews befragt und eine Absolventenverbleibsanalyse durchgeführt.

"Entwicklung und Implementation eines Monitoring- und Evaluationssystems für das Projekt Umweltschutz und industrielle Wettbewerbsfähigkeit der deutsch-mexikanischen Entwicklungszusammenarbeit"4/20000/0Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Ein vom Centrum für Evaluation (CEval) für das Projekt „Umweltschutz und industrielle Wettbewerbsfähigkeit“ entwickeltes und etabliertes Monitoring- und Evaluationssystem dient der kontinuierlichen Wirkungsbeobachtung über den gesamten Projektverlauf und stellt somit ein zentrales Instrument der Qualitätssicherung dar. Das Vorhaben umfasst die konzeptionelle Entwicklung von M&E-Instrumenten und –Verfahren, die methodische Schulung der zuständigen Mitarbeiter in den Partnerorganisationen sowie die beratende Begleitung bei der Erfassung, Auswertung und Nutzung von Daten über den Projektverlauf und die Projektergebnisse.

Evaluierung der Berufsbildungssituation der Provinz Gansu in der VR China3/20004/2000Hanns-Seidel-Stiftung (HSS)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Im Zuge der Neuordnung der Projekte der HSS in der VR China hinsichtlich einer bildungspolitischen Systemberatung wurde die Situation der beruflichen Bildung in der Provinz Gansu evaluiert.

Evaluation des Kunstprojektes ‚Wetterfernsehen – Telematische Skulptur der KZ-Gedenkstätte Neue Bremm’1/200010/2000Kultur- und Schulverwaltungsamt Saarbrücken

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Ziel des Projektes ‚Wetterfernsehen – Telematische Skulptur der KZ-Gedenkstätte Neue Bremm‘ der Designerin Sandra Anstätt und des Künstlers Rolf Giegold war eine künstlerisch konzipierte Gesprächsanbahnung über die Saarbrücker KZ-Gedenkstätte an der Grenze zu Frankreich und ihre heutige Bedeutung. Über Monitore wurde ein Livebild der KZ-Gedenkstätte Neue Bremm in Form eines Wetterbildes, wie es teilweise von TV-Programmen ausgestrahlt wird, an acht Standorten in öffentlichen Gebäuden Saarbrückens übertragen. Die telematische Skulptur sollte den sozial wie urban ‚unterbelichteten‘ Ort am Stadtrand in die Stadtmitte bringen und somit Passanten einen Zugang zum Ort selbst eröffnen. Die medial wirksame künstlerische Vermittlungsstrategie bzw. Kommunikationskonzeption sollte - über den Ort und seine Geschichte hinausgehend - zum Nachdenken über die Folgen des Faschismus anregen.

Eine Evaluation des Projektes sollte Aufschluss darüber geben, inwieweit sich die Erwartungen der Projektautoren Anstätt und Giegold erfüllt haben und das Projekt die intendierten Wirkungen erreicht hat, d.h. inwieweit der Monitor bzw. das gezeigte Bild einen kommunikativen Prozess bei den Betrachtern ausgelöst hat. Von zentralem Interesse war hierbei die Frage nach der Wahrnehmung der Monitore durch Passanten an sich aber auch die Frage nach der Reaktion, die ausgelöst wurde.
Anhand einer empirischen Studie wurde gezeigt, dass ein Großteil der Personen, die einen der Monitore passiert hatten, diesen nicht nur sahen sondern auch inhaltlich korrekt wahrnahmen, wobei die Häufigkeit, mit der eine Person einen der Monitore passierte, einen Einfluss auf die Wahrnehmung hatte. In einem weiteren Schritt wurde gezeigt, dass die Monitore die intendierte Reaktion bewirkten: Viele der befragten Personen gaben an, sich bereits über den Monitor unterhalten zu haben.

Veröffentlichung:

Caspari, Alexandra, 2001: Wahrnehmung und Reaktion. Eine Evaluation des Projektes Wetterfernsehen, in: Haberl, H.G./Bohr, K.; Wetterfernsehen. Osfildern-Ruit: Crantz, S. 74-91
Querschnittsauswertung über 32 Ex-post Evaluationen8/19993/2000Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Erstellung eines Skriptes ‚Basics in Statistics and Methods of Social Research’ im Rahmen einer Qualifizierungsmaßnahme des MKI-Projektpersonals, Ägypten, zur Etablierung eines M&E-Systems2/19990/0Mubarak-Kohl-Initiative Ägypten (MKI)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Erarbeitung eines sektorunabhängigen Analyseleitfadens für die Ex-post Evaluationen der ‚BMZ Wirkungsuntersuchung abgeschlossener Vorhaben der deutschen EZ’12/19980/0Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Querschnittsauswertung über vier Testläufe11/19980/0Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)

Leiter: Dr. Stefan Silvestrini

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Ex-post Evaluation des GTZ-Projektes ‚Maschinenstationen der Jordan Cooperative Organization – Jordanien’ 8/199810/1998Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Ex-post Evaluation des KfW-Projektes ‚Ländliche Gesundheitseinrichtungen Swasiland’ 8/199810/1998Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Erstellung eines Gutachtens ‚Ex-Post Evaluationen als Instrument des Qualitätsmanagements’1/19985/1998Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Erstellung eines Durchführungskonzeptes ‚Kurzkurse zur Anwendung von Statistik und Methoden der empirischen Sozialforschung im Themenfeld Arbeitsmarkt und Berufsbildung’ für die Mubarak-Kohl-Initiative (MKI), Kairo8/19970/0Mubarak-Kohl-Initiative Ägypten (MKI)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Erstellung eines Durchführungskonzeptes ‚Kurzkurse zur Anwendung von Statistik und Methoden der empirischen Sozialforschung im Themenfeld Arbeitsmarkt und Berufsbildung’8/19970/0Deutsche Stiftung für internationale Entwicklung (DSE), Zentralstelle für Gewerbliche Berufsförderung (ZGB)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Erstellung eines Durchführungskonzeptes ‚Wirkungsanalyse von Berufsbildungsprojekten in Pakistan’6/199710/1997Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Wissenschaftliche Begleitung der BMZ Wirkungsuntersuchung abgeschlossener Vorhaben der deutschen EZ1/199712/2000Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

Vor dem Hintergrund steigenden Interesses an der langfristigen Wirksamkeit der deutschen Entwicklungszusammenarbeit (EZ) sowie einem Beschluss des Deutschen Bundestages startete das Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) 1997 eine groß angelegte Studie „Wirkungsuntersuchung abgeschlossener Vorhaben der deutschen EZ“. Ziel der Studie war es, erstmals durch eine breit angelegte Untersuchung empirisch abgesicherte Aussagen zu langfristigen Wirkungen der deutschen EZ zu gewinnen. Zu diesem Zweck wurden 1999 Einzelevaluationen von 32 Projekten in den jeweiligen Empfängerländern durchgeführt.

Erstellung eines Durchführungskonzeptes ‚Evaluation der Orientierungsberatungsprogramme des ZDH, DIHT, Difu, des gewerkschaftlichen und des landwirtschaftlichen Beratungsprogramms’1/19970/0Deutsche Stiftung für internationale Entwicklung (DSE)

Leiter: Prof. Dr. Reinhard Stockmann

Ansprech­partner: Dr. Stefan Silvestrini

Beschreibung

[Nach oben]