Terms of Reference

für die Evaluierung der Mesoebene des Projektes:

„Professionalisierung von Erwachsenenbildungszentren in Europa“

(Länderprojekte Armenien, Bosnien-Herzegowina, Georgien und Kosovo)

1       Hintergrund

DVV International – Das Institut für Internationale Zusammenarbeit des Deutschen Volkshochschul-Verbandes kooperiert weltweit seit über 50 Jahren in über dreißig Ländern mit Partnern im Bereich der Erwachsenenbildung und Entwicklungszusammenarbeit. Die Projekte der Armutsbekämpfung werden überwiegend aus Mitteln des Bundesministeriums für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ) finanziert. Das Auswärtige Amt (AA) und die Europäische Union (EU) sind andere wichtige Geber.

DVV international ist seit 2000/2002 in der Region Südosteuropa/Kaukasus tätig, gefördert durch unterschiedliche Geber. Zurzeit umfasst das Projekt „Professionalisierung von Erwachsenenbildungszentren in Europa“ die Länder Armenien, Bosnien-Herzegowina, Georgien  und Kosovo. Mit Förderung des BMZ wird der Auf- und Ausbau von Strukturen der Erwachsenenbildung sowohl auf jeweils nationaler Ebene als auch durch regional übergreifende Maßnahmen unterstützt. Schwerpunkte der Förderung liegen in der Etablierung, Modernisierung und Qualitätssicherung der Strukturen der Erwachsenenbildung und der Schaffung von Rahmenbedingungen für die Erwachsenenbildung in den jeweiligen Ländern.

2       Ziele des Projektes

Das Oberziel auf Mesoebene, gültig für alle vier Länder, lautet: Partner und Netzwerke im Land und in der Region sind in ihren institutionellen Kapazitäten gestärkt und Erwachsenenbildner/innen sind aus- und fortgebildet. Dieses Oberziel wird auf Länderebene in dem jeweiligen Kontext spezifiziert und durch Indikatoren zur Zielerreichung unterlegt.

3       Zielsetzung der Evaluation

Die Evaluierung soll die geleistete Arbeit auf Mesoebene der Jahre 2016 bis 2020 (soweit zum Zeitpunkt der Evaluierung möglich) in Hinblick auf die Ergebnisse, Wirkungen und Verbesserungsbedarfe untersuchen. Dabei sollen die Stärken und Schwächen der verschiedenen Herangehensweisen in den einzelnen Ländern herausgearbeitet werden, um so einen Austausch von Best Practice zu ermöglichen sowie regional übergreifende Ansätze zu entwickeln. Darüber hinaus soll die Evaluation eine Reflexion über die gewonnenen Erkenntnisse enthalten und Empfehlungen für die Projektkollegen in Bezug auf Methoden, Strategien und Ansätze für mögliche weitere Aktivitäten enthalten. Die Evaluierung zielt darauf ab, Probleme und Hindernisse bei der Projektdurchführung aufzudecken und darzulegen, wie sie überwunden wurden. Die Ergebnisse fließen in die nächste Phase des Projektes ein.

4       Schlüsselfragen der Evaluation

Die Evaluation ist gehalten, sich an den OECD-DAC-Kriterien zu orientieren und sollte klare Aussagen zu folgenden Punkten enthalten:

  1. Etablierung, Modernisierung und Qualitätssicherung der Strukturen der Erwachsenenbildung
  • Wurden die Ziele (laut den Indikatoren der Projektanträge 2016-2020) in den Ländern erreicht?
  • Welche konkreten Ergebnisse und Wirkungen sind auf diesem Gebiet bisher erzielt worden?
  • Welche wurden nicht erzielt?
  • Wo gibt es Ansatzpunkte und Verbesserungsmöglichkeiten für die Weiterarbeit?
  • In welcher Form finden Maßnahmen auf der Mesoebene in den verschiedenen Ländern statt (Fortbildungen, Studienreisen, Beratung, Unterstützung und Bereitstellung von Fachexpertise seitens des DVV International bei der Entwicklung von Bildungsprogrammen und Curricula, Unterstützung der Prozesse der Anerkennung und Akkreditierung von Bildungsprogramen und EB-Einrichtungen usw.)? Sind die Maßnahmen angepasst an die Bedarfe? Welche Wirkungen haben diese bisher erzielt?
  • Sind die Beratungs- und Schulungsangebote mit Partnern auf der Mesoebene an die länder- oder partnerspezifischen Bedürfnisse angepasst? Sind sie inhaltlich adäquat und didaktisch gut vermittelt?
  • Inwieweit konnten die Teilnehmer*innen an Fortbildungen, Konferenzen, Studienreisen auf der Mesoebene das neu erlernte Wissen anwenden und umsetzen?
  • Wie beurteilen die Teilnehmer*innen der Erwachsenenbildungsangebote die Rahmenbedingungen der EB-Anbieter und die Qualität der Bildungsangebote?
  • Hat sich die (finanzielle) Ausstattung der geförderten Institutionen insgesamt über die letzten vier Jahre hinweg verbessern können? Welchen Beitrag hat die Arbeit von DVV International in diesem Bereich geleistet? Welche weiteren Finanzquellen wurden konkret erschlossen?
  • Generelle oder spezifische Empfehlungen für die Etablierung, Modernisierung und Qualitätssicherung der Strukturen von Aus- und Weiterbildung.
  1. Vernetzung der Organisationen der Erwachsenenbildung
  • In welcher Form unterstützt DVV International die Akteure im EB-Bereich auf der Mesoebene bei der Vernetzung?
  • Sind die Vernetzungsangebote mit Partnern auf der Mesoebene an die länder- oder partnerspezifischen Bedürfnisse angepasst?
  • Wie intensiv und umfangreich sind ihre Kontakte im EB-Sektor national, regional und europaweit? Wie regelmäßig und in welcher Form findet fachlicher Austausch statt?
  • Welche Vorteile resultieren aus der Vernetzung für den EB-Sektor im jeweiligen Land bzw. in der Region? Welche Ergebnisse national, regional und europaweit gibt es durch diese Kontakte?
  • Welche Wirkungen gibt es im Bereich der Kooperation zwischen staatlichen Akteuren und Zivilgesellschaft?
  • Schlägt sich die Vernetzung in konkreten gemeinsamen Projekten oder Vorhaben nieder? Wo werden Vorteile und Wirkungen der Vernetzung konkret sichtbar?
  • Generelle oder spezifische Empfehlungen für die Vernetzung der Organisationen der Erwachsenenbildung.

 

  1. Generelle Erreichung der geplanten Ergebnisse und Ziele
  • Welche Stärken, aber auch welche Schwierigkeiten und Hindernisse in der Projektumsetzung in der laufenden Projektphase sind erkennbar?
  • Inwieweit sind die Methoden und Maßnahmen des Projektes ziel- und wirkungsorientiert?
  • Welche unerwarteten (positiven oder auch negativen) Ergebnisse und Wirkungen gibt es?
  • Sind die in der Projektplanungsmatrix formulierten Ziele und Indikatoren nützlich für die Planung, Durchführung und Evaluierung oder gibt es Verbesserungsbedarf in diesem Bereich?
  • Wie effizient wurden im Projekt Ressourcen bezogen auf die Zielerreichung eingesetzt (Gelder, Zeitressourcen, Personal, etc.).
  • Wie ist die Nachhaltigkeit der durch das Projekt erreichten Ergebnisse und Veränderungen zu beurteilen?
  • Gibt es generelle oder spezifische Empfehlungen für die Weiterarbeit im Meso-Bereich und für vergleichbare Maßnahmen und Ziele für die Zukunft?

Methodisches Vorgehen

Grundlage für diese Evaluierung bilden die Zielsetzungen des Bundesministeriums für wirtschaftliche Zusammenarbeit und Entwicklung zur Sozialstrukturförderung, in deren Mittelpunkt die Armutsbekämpfung steht, und darüber hinaus die Evaluierungskriterien des DAC/BMZ.

Die Kandidat*innen sollten ein geeignetes Bewertungsdesign und eine geeignete Bewertungsmethode vorschlagen (quantitativ/qualitativ), die gut an die Projektziele und die TOR für die Bewertung angepasst sind, um das Ziel der Evaluation zu erreichen.

Die endgültigen Evaluierungsfragen sowie das methodische Design und der zeitliche Ablauf der Evaluierung werden nach Auftragsvergabe im Gespräch zwischen dem erfolgreichen Kandidaten/ Kandidatin und dem zuständigen Team bei DVV International festgelegt.

Während der Evaluation wird eine Kombination aus Primärdatenerfassung und Sekundärdatenüberprüfung erwartet.

  • Sekundäre Datenquellen werden dem Auftragnehmer zur Verfügung gestellt. Die folgenden sekundären Dokumente werden u.a. bereitgestellt:
  • Projektantrag
  • Zwischenberichte
  • Jahrespläne
  • Mittelfristige und andere Arten von (Selbst-) Bewertungen, die sich auf das Projekt beziehen
  • Partnerdokumente der Projektumsetzung (soweit verfügbar)
  • usw.

Falls die Situation mit Covid-19 es zulässt, kann die Feldphase in allen vier Projektländern idealerweise zwischen Ende September und Mitte Oktober 2020 liegen und ca. 18 Arbeitstage beinhalten. Sonst kann man Online-Interviews durchführen.

Wir empfehlen folgende Gruppen in die Evaluation einzubeziehen:

  • Management (einschließlich Finanzmanagement) des Regional- und Länderbüros von DVV I,
  • Zuständiges Personal in der Zentrale
  • Verschiedene Mitarbeiter von Partnerinstitutionen (in allen Ländern)
  • Trainer und Lehrer
  • Teilnehmer*innen an Fortbildungen, Konferenzen, Studienreisen.

Die Evaluierung sollte vor Ablauf des Jahres 2020 abgeschlossen und der Endbericht eingereicht sein. Die Gesamtdauer sollte 28 Auftragstage nicht überschreiten.

5       Aufgaben des Evaluators/ des Evaluierungsteams

  • Erstellung des methodischen Designs und der Ablaufplanung für die Evaluierung in Absprache mit DVV International;
  • Desk Study der relevanten Projektdokumente (Projektantrag mit Logframe, Jahrespläne und Jahresberichte, sonstige Projektberichte)
  • Erstellung der Erhebungsinstrumente für die Feldphase ggf. Online-Interviews
  • Feldphase ggf. Online-Interviews zur Datenerhebung in vier Ländern (Armenien, Bosnien-Herzegowina, Georgien, Kosovo)
  • Präsentation und Besprechung der vorläufigen Evaluierungsergebnisse
  • Berichterstellung

6       Zu erbringende Leistungen

Folgende Leistungen werden erwartet:

  • Inception Bericht: Der Evaluator/ die Evaluatorin legt einen Bericht mit detaillierten Informationen zu Methoden und mit dem Auftraggeber abgestimmten Fragen vor. Dieser Bericht wird DVV International vorgelegt, kommentiert und gegebenenfalls überarbeitet.
  • Nachbesprechung im Land: Nach Absprache mit dem Programmkoordinator von DVV International werden die Experten die vorläufigen, länderspezifischen Ergebnisse der Bewertung präsentieren und diesbezügliche Fragen beantworten und die Diskussion dokumentieren, die erforderlich ist Teil des Abschlussberichts sein.
  • Entwurf eines Evaluationsberichts: DVV International erhält einen ersten Entwurf des Abschlussberichts. Auf Grundlage dieser Ausschreibungsunterlagen werden Kommentare zum Rohentwurf abgegeben, bevor er an den / die Evaluator*innen zurückgesandt wird.
  • Abschlussbericht: Der Abschlussbericht berücksichtigt die Kommentare zum Entwurf des gesamten Evaluationsprozesses sowie alle Ergebnisse und Empfehlungen.

Der Evaluierungsbericht wird auf Englisch nach Vorgaben einer von der Zentrale zur Verfügung gestellten Vorlage erstellt und elektronisch an DVV International übermittelt. Darüber hinaus wird durch den Evaluator/ die Evaluatorin eine Kurzfassung der Evaluierungsergebnisse erarbeitet. Der erste Berichtsentwurf soll bis zum 31.10.2020 bei DVV International eingehen. Nachdem der Entwurf durch DVV International kommentiert worden ist, erstellt der Evaluator/ die Evaluatorin die Endversion spätestens bis zum 30.11.2020.

7       Logistische Informationen

Die Evaluierung wird durch den Evaluator/ die Evaluatorin mit Unterstützung durch den Referenten für Kaukasus und Südosteuropa und für Monitoring und Evaluierung in Bonn sowie während der Feldphase ggf. Online-Interviews durch die jeweiligen Büros der Länder durchgeführt.

DVV International wird während des eventuellen Feldaufenthaltes in Kaukasus und Südosteuropa Unterkunft und Transport innerhalb der Länder für Evaluator*innen/ Evaluatorenteam bereitstellen. Übersetzung kann bei Bedarf ebenfalls durch DVV International bereitgestellt werden. Bei der Bereitstellung von Monitoring-Daten sowie der Organisation von Interviewterminen und Treffen mit Partnern und anderen relevanten Akteuren vor Ort werden die jeweiligen Landesbüros bzw. durchführenden Partner unterstützen. Die mit dem oben Genannten verbundenen Kosten (An- und Abreisen in/aus den Ländern, Transport innerhalb der Länder, Unterkunft, Übersetzung und logistische Unterstützung) sind also nicht innerhalb des Budgets im Angebot aufzuführen.

8       Erwartete Qualifikationen und Expertise

  • Abgeschlossenes Hochschulstudium im sozialwissenschaftlichen- oder Bildungsbereich oder in anderen relevanten Fachrichtungen
  • Ausgewiesene, fundierte Kenntnisse in der Planung und Durchführung von Evaluierungen im internationalen Kontext
  • Kenntnisse im Bereich der Erwachsenenbildung und/ oder der Entwicklungszusammenarbeit
  • Gute Kommunikationskenntnisse, idealerweise im interkulturellen Kontext
  • Kenntnisse und Erfahrungen zur Region Kaukasus und Südosteuropa
  • Fließende Sprachkenntnisse in Deutsch und Englisch
  • Kenntnisse einer südosteuropäischen/kaukasischen Sprache wären bei ansonsten gleicher Eignung von Vorteil

9       Bewerbung und Inhalt des Angebots

Evaluator*innen (oder Evaluatoren-Teams), die auf diese Ausschreibung hin ein Angebot abgeben möchten, werden gebeten, dieses in elektronischer Form bis zum 15. Juli 2020 an Dr. Thomas Lichtenberg Lichtenberg@dvv-international.de und Maja Avramovska avramovska@dvv-international.ge zu schicken.

Die Angebote sollten folgendes enthalten:

  • Lebensläufe aller beteiligten Expert*innen (hierfür ist die beigefügte Vorlage zu verwenden).
  • Auf der Ausschreibung basierender Entwurf eines Evaluierungskonzeptes, welches folgende Punkte umfassen sollte ( (max. 5 Seiten!)
  • Narrative Darstellung zum Verständnis der Aufgabe
  • Detaillierte Methodik
  • Arbeitsplan, einschließlich detaillierter vorgeschlagener Umsetzungsschritte
  • Berücksichtigung des spezifischen Kontextes (Land, Thema)
  • Internes Qualitätsmanagement
  • Finanzielles Angebot (hierfür ist die angehängte Vorlage zu nutzen und zu unterschreiben); Kosten für An- und Abreisen in/aus den Ländern, Transport innerhalb der Länder, Unterkunft, Übersetzung und logistische Unterstützung sind nicht im finanziellen Angebot aufzuführen.

10    Die Auswahl der Kandidaten wird auf Basis folgender Kriterien erfolgen:

  • Qualifikationen des Bewertungsteams (zählt ein Drittel) (basierend auf den oben genannten Kriterien);
  • Technischer Vorschlag (zählt ein Drittel) (basierend auf den oben genannten Kriterien; alle oben genannten Kriterien für technische Vorschläge werden berücksichtigt);
  • Finanzvorschlag (zählt ein Drittel) (bestes Kosten-Leistungs-Verhältnis; bitte berücksichtigen Sie die vorgesehene Gesamtzahl der Arbeitstage).

11    Rückfragen zu dieser Ausschreibung

Sollten Sie Fragen zu dieser Ausschreibung haben, senden Sie diese bitte an Maja Avramovska avramovska@dvv-international.ge, der oben als Ansprechpartner genannt wurde. Der späteste Termin für die Einreichung von Fragen ist der 10. Juli 2020. Die Antworten auf die Fragen werden am darauf folgenden Arbeitstag  auf unserer Website (https://www.dvv-international.de/dvv-international/stellenangebote/) für alle Interessenten veröffentlicht.