: DeGEval-Fachtagung in Wien: Wie KI die Evaluation neu erfindet – Methoden, Resilienz und Governance im Stresstest

Wie verändert Künstliche Intelligenz die Art, wie wir Programme, Förderpolitiken oder ganze Verwaltungen evaluieren – und welche Sektoren an der Börse profitieren am stärksten davon? Rund um die Frühjahrstagung „KI in der Evaluation“ der DeGEval – Gesellschaft für Evaluation in Wien verdichten sich die Signale: KI-gestützte Evaluation könnte zum strategischen Hebel werden – für Ministerien, Stiftungen, Hochschulen, aber auch für Beratungs- und Tech-Unternehmen, die Evaluationsleistungen anbieten.

Während klassische Beratungshäuser und Teile des Public-Sector-Consulting unter Druck geraten dürften, zeichnen sich Gewinner auf der Technologie-Seite ab: Anbieter von sicheren Cloud- und Inferenz-Infrastrukturen (etwa GPU- und NPU-Hersteller), Plattformen für Daten- und Wissensmanagement sowie Spezialisten für Trustworthy AI und Audit-Tools. Wer heute in KI-getriebene Governance- und Evaluationslösungen investiert, positioniert sich in einem Markt, der sich von einem Nischensegment zu einem systemrelevanten Instrument der Steuerung entwickeln könnte.

Kontext der Tagung: KI und Evaluation werden zur Governance-Frage

Die DeGEval-Arbeitskreise Methoden in der Evaluation, Professionalisierung und Verwaltung richten am 21. und 22. Mai 2026 eine gemeinsame Frühjahrstagung zum Thema „KI in der Evaluation“ in Zusammenarbeit mit der Hochschule Campus Wien aus. Offizielle Ankündigungen betonen, dass KI nicht nur als technisches Hilfsmittel verstanden wird, sondern als Hebel zur Weiterentwicklung von Evaluationsstandards, Resilienz und Governance-Strukturen. Die Tagung wird u. a. auf den bestehenden Diskussions- und Positionspapieren der DeGEval zu KI aufbauen, in denen die Standards für Evaluation (Nützlichkeit, Fairness, Durchführbarkeit, Genauigkeit) in den Mittelpunkt gestellt werden.

Ein zentrales Dokument dafür ist das DeGEval-Positionspapier zur Nutzung von Künstlicher Intelligenz in der Evaluation, das klar festhält: KI-Einsatz muss transparent dokumentiert werden, die Nachvollziehbarkeit von Ergebnissen sichern und darf die Qualität – insbesondere Genauigkeit und Fairness – nicht beeinträchtigen. Genau diese Grundlinien rahmen nun die Debatten in Wien.

Neue Methoden: Wie KI die Evaluationspraxis konkret verändert

Die Tagung adressiert vor allem die methodische Seite: Welche neuen Werkzeuge werden praxistauglich, und wie verändern sie den Evaluationszyklus von der Datenerhebung bis zur Nutzung der Ergebnisse?

Wissenspunkt 1: KI-gestützte Mixed-Methods-Analysen werden Standard

In der Evaluationspraxis war Mixed-Methods – die Kombination von quantitativen und qualitativen Verfahren – lange aufwendig. KI-Tools verschieben diese Kostenstruktur radikal. Aus den Diskussionen rund um die Tagung und den vorbereitenden Papieren lässt sich ein klarer Trend ablesen:

Automatisierte Textanalyse: Große Sprachmodelle (LLMs) können offene Antworten aus Online-Surveys, Interviewtranskripte oder Projektdokumentationen semantisch clustern, Hypothesen bilden und Widersprüche markieren.
Intelligente Datenverknüpfung: KI kann heterogene Datenquellen – z. B. Verwaltungsdaten, Monitoring-Indikatoren, qualitative Fallstudien – in gemeinsame, analysierbare Repräsentationen überführen.
Adaptive Auswertungs-Workflows: Evaluations-Teams nutzen KI-Assistenten, um iterativ Auswertungsschritte zu planen, Zwischenergebnisse zu interpretieren und neue Analyseschleifen zu definieren.

Damit verschiebt sich die Rolle von Evaluator:innen: weg von manuellen Kodierungsarbeiten hin zu Modellierung, Validierung und Governance der KI-gestützten Analyseprozesse. Methodische Kompetenzen werden nicht obsolet, sondern noch wichtiger – sie entscheiden, ob KI-Ergebnisse sinnvoll interpretiert werden.

Wissenspunkt 2: KI als Co-Evaluator – aber Entscheidungshoheit bleibt menschlich

Ein wiederkehrendes Motiv in den DeGEval-Papieren ist die Aussage, dass die Entscheidung über den KI-Einsatz in der Evaluation bei den Fachleuten verbleiben muss, die für Qualität und Methodik verantwortlich sind. KI-Modelle können Muster erkennen, Szenarien simulieren oder Bewertungen vorschlagen – aber:

Die Festlegung der Evaluationsfragen bleibt eine normative und politische Aufgabe.
Die Bewertung von Evidenz erfordert Kontextwissen, das aktuelle Modelle nicht in der nötigen Tiefe besitzen.
Die Kommunikation der Ergebnisse – vor allem gegenüber Politik und Öffentlichkeit – braucht Verantwortliche, die den Prozess erklären können.

Die Tagung in Wien rückt daher hybride Rollen in den Vordergrund: Evaluator:innen als „AI Method Stewards“, die nicht nur Methoden anwenden, sondern KI-Werkzeuge kritisch konfigurieren, dokumentieren und auditieren. Hier knüpft die Veranstaltung an internationale Trends an, etwa an Diskussionen über Agentic AI in unternehmensinternen Evaluations- und Controllingprozessen, wie sie im Beitrag „KMU-Trend 2026: Wie Agentic AI, souveräne KI und Corporate LLMs den Mittelstand neu sortieren“ beschrieben werden.

Wissenspunkt 3: Transparenz als harte Anforderung, nicht als „Nice to have“

Mit Blick auf die DeGEval-Standards betont das Positionspapier, dass jeder KI-Einsatz in Evaluationen so umfassend dokumentiert werden muss, dass das Zustandekommen von Ergebnissen nachvollziehbar bleibt. Daraus ergeben sich konkrete Anforderungen, die in Wien intensiver diskutiert werden:

Modell-Dokumentation: Welche Modelle wurden eingesetzt? Mit welchen Trainingsdaten? Unter welchen Lizenz- und Nutzungsbedingungen?
Prompt- und Pipeline-Logging: Welche Prompts, Kontexte und Pre-/Postprocessing-Schritte führten zu welchen Outputs?
Versionierung: Wie verändert sich das Modellverhalten über Zeit (Updates, Fine-Tuning, neue Parameter)?

Diese Forderungen laufen auf eine Art „KI-Methodenbericht“ hinaus, der künftig genauso selbstverständlich zur Evaluationsdokumentation gehören dürfte wie der klassische Methoden- und Datenteil.

Resilienz: Evaluation im Zeitalter fragiler Daten- und Governance-Systeme

„Resilienz“ ist das zweite zentrale Leitmotiv der Tagung: Wie stellen wir sicher, dass Evaluationsprozesse auch dann verlässliche Orientierung liefern, wenn Datenquellen ausfallen, KI-Modelle sich unerwartet verhalten oder politische Rahmenbedingungen sich abrupt ändern?

Systemische Resilienz: Evaluationsketten als kritische Infrastruktur

In vielen Politikfeldern – von der Arbeitsmarktpolitik bis zur Forschungsförderung – sind Evaluationen längst Teil der Steuerungs- und Legitimitätslogik. Werden zentrale Auswertungsschritte nun von KI gestützt, geraten solche Evaluationsketten selbst in die Nähe kritischer Infrastrukturen:

Fällt ein proprietäres KI-Modell aus oder wird radikal geändert, droht ein Bruch in der Vergleichbarkeit von Evaluationsergebnissen über die Jahre.
Kommt es zu Datenschutz- oder Sicherheitsvorfällen in KI-gestützten Pipelines, verlieren Evaluationen an Vertrauen.
Politische oder regulatorische Shifts (z. B. strengere Vorgaben für KI) können bewährte Setups kurzfristig obsolet machen.

Die Diskussionslinien in Wien drehen sich daher stark um Redundanz, Modularität und Exit-Strategien: Evaluationsdesigns müssen so gebaut werden, dass sie nicht an ein einzelnes Modell, einen proprietären Anbieter oder eine fragile Datenquelle gekettet sind.

Organisatorische Resilienz: Kompetenzen und Rollen gegen „KI-Single-Points-of-Failure“

Ein weniger offensichtlicher, aber zentraler Aspekt: Personal- und Rollenresilienz. Viele Organisationen neigen dazu, „KI-Kompetenz“ bei wenigen Personen zu bündeln. Fällt eine dieser Personen aus oder wechselt den Arbeitgeber, entsteht ein Single-Point-of-Failure.

In den Vorbereitungsunterlagen und thesenhaften Papieren zur Tagung zeichnen sich daher neue Rollenbilder ab:

KI-Evaluationskoordinator:in – verknüpft Fachmethodik mit technischen KI-Kenntnissen, definiert Standards und Schulungsbedarf.
Data Steward / Governance Officer – verantwortet Datenqualität, Zugriffsrechte und die Einhaltung regulatorischer Vorgaben.
KI-Audit-Team – prüft regelmäßig Modelle, Bias, Reproduzierbarkeit und dokumentiert Abweichungen.

Organisatorische Resilienz bedeutet, dass diese Rollen nicht an Einzelnen hängen, sondern strukturell verankert werden – etwa durch verbindliche Prozessbeschreibungen und rotierende Zuständigkeiten.

Technische Resilienz: Von Modell-Diversität bis Fail-Safe-Design

Technisch gewinnt das Prinzip der Modelldiversität an Bedeutung, ein Ansatz, der auch in anderen sicherheitskritischen KI-Debatten eine Rolle spielt – etwa bei Sicherheits-KI für kritische Infrastrukturen, wie sie im Beitrag „EU verhandelt über GPT‑5.5‑Cyber und Claude Mythos“ diskutiert wird.

Auf Evaluationen übertragen bedeutet das:

Ensemble-Ansätze: Sensible Analysen werden nicht nur durch ein einzelnes Modell, sondern durch mehrere (verschiedene Anbieter, Open Source vs. proprietär) geprüft.
Baseline-Vergleich: Ergebnisse KI-gestützter Auswertungen werden systematisch mit klassischen statistischen Verfahren oder manuellen Stichproben verglichen.
Fail-Safe-Modi: Fällt der KI-Service aus, greifen definierte Backup-Prozesse (vereinfachte Analysen, verlängerte Berichtsfristen, Priorisierung kritischer Fragen).

Resiliente Evaluation heißt damit: KI nutzen, ohne von ihr abhängig zu werden.

Governance: Wer entscheidet über KI in der Evaluation – und nach welchen Regeln?

Der dritte Schwerpunkt der Tagung ist Governance: Wer hat die Hoheit über den KI-Einsatz in Evaluationen? Welche Regeln gelten, und wie werden sie durchgesetzt? Die DeGEval-Standards bieten hier einen normativen Rahmen, der nun mit KI-spezifischen Mechanismen gefüllt wird.

„KI-Entscheidungen gehören in die Hände der Qualitätsverantwortlichen“

Ein Kernsatz aus dem DeGEval-Positionspapier lautet, dass die Entscheidung über die Nutzung von KI in Evaluationsprozessen bei jenen liegen muss, die die Qualität der Evaluation verantworten. Das hat weitreichende Konsequenzen:

IT-Abteilungen stellen Infrastruktur bereit, entscheiden aber nicht allein über Modellwahl oder Einsatzszenarien.
Politische Auftraggeber:innen dürfen keine „Black-Box-Tools“ erzwingen, die grundlegenden Qualitätsstandards widersprechen.
Externe Dienstleister müssen sich an klar definierte KI-Governance-Vorgaben der Auftraggeber halten.

In der Praxis deutet vieles darauf hin, dass Evaluationseinheiten eigene KI-Policies entwickeln werden, die u. a. Anforderungen an Transparenz, Fairness, Datenschutz und Dokumentation festschreiben.

Regulatorische Einbettung: EU AI Act, Datenschutz und Vergaberecht

Die Governance-Diskussion kann nicht losgelöst von der europäischen Regulierung geführt werden. Die Tagung in Wien findet vor dem Hintergrund des EU AI Act statt, der – je nach Risikoklasse – umfangreiche Anforderungen an Transparenz, Risikomanagement und human oversight stellt. Für Evaluationen relevant sind insbesondere:

Datenschutzrecht: Evaluationsdaten enthalten oft sensible Personen- oder Organisationsdaten; KI-Verarbeitung erfordert klare Rechtsgrundlagen und technische Schutzmaßnahmen.
Vergaberecht: Ausschreibungen für evaluationsbezogene KI-Services müssen Qualitäts- und Transparenzanforderungen explizit enthalten, was neue Kompetenzen in Beschaffungsstellen erfordert.
Dokumentationspflichten: Der EU AI Act könnte de facto zum Motor für den oben skizzierten „KI-Methodenbericht“ in Evaluationen werden.

Governance bedeutet daher nicht nur interne Leitlinien, sondern auch die Übersetzung externer Regulierung in praxistaugliche Standards.

Ethik und Fairness: Wer wird durch KI-basierte Evaluation sichtbar – und wer unsichtbar?

Ein weiterer Governance-Aspekt, der in der deutschsprachigen Evaluationscommunity zunehmend diskutiert wird, betrifft Bias, Fairness und Repräsentation. KI-Modelle reproduzieren Muster in ihren Trainingsdaten – mit der Gefahr, dass bestimmte Gruppen systematisch unter- oder überrepräsentiert werden.

Zu den konkreten Fragen, die auch in Wien eine Rolle spielen dürften, gehören:

Wie stellen wir sicher, dass marginalisierte Gruppen in KI-gestützten Analysen nicht „verschluckt“ werden?
Welche Fairness-Metriken sind für Evaluationskontexte sinnvoll – und wie wirken sie sich auf die Interpretation von Ergebnissen aus?
Wie werden Stakeholder über den KI-Einsatz informiert und in Entscheidungsprozesse eingebunden?

Die Antwort wird vermutlich in einer Kombination aus technischen Maßnahmen (Bias-Checks, Fairness-Constraints) und partizipativen Verfahren liegen, bei denen Betroffene selbst zu Wort kommen – idealerweise ergänzt durch KI-gestützte Auswertungen ihrer Rückmeldungen.

Neue Wissenspunkte aus der aktuellen Debatte

Aus der Verdichtung von Tagungsankündigungen, DeGEval-Papieren und begleitenden Fachbeiträgen lassen sich mindestens drei neue Wissenspunkte extrahieren, die über die klassische „KI macht alles schneller“-Erzählung hinausgehen.

1. KI verschiebt die Evaluationsökonomie – von Projekten zu Plattformen

Bisher waren Evaluationen stark projektförmig organisiert. KI-gestützte Tools und Datenpipelines fördern einen Plattform-Ansatz: Einmal aufgebaute Infrastruktur (Datenmodelle, Prompt-Bibliotheken, Audit-Frameworks) kann über mehrere Evaluationen hinweg genutzt werden.

Das verändert das Geschäftsmodell:

Beratungen und Evaluationsanbieter entwickeln wiederverwendbare KI-Komponenten statt jede Evaluation neu zu „handcraften“.
Öffentliche Auftraggeber könnten verstärkt auf gemeinsame Plattformen setzen – z. B. für ganze Ressorts oder Länder.
Investitionen verschieben sich von reinen Personalkosten hin zu Infrastruktur, Datenqualität und Governance.

Für die Wirtschaft heißt das: Wer frühzeitig robuste Evaluationsplattformen aufbaut, kann Skaleneffekte realisieren und sich einen Vorsprung sichern.

2. Evaluation wird zum Testfeld für „Safe AI in the Loop“

Evaluationen sind ein ideales Feld, um „Safe AI in the Loop“-Konzepte zu erproben: KI liefert Vorschläge, aber Menschen beurteilen und justieren. Dies erinnert an Experimente mit autonomen KI-Agenten, die in kontrollierten Umgebungen laufen und von Menschen überwacht werden – ein Thema, das anderswo mit Blick auf Langzeitrisiken, etwa in „Autonome KI-Agenten im Dauereinsatz: Warum längere Laufzeiten plötzlich zur Risiko-Frage werden“, diskutiert wird.

In der Evaluationswelt geht es dabei weniger um Existenzrisiken, sondern um:

Methodenstabilität: Wie konsistent sind KI-Ergebnisse bei leicht veränderten Inputs?
Interpretationssicherheit: Versteht das Team, warum ein Modell ein bestimmtes Muster erkannt hat?
Fehlerrobustheit: Wie schnell werden systematische Fehlinterpretationen entdeckt und korrigiert?

Die hier entwickelten Praktiken könnten später in anderen Governance-Kontexten – etwa bei Regulierungs- oder Sicherheits-KI – wieder aufgegriffen werden.

3. Evaluationskompetenz wird zum Engpass – nicht die Rechenpower

Während die Diskussion um KI oft auf Rechenkapazitäten und Modellgrößen fokussiert, zeigt die Evaluationsdebatte einen anderen Engpass: Fachlich-methodische Kompetenz. Selbst sehr leistungsfähige Modelle ersetzen nicht die Expertise, um:

Evaluationsfragen so zu formulieren, dass sie sich überhaupt sinnvoll KI-gestützt bearbeiten lassen.
Konfundierungen, Selbstselektion oder Messfehler in Daten zu erkennen.
Politisch sensible Ergebnisse verantwortungsvoll zu kommunizieren.

In den nächsten Jahren dürfte daher nicht der „Mangel an KI“, sondern der Mangel an KI-kompetenten Evaluator:innen die zentrale Wachstumsbremse sein. Weiterbildungsprogramme, Zertifizierungen und neue Studienangebote werden hier entscheidend.

Vor- und Nachteile für die Wirtschaft: Wer gewinnt, wer verliert?

Vorteile: Effizienz, Steuerungsfähigkeit und neue Märkte

Für die Gesamtwirtschaft eröffnen sich mehrere Vorteile:

Effizientere Förder- und Investitionsentscheidungen: KI-gestützte Evaluationen können schneller erkennen, welche Programme, Geschäftsmodelle oder Technologien wirken – und welche nicht. Das verbessert die Allokation öffentlicher und privater Mittel.
Skalierbare Wirkungsanalysen: Unternehmen können interne Programme (z. B. Schulungen, Innovationsinitiativen) kostengünstiger evaluieren und so lernende Organisationen etablieren.
Neue Märkte für KI- und Beratungsanbieter: Speziallösungen für Evaluations-Governance, Audit-Tools, Datenplattformen und fachspezifische Modelle werden zu einem attraktiven Marktsegment.
Stärkere Evidenzkultur: Wenn Evaluationen günstiger und zugänglicher werden, steigt der Anreiz, Entscheidungen systematisch zu überprüfen, statt nur politisch zu begründen.

Börsentechnisch profitieren vor allem:

Infra- und Chip-Anbieter (GPUs/NPUs, Inferenz-Chips, Cloud-KI-Stacks), die die Rechenbasis für KI-gestützte Evaluation liefern.
SaaS-Plattformen für Data Analytics, Low-Code-Workflows und KI-Governance, die Evaluation als neues Anwendungsfeld erschließen.
Spezialisierte Public-Sector-IT- und Beratungshäuser, die frühzeitig KI-gestützte Evaluations-Services entwickeln und sich regulatorisch sauber aufstellen.

Nachteile: Disruption für klassische Beratungsmodelle und neue Abhängigkeiten

Die Kehrseite:

Preisdruck auf klassische Evaluation: Anbieter, die vor allem auf manuelle Datenauswertung und Standardberichte setzen, geraten unter Druck; Margen sinken, wenn Kunden automatisierte Grundanalysen erwarten.
Lock-in-Effekte: Wer sich zu stark an proprietäre KI-Plattformen bindet, läuft Gefahr, bei Preis- oder Lizenzänderungen in eine Kostenfalle zu geraten – besonders im öffentlichen Sektor problematisch.
Komplexere Haftungsfragen: Wenn ein KI-Modell systematisch falsche Schlüsse nahelegt und daraufhin Fehlentscheidungen getroffen werden, wird die Frage nach Haftung (Entwickler, Betreiber, Evaluationsdienstleister) zur Rechts- und Reputationsrisiko.
Ungleichheit zwischen Organisationen: Große Institutionen können sich professionelle KI-Governance-Strukturen leisten, kleinere Akteure nicht – was zu einer Zweiklassengesellschaft in der Evaluationsqualität führen könnte.

Verlierer sind tendenziell Unternehmen, die KI-Themen lediglich „anhängen“, ohne ihre Evaluationsprozesse wirklich zu transformieren. Gewinner sind jene, die Methodenkompetenz, technische Exzellenz und Governance-Fähigkeit kombinieren.

Ausblick: Wie entwickelt sich „KI in der Evaluation“ in den nächsten Jahren?

Aus heutiger Sicht zeichnen sich mehrere Entwicklungslinien ab, die durch Tagungen wie jene der DeGEval weiter an Kontur gewinnen.

Standardisierung und Zertifizierung

Wir werden eine Standardisierung von KI-gestützten Evaluationsprozessen sehen: Checklisten, Best-Practice-Kataloge, Muster-Auditberichte. Daraus werden mittelfristig Zertifizierungsprogramme entstehen – für Tools wie für Organisationen. DeGEval und vergleichbare Institutionen sind prädestiniert, hier normierende Rollen zu übernehmen.

Spezialisierte Evaluations-LLMs und Domänenmodelle

Allgemeine LLMs werden durch domänenspezifische Modelle ergänzt, die auf Evaluationsberichte, Monitoringdaten und Verwaltungsdeutsch zugeschnitten sind. Diese Modelle können:

Evaluationsdesigns vorschlagen, die zu bestimmten Förderlogiken passen.
Relevante Indikatoren aus Programmtexten und Strategien ableiten.
Ergebnisse in behördentypische Entscheidungsformate übersetzen.

In Kombination mit multimodalen Fähigkeiten – wie sie bei Modellen à la Gemini, GPT‑5.x oder spezialisierten On-Device-Ansätzen (vgl. Entwicklungen wie in „FunctionGemma und der Trend zu kleinen On-Device-KI-Modellen“ beschrieben) entstehen – werden Evaluationen künftig auch komplexere Datenformen (Video, Audio, Sensorik) systematisch einbeziehen.

Always-on-Evaluation und Echtzeit-Governance

Mit zunehmender Datenverfügbarkeit wird Evaluation vom punktuellen Projekt zum kontinuierlichen Prozess: Dashboards, die fortlaufend Wirkungsindikatoren verfolgen; KI-Agenten, die Anomalien melden; Simulationen, die „Was-wäre-wenn“-Szenarien für politische Anpassungen durchspielen.

Politisch ist das ambivalent: Einerseits bessere, datenbasierte Steuerung; andererseits die Gefahr permanenter Kontrolle und eines Übermaßes an Kennzahlenlogik. Die Governance-Debatten in Wien sind ein Hinweis darauf, dass diese Fragen frühzeitig adressiert werden sollen, bevor „KI by default“ fait accompli ist.

Verzahnung mit Sicherheits- und Geopolitik-Debatten

Je stärker Evaluationen KI-gestützt werden und je relevanter sie für politische Steuerung sind, desto mehr berühren sie sicherheitspolitische Fragen: Manipulation von Evaluationssystemen, Datenlecks, geopolitische Abhängigkeiten von ausländischen KI-Plattformen. Schon heute zeigen Debatten über Sicherheits-KI und geopolitische Machtverhältnisse, dass solche Systeme nicht nur technische, sondern auch strategische Implikationen haben.

Evaluation könnte damit unerwartet zum Testfeld für souveräne KI-Infrastrukturen werden: Wer seine Förderpolitik, Strukturwandelprogramme oder Krisenmaßnahmen auf KI-gestützte Evaluation stützt, wird mittelfristig mehr Unabhängigkeit von ausländischen Modellen und Clouds fordern.

Die DeGEval-Fachtagung in Wien markiert weniger einen Startpunkt als einen Sichtbarkeitsmoment: KI ist längst in der Evaluationspraxis angekommen – aber die eigentliche Arbeit beginnt erst. Für Organisationen, die evidenzbasiert steuern wollen, lautet die Empfehlung: KI-Evaluation nicht als Tool-Frage behandeln, sondern als strategisches Programm. Das bedeutet: eigene KI-Policies entwickeln, methodische und technische Kompetenz gemeinsam aufbauen, Redundanzen und Exit-Strategien einplanen, und vor allem: Evaluation als lernenden Prozess begreifen, in dem auch der KI-Einsatz selbst immer wieder evaluiert wird. Wer diese Schleife früh schließt, verschafft sich einen realen Vorteil – organisatorisch, politisch und ökonomisch.