AI QA Engineer – Conversational AI & GenAI-Automationen (m/w/d)

Position Description:

Wir bauen ein neues Team für große Umsetzungsvorhaben im Umfeld von Conversational und Generative AI Initiativen bei unseren Kunden auf. Als AI QA Engineer übernimmst du Verantwortung für eines proaktives Quality Engineering und die Testaktivitäten für entsprechende Lösungen in deinen Projekten. GenAI Qualität ist mehr als „Testfälle grün“: Bei CGI sorgst du dafür, dass Chat- und Voicebots sowie agentische GenAI Workflows verlässlich, sicher und nachvollziehbar funktionieren – auch dann, wenn sie in Workflow Engines und RPA Automationen eingebettet sind. Du definierst Teststrategien, baust Evaluations- und Regressions-Setups, testest Robustheit und stellst Produktionsreife mit klaren Qualitätsmetriken sicher. Dir sind die besonderen Qualitätsanforderungen an KI-basierte Systeme bekannt und du stellst sicher, dass regulatorische Vorgaben von Anfang an in Design, Architektur und Entwicklung mit einfließen.

Your future duties and responsibilities:

• Entwicklung und Umsetzung einer Teststrategie für Conversational AI, GenAI und Automationslösungen (Testpyramide, Quality Gates, Releasekriterien)

• Aufbau eines AI Test Harness inkl. Golden Datasets/Conversations, automatisierter Regression und relevanter Qualitätsmetriken

• Sicherstellung von Security & Robustness (z. B. Prompt Injection, Data Leakage, Rollen-/Rechtekonzepte)

• Durchführung spezifischer Tests für Voice (Robustheit, Latenz, Handover) sowie End-to-End-Tests über GenAI-, Workflow- und RPA-Komponenten

• Integration von Testautomatisierung in CI/CD sowie Berücksichtigung von Monitoring- und Betriebsanforderungen

• Enge Zusammenarbeit mit Engineering, Architektur und Fachbereichen zur Definition von Akzeptanzkriterien und Begleitung von Releases

Required qualifications to be successful in this role:

• Mehrjährige Erfahrung in QA/Testmanagement und/oder Testautomatisierung in agilen & klassischen Umfeldern

• Kenntnis von KI-spezifischen Qualitätsmerkmalen und zugehörigen Testmöglichkeiten und -verfahren

• Know-how für Testautomation mit z. B. Selenium und API-Tests sowie Script Coding Skills für z.B. Python/JS/Java

• Verständnis für GenAI Spezifika: Prompting, RAG, Tool Calling, Guardrails/Evaluation

• Strukturierte Arbeitsweise, analytisches Denken, Kommunikationsstärke

• Deutsch sehr gut, Englisch gut

• Nice to have: ISTQB Zertifizierungen wie TTA/TAE, Erfahrung mit Workflow Automation Testing, RPA Testing, Cloud Testing

Was wir dir bieten

• Bei uns findest du Kolleg:innen, mit denen die Zusammenarbeit Spaß macht. Wir begegnen uns offen, duzen uns über alle Positionen hinweg und denken nicht in Hierarchien oder Silos.

• Du arbeitest meist direkt an deinem Heimatort – weil wir Kundennähe wörtlich nehmen und uns Work-Life-Balance am Herzen liegt.

• Du profitierst von flexiblen Arbeitszeiten und hast je nach Kundensituation die Möglichkeit, von zuhause zu arbeiten.

• Die richtigen Trainings und Zertifikate bringen deine Weiterbildung voran. Unsere E-Learning-Plattform Academia ermöglicht dir das Lernen, wo und wann du willst.

• Einen Teil deines Bruttogehalts kannst du in CGI Aktien investieren – bis maximal 3 % des Monatsgehalts geben wir für jeden Euro einen weiteren hinzu.

• Außerdem beteiligen wir dich am Unternehmenserfolg: Du erhältst eine Gewinnbeteiligung, die sich nach deiner individuellen Leistung richtet, sowie danach, wie wir als Unternehmen unsere finanziellen Ziele erreichen konnten.

• Mit Jobticket und Jobbike fördern wir umweltfreundliche Mobilität. Abhängig von deiner Rolle und Projektsituation sind auch Bahncard oder Elektro-Firmenwagen möglich.

• Sabbatical oder Elternzeit werden unterstützt. Sie sind bei uns kein Karriere-Stopper!

• Wir sind an deiner Seite, auch wenn es einmal nicht so gut läuft: Du kannst Sonderurlaub nehmen, und unsere Beratungshotline steht dir immer zur Verfügung.

• Eine Vielzahl an gemeinsamen Events und Freizeitaktivitäten stärkt deine Verbundenheit mit deinen Kolleg:innen.

#LI-AS2

What you can expect from us:

Together, as owners, let’s turn meaningful insights into action.

1976 gegründet und nach wie vor familiengeführt, ist CGI heute einer der weltweit größten unabhängigen Anbieter von IT und Business Consulting. Ein hohes Maß an Eigenverantwortung, Teamwork, Respekt und Zusammenhalt machen das Arbeiten bei uns besonders. Bei uns kannst du dein volles Potenzial entfalten!

Du darfst dich vom ersten Tag an als Miteigentümer:in von CGI verstehen. Wir lassen unsere Vision gemeinsam Wirklichkeit werden. Wir profitieren von unserem gemeinsamen Erfolg und haben die Möglichkeit und die Verantwortung, die Strategie und Ausrichtung unseres Unternehmens aktiv mitzugestalten.

Deine Arbeit schafft Mehrwert. Du findest innovative Lösungen und stärkst dein Netzwerk aus Kolleg:innen und Kunden. Gleichzeitig hast du Zugang zu globalen Ressourcen, um große Ideen zu verwirklichen, neue Chancen zu nutzen und von der immensen Branchen- und Technologie-Kompetenz zu profitieren.

Du bringst deine Karriere voran, da du in einem Unternehmen arbeitest, das auf Wachstum und Langlebigkeit ausgelegt ist. Du wirst von Führungskräften unterstützt, die deine Gesundheit und Zufriedenheit fördern – und dir Möglichkeiten bieten, deine Fähigkeiten zu vertiefen und deinen Horizont zu erweitern.