AI Testing

Nach dem aktuellen ISTQB® Lehrplan.

Sie erforschen gerne neue Testansätze und Testmethoden, trainieren Modelle oder schreiben Skripte zur Automatisierung von Tests und haben ein gutes Verständnis für Datenqualität? Wenn Sie alles rund um das erfolgreiche Testen von KI-basierten Systemen erfahren möchten, dann freuen Sie sich auf dieses Training. Sie erhalten einen Überblick über Trends und Herausforderungen, die einem KI-Tester begegnen und sammeln individuelle Testerfahrung durch das Entwerfen eigener Testfälle.

Wir empfehlen:

  • ISTQB® CT - Foundation Level

    Als Vorbereitung sind die Kenntnisse dieses Trainings von Vorteil.
    Die Prüfung zum CT-AI® setzt die Prüfung zum CTFL® voraus.

Ziele

  • Einsatz von KI für Softwaretests verstehen und anwenden
  • Testfälle für KI-basierte Systeme entwerfen und anwenden
  • ML-Modelle mit spezifischen Testmethoden testen
  • Testerfahrung mit KI sammeln und die Einflussfaktoren für erfolgreiches KI-Testen erkennen
  • Intensive Vorbereitung auf die Zertifizierung CT-AI

Zielgruppen:

Business Analyst, Requirements Engineer, Usability Expert, Scrum Master, AI Expert, Project Manager, Projektleiter, Demand Manager, Portfoliomanager, IT-Projektleiter, Testmanager, Tester, Test Automation Specialist, Testingenieur, Enterprise Architect, System Architect, Software Architect, Software Designer, Software Entwickler und Product Owner

Zertifizierung - ISTQB CT-AI®

Das Training richtet sich nach dem aktuellen ISTQB® Lehrplan und bereitet Sie auf die Prüfung zum Tester vor, die online über ein Prüfungscenter abgehalten werden kann.

Hinweise:

Für die Zertifizierungsprüfung fällt eine zusätzliche Gebühr an. 

Inhalt

1. Einführung in die Künstliche Intelligenz (KI)

  • Definition zur KI und KI Effekte
  • Narrow, General und Super-KI
  • KI-basierte und konventionelle Systeme
  • KI-Technologien
  • KI-Entwicklungs-Frameworks
  • Hardware für KI-basierte Systeme
  • AI as a Service (AIaaS)
  • Pre-trained models
  • Standards und Vorschriften zur AI

2. Qualitätsmerkmale für KI-basierte Systeme

  • Flexibilität und Anpassungsfähigkeit
  • Autonomie
  • Evolution
  • Bias
  • Ethik
  • Begleiterscheinungen und reward hacking
  • Transparenz, Interpreation und Erklärbarkeit
  • Sicherheit und KI

3. Machine Learning (ML) – Überblick

  • Formen des maschinellen Lernens
  • ML-Workflow
  • Eine Form der ML auswählen
  • Einflussfaktoren bei der Auswahl von ML-Algorithmen
  • Overfitting und Underfitting

4. ML – Daten

  • Datenaufbereitung als Teil des ML-Workflows
  • Trainings-, Validierungs- und Testdatensätze im ML-Workflow
  • Qualitätsprobleme im Datensatz
  • Datenqualität und ihre Auswirkungen auf das ML-Modell
  • Data labeling für supervised learning

5. ML-Leistungskennzahlen

  • Confusion Matrix
  • ML- Leistungskennzahlen für die Klassifikation, die Regression und das Clustering hinzufügen
  • Grenzen der ML- Leistungskennzahlen
  • ML- Leistungskennzahlen auswählen
  • Benchmark suites für ML-Performance

6. KI-basierte Systeme testen – Überblick

  • Spezifikation von KI-basierten Systemen
  • Teststufen für KI-basierte Systeme
  • Testdaten für das Testen KI-basierter Systeme
  • Automatisierungs-Bias in KI-basierten Systemen testen
  • KI-Elemente dokumentieren
  • Concept drift testen
  • Auswahl eines Testansatzes für ein ML-System

7. KI-spezifische Qualitätsmerkmale testen

  • Herausforderungen beim Testen selbstlernender Systeme
  • Autonome selbstlernende Systeme testen
  • Algorithmischen, stichprobenbezogenen und unangemessenen Bias testen
  • Herausforderungen beim Testen probabilistischer und nicht-deterministischer KI-basierter Systeme
  • Herausforderungen beim Testen komplexer KI-basierter Systeme
  • Transparenz, Interpretation und Erklärbarkeit KI-basierter Systeme testen
  • Test-Orakel für KI-basierte Systeme
  • Testziele und Akzeptanzkriterien

8. Methoden und Techniken für das Testen KI-basierter Systeme

  • Adversarial attacks und data poisoning
  • Pairwise testing
  • A/B testing
  • Back-to-Back Testing
  • Metamorphic Testing (MT)
  • Erfahrungsbasiertes Testen von KI-basierten Systemen
  • Auswahl von Testtechniken für KI-basierte Systeme

9. Testumgebungen für KI-basierte Systeme

  • Testumgebungen für KI-basierte Systeme
  • Virtuelle Testumgebungen, um KI-basierte Systeme zu testen

10. Einsatz von KI für das Testen

  • KI-Technologien für das Testen
  • Einsatz von KI zur Analyse von Fehlerberichten
  • Einsatz von KI für die Generierung von Testfällen
  • Einsatz von KI zur Optimierung von Regressionstests
  • Einsatz von KI für Fehlerprognosen
  • Einsatz von KI für das Testen von Benutzeroberflächen

Nach Absolvierung empfehlen wir:

Spirit in Projects