KI-Grundlagen für IT-Professionals
Als Vorbereitung sind die Kenntnisse dieses Trainings von Vorteil.
AI Testing (Testen von KI-basierten Systemen)
Für dieses Training ist die Zertifizierung nach ISTQB® möglich.
Sie möchten KI nicht nur verstehen, sondern einen Schritt weiter gehen und auch ihre Qualität sichern und lernen, wie man ML-Modelle testet? Dieses Training führt Sie zunächst durch KI- und Maschine Learning- Grundlagen sowie durch unterschiedliche Spezifikationen, Daten und Kennzahlen. Anschließend erlernen Sie Techniken und Testverfahren, um KI-Systeme zu testen.
Wir empfehlen:
Ziele
- Einführung in die Künstliche Intelligenz und Verständnis über Machine Learning
- Verstehen, welche Qualitätsmerkmale für KI-Systeme bestehen
- Überblick über verschiedene Testsysteme und Qualitätsmerkmale testen
- Methodiken für das Testen KI-basierter Systeme
- Welche Testumgebung benötigt der Einsatz von KI für Test Anwendungsfälle
Zielgruppen:
Usability Expert, AI Expert, Testmanager, Tester, Test Automation Specialist, Testingenieur, Product Owner und alle, die sich mit dem Testen von und mit künstlicher Intelligenz beschäftigen möchten.
Inhalt
1. Einführung in die Künstliche Intelligenz (KI)
- Definition zur KI und KI-Effekte
- Narrow, General und Super-KI
- KI-basierte und konventionelle Systeme
- KI-Technologien
- KI-Entwicklungs-Frameworks
- Hardware für KI-basierte Systeme
- AI as a Service (AIaaS)
- Pre-trained models
- Standards und Vorschriften zur AI
2. Qualitätsmerkmale für KI-basierte Systeme
- Flexibilität und Anpassungsfähigkeit
- Autonomie
- Evolution
- Bias
- Ethik
- Begleiterscheinungen und reward hacking
- Transparenz, Interpreation und Erklärbarkeit
- Sicherheit und KI
3. Machine Learning (ML) – Überblick
- Formen des maschinellen Lernens
- ML-Workflow
- Eine Form der ML auswählen
- Einflussfaktoren bei der Auswahl von ML-Algorithmen
- Overfitting und Underfitting
4. ML – Daten
- Datenaufbereitung als Teil des ML-Workflows
- Trainings-, Validierungs- und Testdatensätze im ML-Workflow
- Qualitätsprobleme im Datensatz
- Datenqualität und ihre Auswirkungen auf das ML-Modell
- Data labeling für supervised learning
5. ML-Leistungskennzahlen
- Confusion Matrix
- ML-Leistungskennzahlen für die Klassifikation, die Regression und das Clustering hinzufügen
- Grenzen der ML-Leistungskennzahlen
- ML-Leistungskennzahlen auswählen
- Benchmark suites für ML-Leistungskennzahlen
6. KI-basierte Systeme testen – Überblick
- Spezifikation von KI-basierten Systemen
- Teststufen für KI-basierte Systeme
- Testdaten für das Testen KI-basierter Systeme
- Automatisierungs-Bias in KI-basierten Systemen testen
- KI-Elemente dokumentieren
- Concept drift testen
- Auswahl eines Testansatzes für ein ML-System
7. KI-spezifische Qualitätsmerkmale testen
- Herausforderungen beim Testen selbstlernender Systeme
- Autonome selbstlernende Systeme testen
- Algorithmischen, stichprobenbezogenen und unangemessenen Bias testen
- Herausforderungen beim Testen probabilistischer und nicht-deterministischer KI-basierter Systeme
- Herausforderungen beim Testen komplexer KI-basierter Systeme
- Transparenz, Interpretation und Erklärbarkeit KI-basierter Systeme testen
- Test-Orakel für KI-basierte Systeme
- Testziele und Akzeptanzkriterien
8. Methoden und Techniken für das Testen KI-basierter Systeme
- Adversarial attacks und data poisoning
- Pairwise testing
- A/B testing
- Back-to-Back Testing
- Metamorphic Testing (MT)
- Erfahrungsbasiertes Testen von KI-basierten Systemen
- Auswahl von Testtechniken für KI-basierte Systeme
9. Testumgebungen für KI-basierte Systeme
- Testumgebungen für KI-basierte Systeme
- Virtuelle Testumgebungen, um KI-basierte Systeme zu testen
10. Einsatz von KI für das Testen
- KI-Technologien für das Testen
- Einsatz von KI zur Analyse von Fehlerberichten
- Einsatz von KI für die Generierung von Testfällen
- Einsatz von KI zur Optimierung von Regressionstests
- Einsatz von KI für Fehlerprognosen
- Einsatz von KI für das Testen von Benutzeroberflächen