LLM Observability Schulung

Kursinhalt

TEIL 1

Tracing, Evaluation & Quality Monitoring

Distributed Tracing für LLM-Calls Spans für LLM-Requests, Prompt- und Response-Attribute, Latenz-Breakdown und Kontext-Propagierung über mehrere Services – von der Instrumentierung bis zur Visualisierung in Grafana Tempo.

Tracing für Agent Flows Loop-Analyse und Abbrechkriterien erkennen, Tool-Call-Tracking und Fehlerquellen lokalisieren, Parent-Child-Spans für mehrstufige Entscheidungsketten.

Evaluation & Quality Monitoring Qualitätsmetriken für LLM-Outputs definieren und automatisiert messen, LLM-as-Judge-Patterns, Regression-Tracking und Drift-Detection für Modell-Updates.

TEIL 2

Alerting, Architektur & Produktionsbetrieb

Observability für Agents Monitoring von autonomen Agenten und Multi-Agent-Systemen – Endlosschleifen erkennen, Tool-Call-Frequenz überwachen, Abbruchbedingungen und Fallback-Strategien absichern.

Alerting-Strategien jenseits von Kosten Latenz-Anomalien, Fehlerquoten, Qualitätsschwellen und Verfügbarkeit – Alert-Regeln für alle Dimensionen einer produktiven LLM-App, inkl. Runbooks und Eskalationspfade.

Architektur-Patterns für produktionsreife LLM-Apps Observability-first Design: wie Instrumentierung die Architektur beeinflusst, Tracing durch Retrieval-Pipelines (RAG), Caching-Strategien und ihre Sichtbarkeit im Dashboard.

Zielgruppe

Teams, die LLM-Apps skalieren und langfristig im Produktionsbetrieb betreiben
Platform- und SRE-Teams mit Verantwortung für LLM-Infrastruktur
Backend-Entwickler, die über Kosten-Monitoring hinaus vollständige Observability brauchen

Voraussetzungen

LLM Cost Observability Workshop oder vergleichbares Wissen (OTel-Grundlagen, Grafana)
Erfahrung mit LLM-APIs im Produktionseinsatz
Grundkenntnisse in Distributed Tracing von Vorteil

Mitnahme

Vollständiges Observability-Setup (Konfiguration & Dashboards)
Tracing-Templates für LLM-Calls und Agent Flows
Eval-Framework für automatisches Quality Monitoring
Teilnahmezertifikat