LLM Cost Observability Workshop

Kursinhalt

TEIL 1

Kostenmodell & OTel-Instrumentierung

Kostenmodell verstehen Input/Output-Tokens, Preisunterschiede zwischen Modellen und Providern, Hidden Costs (Caching, Retry-Kosten, Embedding-Calls) – die Grundlage für sinnvolles Monitoring.

Lab 1: OTel-Instrumentierung OpenTelemetry-Wrapper für OpenAI, Anthropic und Azure OpenAI einrichten – Token-Metriken, Kosten-Spans und Modell-Attribute automatisch erfassen und exportieren.

Lab 2: Grafana-Dashboard aufbauen Kosten pro Request, Modell und Feature visualisieren – fertige Dashboard-Panels für Input/Output-Token-Verhältnis, Tageskosten und Kosten-Trends je Team oder Feature.

TEIL 2

Alerts, Budget-Caps & Architektur-Patterns

Lab 3: Alerts & Budget-Caps Prometheus-Alertregeln für Kostenschwellen konfigurieren, Budget-Caps implementieren und Alerts in Slack oder E-Mail routen – inkl. Alert-Template zum Mitnehmen.

Architektur-Patterns für Kostenkontrolle Model Fallback (teures Modell nur bei Bedarf), Caching von LLM-Responses, Prompt-Komprimierung – wann welches Pattern hilft und wie es sich auf die Observability auswirkt.

Zielgruppe

Backend-Entwickler, die LLM-APIs in eigene Anwendungen integrieren
Platform Engineers, die Kostenverantwortung für LLM-Infrastruktur tragen
Tech Leads, die Transparenz über LLM-Ausgaben im Team brauchen

Voraussetzungen

Grundkenntnisse in einer LLM-API (OpenAI, Anthropic oder Azure OpenAI)
Docker-Grundkenntnisse
Prometheus- und Grafana-Vorkenntnisse hilfreich, aber nicht erforderlich

Mitnahme

Lauffähiges Grafana-Dashboard (JSON-Export)
OTel-Wrapper-Code für OpenAI, Anthropic und Azure
Kostenvergleich-Sheet für gängige Modelle
Alert-Template für Budget-Caps
Teilnahmezertifikat