Skip to main content
Teil 2: Produktionsmerkmale - Anbieter-Wrapper, Richtliniendurchsetzung, Sitzungen und Beobachtbarkeit.

Die Einrichtung

Wir bauen einen Kundenservice-Chatbot für ein fiktives SaaS-Produkt namens “CloudDash”, ein Cloud-Überwachungs-Dashboard. Der Chatbot beantwortet Fragen zu Preisen, Funktionen und Fehlersuche. Dabei fügen wir an jeder Stelle eine RAIL Score-Bewertung hinzu, um sicherzustellen, dass die Antworten des Chatbots sicher, genau, fair und hilfreich sind.

Abhängigkeiten installieren

Umgebungsvariablen

Erstellen Sie eine .env-Datei:
Holen Sie sich Ihren RAIL API-Schlüssel: Melden Sie sich unter responsibleailabs.ai/dashboard an. Die kostenlose Stufe umfasst 100 Credits, um dieses gesamte Tutorial zu verfolgen.

Den grundlegenden Chatbot erstellen

Beginnen Sie mit einem grundlegenden Chatbot, der OpenAI direkt verwendet, ohne RAIL-Integration. Dies ist die Grundlage, auf der wir die Bewertung aufbauen werden.
chatbot.py
Das funktioniert, aber wir haben keine Sichtbarkeit in die Qualität der Antworten. Ist diese Antwort sicher? Ist sie faktisch genau? Enthält sie Vorurteile? Wir haben keine Möglichkeit, dies zu wissen, bis wir RAIL Score hinzufügen.

RAIL Score-Bewertung hinzufügen

Der einfachste Weg, RAIL-Bewertungen hinzuzufügen, ist mit RailScoreClient. Ein Aufruf gibt uns Werte über alle 8 RAIL-Dimensionen.
chatbot_with_eval.py

Die Ergebnisse interpretieren

Datenschutz = 5.0 bedeutet “nicht zutreffend.” RAIL gibt 5.0 (neutral) zurück, wenn Datenschutz für den bewerteten Inhalt irrelevant ist.

Tiefgehende Bewertung

Der Basismodus gibt Ihnen Werte. Der Tiefenmodus gibt Ihnen das Warum: Erklärungen pro Dimension, erkannte Probleme und Verbesserungsvorschläge.
deep_eval.py

Basis vs. Tief

Kosten spartipp: Verwenden Sie den Basismodus für jede Antwort in der Produktion und den Tiefenmodus selektiv. Zum Beispiel, aktivieren Sie den Tiefenmodus, wenn ein Basiswert unter Ihrem Schwellenwert liegt, oder als regelmäßige Prüfung einer Stichprobe von Antworten.

Was kommt als Nächstes

Teil 2: Produktionsmerkmale

Anbieter-Wrapper, Richtliniendurchsetzung (blockieren/regenerieren), Verfolgung mehrerer Sitzungen und Langfuse-Beobachtbarkeit.