Bewertung

Die Bewertung ist die Grundlage des RAIL Score Systems. Jede andere Funktion hängt von Bewertungs-Scores ab.

API-Endpunkt: POST /railscore/v1/eval | Python: client.eval() | JavaScript: client.eval()

Die 8 RAIL-Dimensionen

Dimension	Was sie misst
Fairness	Gleichbehandlung über Bevölkerungsgruppen hinweg. Keine Vorurteile oder Stereotype.
Safety	Abwesenheit schädlicher, toxischer oder gefährlicher Inhalte.
Reliability	Faktische Korrektheit, innere Konsistenz, angemessene Kalibrierung.
Transparency	Klare Kommunikation von Grenzen, Begründungen und Unsicherheit.
Privacy	Schutz personenbezogener Daten und Datenminimierung.
Accountability	Nachvollziehbare Begründung, genannte Annahmen, Anerkennung von Fehlern.
Inclusivity	Inklusive Sprache, Barrierefreiheit, kulturelles Bewusstsein.
User Impact	Positiver Mehrwert, geliefert auf dem richtigen Detailgrad und im richtigen Ton.

Die vollständige Definition jeder Dimension, ihre Bewertungsanker und ausgearbeitete Beispiele finden Sie unter Das RAIL Framework.

Basic-, Deep- und Auto-Modi

Beide Modi bewerten dieselben 8 Dimensionen und geben denselben RAIL-Gesamtscore zurück. Sie unterscheiden sich in der Tiefe und darin, welche Details zurückkommen.

Basic-Modus
Deep-Modus
Auto-Modus

Die Kern-Scoring-Modelle von RAIL. Schnell (typischerweise unter einer Sekunde) und für Echtzeit-Scoring in der Produktion ausgelegt.Gibt zurück: Gesamtscore, Scores pro Dimension und Konfidenzwerte.

result = client.eval(content="Your text here", mode="basic")
# result.rail_score.score       -> 7.6
# result.dimension_scores       -> {fairness: {score: 7.7, confidence: 0.84}, ...}

Eine tiefere, detailliertere Analyse des Inhalts. Dauert einige Sekunden und kann zusätzlich zu den Scores eine Erklärung pro Dimension, Problem-Tags und Verbesserungsvorschläge zurückgeben.

result = client.eval(
    content="Your text here",
    mode="deep",
    include_explanations=True,
    include_issues=True,
    include_suggestions=True,
)
# result.dimension_scores["transparency"].explanation -> "The process is mostly clear, but..."
# result.dimension_scores["safety"].issues            -> ["Potential phishing risks"]

Führt basic auf jeder Anfrage aus und eskaliert zu deep nur dann, wenn ein echtes Problem erkannt wird — eine niedrig bewertete oder niedrig-konfidente Dimension oder ein gekennzeichnetes Signal. Saubere Inhalte bleiben schnell und kostengünstig; Inhalte, die eine genauere Überprüfung benötigen, erhalten automatisch die tiefere Analyse.

result = client.eval(content="Your text here", mode="auto")
# result.resolved_mode -> "basic"  (sauberer Inhalt — schnell geblieben)
#                               -> "deep"   (Problem erkannt — eskaliert)
# result.escalated     -> False / True

resolved_mode und escalated im Antwort-result zeigen an, welche Stufe ausgeführt wurde. Sie werden nach der Stufe abgerechnet, die tatsächlich ausgeführt wurde.

Welchen wählen: Greifen Sie zum Basic-Modus, wenn Sie auf dem heißen Pfad einer Produktionsanfrage bewerten und ein schnelles Urteil benötigen. Greifen Sie zum Deep-Modus, wenn Sie einem Prüfer zeigen müssen, warum etwas niedrig bewertet wurde, oder wenn Sie eine Richtlinie debuggen und feinjustieren, denn dieser liefert Erklärungen und Problem-Tags. Greifen Sie zum Auto-Modus, wenn Sie die Geschwindigkeit von Basic bei den meisten Anfragen möchten, aber automatische tiefe Analyse bei Inhalten, die es benötigen — ohne dies im Voraus zu entscheiden.

Die Antwort

Jede Bewertung gibt zurück:

rail_score — den Gesamtscore (0 bis 10), seine confidence und eine einzeilige summary.
dimension_scores — einen score und eine confidence für jede der 8 Dimensionen. Im Deep-Modus trägt jede zusätzlich eine explanation und issues (sowie suggestions, falls angefordert).
policy_outcome — wie die Richtlinie Ihrer Anwendung das Ergebnis bewertet hat.

Selektive Dimensionen

result = client.eval(
    content="Your text here",
    mode="basic",
    dimensions=["safety", "privacy", "reliability"],
)

Benutzerdefinierte Gewichtungen

Die Gewichtungen müssen sich auf 100 summieren:

result = client.eval(
    content="Patient should take 500mg ibuprofen every 4 hours.",
    mode="deep",
    domain="healthcare",
    weights={
        "safety": 25, "privacy": 20, "reliability": 20,
        "accountability": 15, "transparency": 10,
        "fairness": 5, "inclusivity": 3, "user_impact": 2,
    },
)

Bewertungsstufen

Ein Score wird einem von fünf Bändern zugeordnet, von Excellent (9,0 bis 10,0) bis hinab zu Critical (0,0 bis 2,9). Die vollständige Tabelle und die Bedeutung jedes Bands finden Sie unter Das RAIL Framework.

Caching

Identische Anfragen geben zwischengespeicherte Ergebnisse zurück, sodass das wiederholte Bewerten desselben Inhalts schnell ist und nicht erneut berechnet wird. Der Basic-Modus speichert für 5 Minuten zwischen, der Deep-Modus für 3 Minuten.

API-Referenz: Bewertung

Vollständige Endpunktspezifikation

Python SDK: Bewertung

Python-Codebeispiele

Erste Schritte

Kernkonzepte

Governance

Spezialisierte Prüfungen

Die 8 RAIL-Dimensionen

Basic-, Deep- und Auto-Modi

Die Antwort

Selektive Dimensionen

Benutzerdefinierte Gewichtungen

Bewertungsstufen

Caching

API-Referenz: Bewertung

Python SDK: Bewertung

​Die 8 RAIL-Dimensionen

​Basic-, Deep- und Auto-Modi

​Die Antwort

​Selektive Dimensionen

​Benutzerdefinierte Gewichtungen

​Bewertungsstufen

​Caching

API-Referenz: Bewertung

Python SDK: Bewertung

Die 8 RAIL-Dimensionen

Basic-, Deep- und Auto-Modi

Die Antwort

Selektive Dimensionen

Benutzerdefinierte Gewichtungen

Bewertungsstufen

Caching