Integrationsübersicht

RAIL Score integriert sich mit den wichtigsten LLM-Anbietern und Observability-Tools. Anbieter-Wrapper fügen jeder LLM-Antwort automatisch eine RAIL-Bewertung hinzu, ohne Ihre Aufruflogik zu ändern.

LLM-Anbieter

OpenAI

RAILOpenAI - umschließt GPT-4o, GPT-4o-mini und alle OpenAI-Chatmodelle.

Anthropic

RAILAnthropic - umschließt Claude 3.5, Claude 3 und alle Anthropic-Modelle.

Google Gemini

RAILGemini - umschließt Gemini 1.5 Pro/Flash und Vertex AI-Modelle.

Observability

Langfuse

Protokollieren Sie RAIL-Bewertungen zusammen mit LLM-Spuren in Langfuse.

LiteLLM

RAILGuardrail - RAIL als LiteLLM-Schutzmaßnahme.

OpenTelemetry

Exportieren Sie RAIL-Bewertungen als OTEL-Spannen.

Installation

Installieren Sie nur die Anbieter, die Sie benötigen:

pip install "rail-score-sdk[openai]"       # OpenAI
pip install "rail-score-sdk[anthropic]"    # Anthropic
pip install "rail-score-sdk[google]"       # Gemini
pip install "rail-score-sdk[litellm]"      # LiteLLM
pip install "rail-score-sdk[integrations]" # Alle LLM-Anbieter

Für JavaScript:

npm install @responsible-ai-labs/rail-score openai          # + OpenAI
npm install @responsible-ai-labs/rail-score @anthropic-ai/sdk  # + Anthropic
npm install @responsible-ai-labs/rail-score @google/generative-ai  # + Gemini

OpenAI-IntegrationRAILOpenAI -- Drop-in-Wrapper, der jede OpenAI-Antwort bewertet.

Weiter

⌘I

​LLM-Anbieter