Aperçu des intégrations

RAIL Score s’intègre aux principaux fournisseurs de LLM et outils d’observabilité. Les enveloppes des fournisseurs ajoutent un scoring RAIL automatique à chaque réponse de LLM sans changer votre logique d’appel.

Fournisseurs de LLM

OpenAI

RAILOpenAI - enveloppe GPT-4o, GPT-4o-mini et tous les modèles de chat OpenAI.

Anthropic

RAILAnthropic - enveloppe Claude 3.5, Claude 3 et tous les modèles d’Anthropic.

Google Gemini

RAILGemini - enveloppe Gemini 1.5 Pro/Flash et les modèles Vertex AI.

Observabilité

Langfuse

Enregistrez les scores RAIL aux côtés des traces de LLM dans Langfuse.

LiteLLM

RAILGuardrail - RAIL en tant que garde-fou LiteLLM.

OpenTelemetry

Exportez les scores RAIL en tant que spans OTEL.

Installation

Installez uniquement les fournisseurs dont vous avez besoin :

pip install "rail-score-sdk[openai]"       # OpenAI
pip install "rail-score-sdk[anthropic]"    # Anthropic
pip install "rail-score-sdk[google]"       # Gemini
pip install "rail-score-sdk[litellm]"      # LiteLLM
pip install "rail-score-sdk[integrations]" # Tous les fournisseurs de LLM

Pour JavaScript :

npm install @responsible-ai-labs/rail-score openai          # + OpenAI
npm install @responsible-ai-labs/rail-score @anthropic-ai/sdk  # + Anthropic
npm install @responsible-ai-labs/rail-score @google/generative-ai  # + Gemini

Intégration OpenAIRAILOpenAI -- wrapper prêt à l'emploi qui évalue chaque réponse d'OpenAI.

⌘I

​Fournisseurs de LLM