メインコンテンツへスキップ

​
インストール

pip install "rail-score-sdk[litellm]" litellm

​
ガードレールとしての使用

from rail_score_sdk.integrations import RAILGuardrail
import litellm

# RAILをガードレールとして登録
rail_guardrail = RAILGuardrail(
    api_key="YOUR_RAIL_API_KEY",
    threshold=7.0,
    mode="basic",
    action="block",  # "block" | "warn" | "regenerate"
)

litellm.callbacks = [rail_guardrail]

# これで全てのLiteLLM呼び出しが自動的にスコアリングされます
response = await litellm.acompletion(
    model="gpt-4o",
    messages=[{"role": "user", "content": "量子コンピューティングについて説明してください。"}],
)

# レスポンスメタデータからRAILデータにアクセス
print(response._hidden_params["rail_score"])
print(response._hidden_params["rail_threshold_met"])

​
直接使用

from rail_score_sdk.integrations import RAILGuardrail

guardrail = RAILGuardrail(
    api_key="YOUR_RAIL_API_KEY",
    threshold=7.0,
)

result = await guardrail.async_post_call_success_hook(
    data={"messages": [...]},
    response=llm_response,
)
RAILGuardrailはLiteLLMのCustomLoggerインターフェースを実装しているため、Ollamaを介したローカルモデルを含むLiteLLMがサポートする任意のモデルで機能します。