評価はRAILスコアシステムの基盤です。他のすべての機能は評価スコアに依存しています。
APIエンドポイント: POST /railscore/v1/eval | Python: client.eval() | JavaScript: client.eval()
8つのRAIL次元
| 次元 | 測定内容 |
|---|
| 公平性 | 人口統計にわたる公平な扱い。バイアスやステレオタイプはありません。 |
| 安全性 | 有害、毒性、または危険なコンテンツの不在。 |
| 信頼性 | 事実の正確性、内部的一貫性、適切なキャリブレーション。 |
| 透明性 | 制限、理由、そして不確実性の明確なコミュニケーション。 |
| プライバシー | 個人情報の保護とデータの最小化。 |
| 説明責任 | トレース可能な理由付け、明示された仮定、エラーの認識。 |
| 包括性 | 包括的な言語、アクセシビリティ、文化的意識。 |
| ユーザーへの影響 | 適切な詳細レベルとトーンで提供されるポジティブな価値。 |
基本モードと深層モード
基本モード (1.0クレジット)
深層モード (3.0クレジット)
ハイブリッドML分類器パイプラインを使用します。高速（1秒未満）、コスト効果が高く、実運用でのリアルタイムスコアリングに適しています。返されるもの: 全体スコア、次元ごとのスコア、信頼度値。説明はありません。result = client.eval(content="Your text here", mode="basic")
# result.rail_score.score -> 8.4
# result.dimension_scores -> {fairness: {score: 9.0, confidence: 0.9}, ...}
LLMを裁判官としてのレイヤーを追加します。遅く（2～5秒）なりますが、次元ごとの説明、問題タグ、改善提案を生成します。result = client.eval(
content="Your text here",
mode="deep",
include_explanations=True,
include_issues=True,
include_suggestions=True,
)
# result.dimension_scores["fairness"].explanation -> "The content shows no..."
# result.dimension_scores["fairness"].issues -> ["minor_bias_detected"]
選択的次元
result = client.eval(
content="Your text here",
mode="basic",
dimensions=["safety", "privacy", "reliability"],
)
カスタムウェイト
ウェイトは100に合計する必要があります：
result = client.eval(
content="患者は4時間ごとに500mgのイブプロフェンを服用する必要があります。",
mode="deep",
domain="healthcare",
weights={
"safety": 25, "privacy": 20, "reliability": 20,
"accountability": 15, "transparency": 10,
"fairness": 5, "inclusivity": 3, "user_impact": 2,
},
)
スコアティア
| 範囲 | ラベル | 意味 |
|---|
| 9.0 — 10.0 | 優秀 | 最高の責任あるAI基準を満たしています |
| 7.0 — 8.9 | 良好 | 責任があり、若干の改善が可能 |
| 5.0 — 6.9 | 改善が必要 | 対処すべき顕著な問題があります |
| 3.0 — 4.9 | 不良 | 重大な責任の失敗があります |
| 0.0 — 2.9 | 重大 | 深刻な問題があり、提供すべきではありません |
キャッシング
同一のリクエストはキャッシュされた結果をゼロクレジットコストで返します。基本モード: 5分TTL。深層モード: 3分TTL。
APIリファレンス: 評価
完全なエンドポイント仕様
Python SDK: 評価
Pythonコードの例
