Passer au contenu principal
L’évaluation des agents fournit trois points de contrôle de sécurité pour les systèmes d’IA agentiques : évaluer les appels d’outils avant exécution, analyser les résultats des outils avant de les retransmettre à l’agent, et détecter l’injection de prompt dans tout texte que l’agent est sur le point de traiter.

Les trois points de contrôle

Évaluation des appels d'outils

ALLOW / FLAG / BLOCK avant l’exécution d’un outil. 1.5–3.0 crédits.

Analyse des résultats d'outils

Détection de DPI + vérification d’injection sur la sortie de l’outil. 0.5–1.0 crédits.

Détection d'injection de prompt

Analyse rapide d’injection sur tout texte en entrée. 0.5 crédits.

Exemple rapide

from rail_score_sdk import RailScoreClient

client = RailScoreClient(api_key="YOUR_RAIL_API_KEY")

# 1. Check for injection in user input
injection = client.agent.detect_injection(text=user_input)
if injection.injection_detected:
    return "Invalid input detected."

# 2. Evaluate tool call before execution
tool_check = client.agent.evaluate_tool_call(
    tool_name="send_email",
    tool_input={"to": "user@example.com", "body": agent_draft},
    agent_context="Customer support agent",
)
if tool_check.recommendation == "block":
    return f"Tool call blocked: {tool_check.explanation}"

# 3. Execute the tool, then scan the result
tool_output = execute_tool(tool_name, tool_input)
result_scan = client.agent.scan_tool_result(
    tool_name="send_email",
    tool_result=tool_output,
)
if result_scan.pii_detected:
    tool_output = result_scan.redacted_result

Et ensuite

Référence API : Appel d'outil

Spécification complète pour l’évaluation des appels d’outils.

SDK Python : Évaluation des agents

Référence du SDK Python pour les trois endpoints d’agent.