Zum Hauptinhalt springen
Die Agentenbewertung bietet drei Sicherheitskontrollpunkte für agentenbasierte KI-Systeme: Toolaufrufe vor der Ausführung bewerten, Toolergebnisse scannen, bevor sie an den Agenten zurückgegeben werden, und Prompt-Injection in jedem Text erkennen, den der Agent verarbeiten will. Dies ist für Systeme gedacht, in denen ein KI-Agent eigenständig Tools (Funktionen, APIs, Retrieval) aufrufen kann. Wenn Ihre Anwendung nur Text generiert, können Sie dies überspringen und die Bewertung verwenden. Wenn Sie Agenten bauen, schützen diese Kontrollpunkte die Stellen, an denen ein Agent eine Aktion ausführen oder von ihr beeinflusst werden kann.

​
Die drei Kontrollpunkte

Tool Call Evaluation

ALLOW / FLAG / BLOCK, bevor ein Tool läuft.

Tool Result Scanning

PII-Erkennung und Injection-Prüfung auf Tool-Ausgaben.

Prompt Injection Detection

Schneller Injection-Scan auf beliebigem Eingabetext.
Integrieren Sie sie in der Reihenfolge, in der der Agent läuft: zuerst Injection auf eingehenden Eingaben erkennen, dann einen Toolaufruf vor seiner Ausführung bewerten, anschließend das Toolergebnis scannen, bevor es an den Agenten zurückgeht. Sie können einen Kontrollpunkt oder alle drei einsetzen; wenn Sie mit einem beginnen, bietet die Prompt-Injection-Erkennung auf Nutzereingaben den breitesten Schutz.

​
Schnelles Beispiel

from rail_score_sdk import RailScoreClient

client = RailScoreClient(api_key="YOUR_RAIL_API_KEY")

# 1. Check for injection in user input
injection = client.agent.detect_injection(text=user_input)
if injection.injection_detected:
    return "Invalid input detected."

# 2. Evaluate tool call before execution
tool_check = client.agent.evaluate_tool_call(
    tool_name="send_email",
    tool_input={"to": "user@example.com", "body": agent_draft},
    agent_context="Customer support agent",
)
if tool_check.recommendation == "block":
    return f"Tool call blocked: {tool_check.explanation}"

# 3. Execute the tool, then scan the result
tool_output = execute_tool(tool_name, tool_input)
result_scan = client.agent.scan_tool_result(
    tool_name="send_email",
    tool_result=tool_output,
)
if result_scan.pii_detected:
    tool_output = result_scan.redacted_result

​
Wie geht es weiter

API-Referenz: Tool Call

Vollständige Spezifikation für die Bewertung von Toolaufrufen.

Python SDK: Agentenbewertung

Python-SDK-Referenz für alle drei Agenten-Endpunkte.