Prove: evaluación, políticas y observabilidad

Prove responde la tercera pregunta del cliente: ¿puedo confiar en este sistema en producción? Sus tres actividades son SimuLearn de una hora y 100 puntos cada una (300 en total). Son también las electivas recomendadas para Validated.

flowchart LR
    A[Agente en Runtime] --> G[Gateway]
    G --> P[AgentCore Policy · Cedar]
    P -->|permit| T[Tools]
    P -->|forbid · log| CW[CloudWatch]
    A --> O[Observability · trazas OTEL]
    O --> E[AgentCore Evaluations]
    O --> CW
    E --> Q{Quality gate}

8.1 Evaluación

Prepara AWS SimuLearn: Measuring Agent Accuracy with AgentCore Evaluations. Escenario: medir la calidad de las respuestas de un agente de soporte al cliente con AgentCore Evaluations.

Concepto	Detalle
Evaluadores integrados	Criterios como corrección, utilidad, selección de herramientas o fidelidad al contexto, aplicados a sesiones, trazas y spans
Evaluadores personalizados	LLM-as-a-judge con rúbrica propia del dominio
Evaluación en línea	Sobre el tráfico real instrumentado con OpenTelemetry u OpenInference (Strands, LangGraph)
Evaluación por lotes	Sobre un dataset dorado de casos con respuesta esperada
Quality gate	Umbral mínimo que bloquea un despliegue en CI/CD
Optimization	A/B de prompts y descripciones de tools a partir de las trazas, con reparto de tráfico en Gateway

Ejercicio: construir un dataset dorado de 30 casos del dominio del partner; ejecutar evaluaciones integradas y una personalizada; definir el umbral de aprobación; integrar el resultado como paso de un pipeline.

Recursos: Build with AgentCore Evaluations (100 min), AgentCore Evaluation on Amazon Bedrock (75 min).

• Dataset dorado con evaluación automática y umbral definido.

8.2 Políticas

Prepara AWS SimuLearn: Governing Agent Actions with Cedar Policies. Escenario: un agente de soporte de un minorista puede consultar, reembolsar y cancelar pedidos mediante funciones Lambda y una tabla DynamoDB a través de AgentCore Gateway. Operaciones no puede demostrar que el agente reembolsará solo montos pequeños y que nunca actuará sobre una solicitud manipulada. Hay que acotar y auditar cada tool call, probar reglas nuevas en modo log only contra tráfico real y promoverlas a enforce cuando demuestren ser confiables.

Cedar es el lenguaje de políticas de código abierto de AWS; AgentCore Policy acepta Cedar y Dogwood (compatible con Cedar) y permite redactar reglas en lenguaje natural que se traducen a políticas.

forbid (
  principal,
  action == Action::"process_refund",
  resource
) when { context.amount > 100 };

permit (
  principal,
  action in [Action::"get_order"],
  resource
);

Flujo de trabajo:

stateDiagram-v2
    [*] --> Redactar
    Redactar --> LogOnly: adjuntar al Gateway
    LogOnly --> Revisar: decisiones en CloudWatch
    Revisar --> Redactar: falsos positivos
    Revisar --> Enforce: regla confiable
    Enforce --> [*]

Ejercicio: escribir una política que prohíba reembolsos sobre un monto, otra que permita solo lecturas a un rol, y una condición sobre contexto (por ejemplo, el pedido debe pertenecer al cliente autenticado); adjuntar el policy engine al Gateway; generar tráfico legítimo y manipulado; revisar las decisiones en CloudWatch; promover a enforcement.

Recursos: AgentCore Policy on Amazon Bedrock (60 min), Build with AgentCore Policy (80 min), Introduction to Amazon Bedrock AgentCore Policy Security Capabilities (30 min), https://www.cedarpolicy.com.

• Al menos una regla pasó de log-only a enforce con evidencia en CloudWatch.

8.3 Observabilidad y atribución de costos

Prepara AWS SimuLearn: Observability and Cost Attribution for Multi-Agent Systems. Escenario: un sistema multiagente de recomendaciones minoristas corre en AgentCore con la vista gestionada de observabilidad de IA generativa de CloudWatch activada; aun así, problemas de latencia, costo y calidad llegan a los clientes mientras la vista reporta el sistema como sano. El equipo necesita ver dónde se acumulan latencia y costo entre los agentes y por qué las regresiones de calidad pasan inadvertidas.

Señal	Herramienta	Qué buscar
Trazas por agente	CloudWatch Traces con consultas por servicio, por ejemplo service(id(name: "ranking_agent", type: "AWS::Lambda")); Transaction Search	Spans lentos, llamadas repetidas a tools, errores silenciosos
Costo	Métricas de tokens de entrada y salida por agente y por modelo	Agentes que consumen la mayor parte de los tokens sin aportar a la respuesta
Calidad	Evaluaciones continuas enlazadas a las trazas	Regresión tras un cambio de prompt o de modelo
Alarmas	CloudWatch Alarms y anomalías	Ráfagas de tokens, latencia p95, caída en el puntaje de evaluación

Ejercicio: instrumentar un sistema de dos o tres agentes con OpenTelemetry; construir un dashboard con latencia, tokens y costo por agente; crear una alarma sobre el puntaje de evaluación; provocar una regresión (cambiar un prompt) y verificar que la alarma dispara.

Recurso: Lab - Monitor Agent Performance and Telemetry using AgentCore Observability.

• Dashboard con costo y latencia atribuidos por agente y alarma de calidad funcionando.

Cierre del pathway

• Tres SimuLearn aprobadas en DIY; pestaña Prove en 3 de 3.
• Si Ground y Orchestrate están completos, el contador marca 1.000 de 1.000.