Añadir «revisado por una persona» al final de un proceso puede transmitir tranquilidad, pero no garantiza una supervisión efectiva. Si la persona no sabe qué fuente ha utilizado el agente, qué errores son probables o qué autoridad tiene para parar la acción, la revisión se convierte en un trámite. También puede aparecer el sesgo de automatización: la tendencia a confiar en un resultado porque el sistema lo ha presentado con seguridad y apariencia de precisión.
La supervisión humana no tiene que funcionar como una red situada al final. Se tiene que diseñar al mismo tiempo que la misión, los permisos y el flujo del agente.
No todas las acciones necesitan el mismo control
Preparar un resumen interno, sugerir un titular, enviar una respuesta pública o modificar un presupuesto tienen consecuencias diferentes. Una buena arquitectura clasifica las acciones según el impacto, la reversibilidad, los datos implicados y la posibilidad de detectar el error.
Las tareas de riesgo bajo pueden ejecutarse con muestras periódicas o controles posteriores. Las acciones que afectan clientes, dinero, reputación, derechos o datos personales pueden necesitar aprobación previa. Determinadas decisiones no se tendrían que automatizar, aunque fuera técnicamente posible.
Este criterio evita dos extremos: revisar manualmente cada paso hasta que la automatización deja de aportar valor, o conceder autonomía simplemente porque la herramienta la permite.
Qué necesita la persona que supervisa
La persona responsable tiene que conocer la finalidad del agente, sus capacidades y sus límites. También necesita ver qué fuentes han sustentado el resultado, detectar cuando falta información y entender las consecuencias de aprobar una acción.
La interfaz o el documento de revisión tiene que facilitar este trabajo. No es suficiente mostrar una respuesta y dos botones. Puede ser necesario destacar las fuentes, los cambios, los datos sensibles, el nivel de confianza, las excepciones y el motivo por el cual el caso ha llegado a revisión.
La persona también tiene que poder ignorar, corregir, revertir o parar el resultado. Si solo puede confirmar, no está supervisando; está validando formalmente una decisión que ya ha tomado el sistema.
Human Gates dentro del proceso
A Karmina AI Studio denominamos Human Gates los puntos donde una acción cambia de nivel de responsabilidad. Pueden aparecer antes de publicar, enviar, modificar, eliminar, compartir datos o asumir un compromiso con una persona externa.
Un Ads Monitor puede detectar un gasto anómalo y preparar una recomendación, mientras que una responsable aprueba cualquier cambio de presupuesto. Un Support Desk puede responder preguntas frecuentes autorizadas, pero escala una reclamación o una excepción comercial. Un Blog Publisher puede preparar el texto, la estructura SEO y los metadatos, pero la publicación queda bloqueada hasta la revisión editorial.
Los puntos de control se tienen que documentar con responsables alternativos, plazos y un procedimiento para los casos sin respuesta. Una aprobación que nadie atiende puede paralizar el proceso o llevar el equipo a saltarse el control.
Supervisión, registro y aprendizaje
Los errores revisados son una fuente para mejorar el sistema, siempre que queden registrados. Conviene diferenciar entre una preferencia editorial, una fuente obsoleta, una instrucción ambigua, un problema técnico y una acción que nunca se tendría que haber propuesto. Cada causa necesita una corrección diferente.
El registro también permite detectar si el agente está degradándose, si una nueva versión ha cambiado el comportamiento o si una persona aprueba sistemáticamente sin revisar. La gobernanza es un proceso continuo: definir, observar, medir y corregir.
El marco voluntario de gestión de riesgos del NIST organiza este trabajo alrededor de gobernar, mapear, medir y gestionar, e incluye la definición y documentación de los procesos de supervisión humana. Es una referencia útil para estructurar controles, aunque no sustituye las obligaciones legales aplicables a cada caso. AI Risk Management Framework del NIST ↗.
El contexto legal importa
El Reglamento europeo de inteligencia artificial incluye requisitos específicos de supervisión humana para los sistemas clasificados como de alto riesgo. El artículo 14 señala, entre otras capacidades, comprender limitaciones, detectar anomalías, evitar una confianza excesiva y poder ignorar o revertir resultados. No todos los agentes de marketing son sistemas de alto riesgo, pero estas preguntas ofrecen una referencia de diseño útil cuando aumenta el impacto. Artículo 14 del Reglamento europeo de IA ↗.
Cuando el proceso trata datos personales, la supervisión tampoco elimina las obligaciones de finalidad, minimización, seguridad o responsabilidad. La organización continúa siendo responsable de cumplir los principios aplicables y de poder demostrarlo. Principios del RGPD explicados por la Comisión Europea ↗.
La clasificación jurídica y las medidas necesarias se tienen que revisar según el uso, el sector y las personas afectadas; una página comercial no puede certificar este cumplimiento.
La responsabilidad tiene que tener nombre
Decir que «siempre habrá una persona» es insuficiente. Cada agente necesita un propietario, personas usuarias autorizadas, responsables de aprobación y un circuito de incidencias. También necesita una política de actualización y una decisión sobre quien puede ampliar los permisos o cambiar las fuentes.
La supervisión humana funciona cuando la persona tiene información, tiempo, autoridad y formación. Si una de estas condiciones falta, el control puede existir al diagrama y desaparecer en la operativa real.
Las personas no tienen que revisar porque desconfiamos de toda automatización. Tienen que intervenir en los puntos donde el criterio, los derechos y la responsabilidad no se pueden convertir en una simple instrucción.