Gobernanza de IA por roles: por qué Goldman Sachs restringe herramientas de código y los riesgos de alucinaciones en tribunales

La dirección tecnológica y legal en las organizaciones está transitando de una fase de experimentación indiscriminada hacia un modelo riguroso de gobernanza de acceso basado en roles. Mientras el mercado de consumo promueve asistentes universales para cualquier empleado, las instituciones financieras de primer nivel y los despachos corporativos están estableciendo fronteras operativas estrictas para contener riesgos de responsabilidad civil, fallas de cumplimiento normativo y alucinaciones críticas.

Cuando los equipos de trabajo utilizan asistentes de código automatizado o herramientas de investigación conversacional sin controles segmentados por función ni validación humana verificable, la empresa queda expuesta a sanciones judiciales, pérdida de reputación y brechas de seguridad perimetral.

Qué ocurrió

Bloomberg reportó que Goldman Sachs restringió el uso de herramientas avanzadas de programación con inteligencia artificial, incluyendo Claude Code y GitHub Copilot, exclusivamente a sus ingenieros de software dedicados. El acceso fue revocado para operadores de bolsa (traders), banqueros de inversión y personal operativo tras una revisión exhaustiva sobre productividad, seguridad perimetral y riesgo institucional. La evaluación concluyó que, si bien los desarrolladores obtienen mejoras cuantificables, permitir que empleados ajenos a la ingeniería ejecuten código automatizado genera vulnerabilidades inaceptables en los sistemas de la firma.

De manera paralela, los riesgos jurídicos derivados de la falta de verificación en salidas de inteligencia artificial alcanzaron repercusión internacional. En el Reino Unido, un fiscal superior de la Corona (Crown Prosecutor) citó jurisprudencia ficticia ante el Tribunal Superior de Justicia tras basarse en búsquedas no verificadas de IA, lo que detonó una investigación disciplinaria formal documentada por The Guardian. En Estados Unidos, los tribunales federales continúan imponiendo sanciones económicas severas contra abogados que presentan precedentes alucinados por modelos lingüísticos, incluyendo una reciente condena de 38,877 dólares por costas judiciales en el Distrito Sur de Nueva York. Las bases de datos judiciales registraron múltiples resoluciones sancionatorias a finales de octubre de 2026.

Ambos eventos demuestran la dualidad del riesgo contemporáneo: personal no técnico que ejecuta código sin supervisión arquitectónica, y profesionales que presentan afirmaciones automatizadas como hechos verificados ante autoridades y clientes.

Por qué es relevante para la empresa

Para directores generales, responsables de auditoría y directores jurídicos corporativos, la convergencia entre restricciones de herramientas y sanciones judiciales establece tres principios directivos:

1. Segmentación de herramientas y principio de menor privilegio: Otorgar licencias generalizadas de modelos generativos avanzados sin considerar el perfil profesional fomenta la proliferación de desarrollos informales (Shadow AI). Las capacidades de ejecución de código requieren control de acceso por roles, credenciales técnicas específicas y contención en entornos de prueba auditados.
2. Responsabilidad profesional indelegable: Un modelo lingüístico carece de personalidad jurídica, cédula profesional y responsabilidad patrimonial. Frente a clientes, auditores y tribunales, el profesional humano que estampa su firma asume la totalidad de las consecuencias legales por cada dato o precedente incluido. Alegar la intervención de un asistente algorítmico es considerado negligencia profesional inexcusable por jueces y reguladores.
3. El costo oculto de la falsa velocidad: Implementar herramientas de inteligencia artificial sin protocolos obligatorios de contraste de fuentes destruye el valor operativo. Los minutos ahorrados en la redacción inicial se traducen en semanas de aclaraciones forenses, desprestigio de marca o litigios derivados de citas inexistentes y ejecuciones defectuosas.

Cómo aplicarlo al trabajo cotidiano

Para blindar la operación corporativa contra alucinaciones y vulnerabilidades operativas sin frenar la digitalización, la alta dirección debe aplicar tres medidas de control:

• Delimite las herramientas de IA según la función laboral: Reserve el acceso a herramientas de programación, scripts automáticos y consultas directas a bases de datos únicamente al personal de ingeniería de software. Para las áreas comerciales y operativas, provea herramientas analíticas de solo lectura con estrictas políticas de exportación de datos.
• Instaure un protocolo obligatorio de tres firmas para entregables externos: Establezca como política corporativa que ningún informe financiero, propuesta comercial o escrito judicial contenga datos generados por IA sin haber sido cotejados manualmente contra registros oficiales o fuentes primarias verificadas.
• Conserve evidencia de verificación en expedientes de trabajo: Exija a los colaboradores documentar el método de comprobación aplicado a las investigaciones asistidas por modelos. Implemente muestreos aleatorios dentro del control de calidad institucional para certificar la veracidad de las referencias antes de su entrega definitiva.