Mayor autonomía de agentes de IA exigirá límites de actuación y responsables definidos

Notipress.-  La creciente autonomía de los agentes de inteligencia artificial (IA) planteará nuevas exigencias de supervisión y responsabilidad para las empresas durante 2027. De acuerdo con las proyecciones de especialistas de SAS, las organizaciones deberán revisar sus mecanismos de seguridad, permisos y gobernanza a medida que estos sistemas adquieran capacidad para ejecutar acciones dentro de procesos empresariales sin intervención humana directa en cada operación.

El cambio previsto implica que los departamentos tecnológicos ya no tendrán que administrar únicamente los accesos de empleados y usuarios, sino también los de entidades digitales capaces de interactuar con sistemas, datos y operaciones comerciales. Esta transformación exigirá nuevos controles de identidad, autorización y monitoreo para agentes de IA autónomos.

Jay Upchurch, director de Información (CIO) de SAS, señaló en información para NotiPress que las infraestructuras empresariales fueron diseñadas principalmente para gestionar usuarios humanos. Por ello, anticipó que los responsables tecnológicos tendrán que reconsiderar los mecanismos utilizados para determinar qué sistemas pueden acceder a la información y bajo qué condiciones pueden actuar.

La expansión de estos agentes también modificará los criterios para evaluar su implementación. Según Upchurch, la ventaja no estará necesariamente en desplegar una mayor cantidad de herramientas autónomas, sino en garantizar que las organizaciones puedan confiar en su funcionamiento.

Uno de los sectores donde estas exigencias podrían adquirir especial relevancia es el financiero. SAS proyecta que los agentes de IA pasarán de recomendar compras a ejecutar operaciones financieras, incluidas transferencias de dinero en representación de sus usuarios.

Adam Neiberg, gerente global de Banca de SAS, explicó que esta evolución obligará a las instituciones financieras a reconsiderar los límites de sus sistemas de prevención del fraude. La verificación de una transacción individual podría resultar insuficiente cuando la operación sea realizada por un agente autónomo.

En ese escenario, los bancos deberán evaluar tanto la legitimidad de las operaciones como la autoridad y la integridad de los agentes de IA que las ejecutan. Esto supone determinar qué facultades tiene cada sistema para actuar en nombre de una persona y cómo deben supervisarse sus movimientos financieros.

Las consecuencias de la autonomía también podrían extenderse a las relaciones comerciales y la reputación empresarial. Cuando un agente de IA deja de recomendar acciones y comienza a ejecutarlas, sus interacciones pueden generar compromisos que involucren directamente a la organización responsable.

Jenn Chase, directora de Marketing (CMO) de SAS, advirtió que una oferta no autorizada, una promesa incumplida o una interacción inadecuada con clientes podrían convertirse en problemas reputacionales para las compañías que utilicen agentes autónomos.

La especialista planteó que identificar quién responde por las acciones de los agentes de IA será una cuestión central de gobernanza, comparable con la asignación de responsabilidades sobre los presupuestos empresariales. Las organizaciones que no puedan establecer esa responsabilidad podrían enfrentar cuestionamientos de clientes, juntas directivas o autoridades reguladoras.

Además de definir responsables, las empresas tendrán que desarrollar mecanismos para evaluar las decisiones tomadas por sus sistemas. Entre las herramientas consideradas por SAS se encuentran las simulaciones, los gemelos digitales y los datos sintéticos, que permitirían examinar comportamientos y posibles errores antes de trasladar determinadas decisiones a situaciones reales.

Estas tecnologías podrían utilizarse para analizar riesgos en instalaciones industriales, probar procedimientos en entornos médicos virtuales o evaluar las respuestas de sistemas financieros frente a comportamientos inesperados de agentes de IA.

La supervisión humana de la inteligencia artificial también formará parte de este proceso. Reggie Townsend, vicepresidente de Ética, Gobernanza e Impacto Social de la Inteligencia Artificial de SAS, proyectó que las organizaciones necesitarán comprender no solo qué decisiones toman sus sistemas, sino también cuándo intervienen las personas y si esas intervenciones mejoran los resultados.

Desde esta perspectiva, la gobernanza de la inteligencia artificial deberá incorporar mecanismos de aprendizaje y evaluación continua, capaces de identificar comportamientos aceptables, reconocer desviaciones y conservar conocimientos útiles para futuras decisiones.

Las proyecciones de SAS para 2027 sitúan así la responsabilidad empresarial ante los agentes de IA autónomos como uno de los principales desafíos asociados con la autonomía tecnológica. La capacidad de los agentes para actuar dentro de sistemas corporativos exigirá establecer límites de operación, responsables identificables y mecanismos de supervisión que permitan mantener el control sobre sus decisiones y consecuencias.