Amadeo Pérez, CEO de XTechAI: agentes de IA, seguridad y control en las empresas

La inteligencia artificial empresarial está entrando en una nueva etapa.

Durante los últimos años, gran parte de las implementaciones se han centrado en sistemas capaces de responder preguntas, generar contenidos, resumir documentación o analizar información.

Los agentes de inteligencia artificial introducen un cambio mucho más profundo.

Estos sistemas pueden recibir un objetivo, consultar información, utilizar herramientas y ejecutar distintas acciones para intentar completar una tarea.

Amadeo Pérez, fundador y CEO de XTechAI, ha analizado esta evolución en una publicación distribuida por Europa Press y desarrollada posteriormente en una entrevista completa publicada en XTechAI.

«El gran salto no será únicamente que la inteligencia artificial responda mejor, sino que empiece a actuar».

Esta capacidad abre importantes oportunidades para las empresas, pero también obliga a replantear aspectos como los permisos, la supervisión, la protección de datos y la seguridad.

¿Qué es un agente de inteligencia artificial?

Un asistente tradicional recibe una petición y genera una respuesta.

Un agente puede ir más allá.

Dependiendo de su configuración, puede:

• Consultar documentación interna.
• Buscar información en bases de datos.
• Utilizar APIs y aplicaciones empresariales.
• Analizar diferentes fuentes de información.
• Generar documentos o respuestas.
• Actualizar determinados registros.
• Ejecutar secuencias completas de acciones.

La diferencia es importante.

Ya no estamos hablando exclusivamente de inteligencia artificial generativa.

Estamos hablando de sistemas capaces de interactuar con el entorno digital de una empresa.

¿Cómo pueden utilizarse los agentes de IA en una empresa?

Los casos de uso dependen enormemente de cada organización y de sus procesos.

Un agente puede colaborar, por ejemplo, en tareas relacionadas con:

• Atención al cliente.
• Gestión comercial.
• Procesamiento de documentación.
• Análisis de información.
• Soporte interno.
• Automatización administrativa.
• Generación de informes.
• Clasificación y priorización de solicitudes.

Imaginemos una empresa que recibe una solicitud comercial.

Un agente podría analizar el mensaje, localizar al contacto dentro del CRM, consultar información relacionada, preparar una propuesta preliminar y dejar determinadas acciones pendientes de validación.

La inteligencia artificial no tendría necesariamente que ejecutar todo el proceso de manera autónoma.

Puede colaborar en aquellas fases donde realmente aporta valor.

Una IA no necesita acceso a todo

Uno de los errores más importantes al implantar agentes es concederles más permisos de los necesarios.

El hecho de que técnicamente un sistema pueda acceder a una herramienta no significa que deba hacerlo.

Si un agente únicamente necesita consultar determinada información, puede utilizar permisos de lectura.

Si debe preparar un correo electrónico, no necesariamente debe tener autorización para enviarlo automáticamente.

Si trabaja con un CRM, quizá necesite actualizar determinados campos pero no eliminar registros.

Y si utiliza documentación empresarial, debería acceder únicamente a aquella información necesaria para completar su tarea.

«La pregunta ya no es solamente qué puede hacer esta IA, sino qué le estamos permitiendo hacer».

Este principio será uno de los elementos fundamentales de cualquier estrategia empresarial basada en agentes.

El principio de mínimo privilegio también debe aplicarse a la IA

En ciberseguridad existe un concepto conocido como principio de mínimo privilegio.

Un usuario o sistema debería disponer únicamente de los permisos estrictamente necesarios para realizar su función.

Este mismo enfoque resulta especialmente útil con los agentes de inteligencia artificial.

Por ejemplo:

• Si necesita leer información, no conceder permisos de modificación.
• Si necesita crear un borrador, no permitir publicación automática.
• Si trabaja con una parte del CRM, limitar el acceso al resto del sistema.
• Si utiliza documentación interna, segmentar qué archivos puede consultar.
• Si debe ejecutar una acción sensible, exigir aprobación humana.

Cuanto menor sea la superficie de acceso del agente, menor será también el impacto potencial de un error.

Supervisión humana: no todo debe ser completamente autónomo

Uno de los grandes errores de la automatización consiste en pensar únicamente en dos opciones:

• Proceso completamente manual.
• Proceso completamente autónomo.

Entre ambos extremos existen numerosos niveles.

Un agente puede recopilar automáticamente información y dejar la decisión final a una persona.

Puede preparar una propuesta pero no enviarla.

Puede recomendar una acción pero necesitar autorización para ejecutarla.

Puede completar automáticamente tareas de bajo riesgo y solicitar confirmación cuando detecte una situación excepcional.

Este enfoque permite combinar productividad y control.

¿Qué tareas deberían requerir aprobación?

No existe una única respuesta válida para todas las empresas.

La decisión debería depender principalmente del riesgo.

Algunas acciones pueden considerarse de bajo impacto:

• Clasificar información.
• Resumir documentación.
• Preparar borradores.
• Buscar datos.
• Generar informes internos.

Otras operaciones deberían analizarse con mayor cuidado:

• Enviar comunicaciones externas.
• Modificar información importante.
• Realizar operaciones económicas.
• Eliminar datos.
• Cambiar permisos.
• Tomar decisiones relevantes sobre personas.

Cuanto mayor sea el impacto potencial, mayor debería ser el nivel de supervisión.

La trazabilidad será imprescindible

Cuando una inteligencia artificial puede ejecutar acciones, la empresa necesita saber exactamente qué ha ocurrido.

Un sistema correctamente diseñado debería permitir reconstruir cuestiones como:

• Qué acción ejecutó el agente.
• Cuándo la ejecutó.
• Qué información utilizó.
• Qué herramienta utilizó.
• Qué resultado obtuvo.
• Qué usuario autorizó la operación.

Estos registros permiten detectar errores, mejorar procesos y analizar incidentes.

También serán especialmente importantes en aplicaciones sujetas a requisitos regulatorios o de protección de datos.

Agentes de IA y ciberseguridad empiezan a converger

La llegada de agentes conectados a sistemas empresariales hace cada vez más difícil separar inteligencia artificial y ciberseguridad.

Cuando un sistema únicamente genera un texto, sus riesgos están relacionados principalmente con la calidad de la información o la privacidad.

Cuando puede utilizar herramientas reales, empiezan a intervenir otros elementos:

• Credenciales.
• Permisos.
• Autenticación.
• APIs.
• Servidores.
• Bases de datos.
• Aplicaciones empresariales.

Por eso los proyectos de agentes de IA deberían diseñarse conjuntamente con una estrategia de seguridad.

Amadeo Pérez desarrolla también esta relación entre tecnología, infraestructura y automatización en el artículo cómo automatizar con IA sin perder el control, publicado en Consultoría Informática.

La IA también aumentará las capacidades de los atacantes

La misma tecnología capaz de ayudar a una empresa también puede utilizarse con objetivos maliciosos.

Los modelos de inteligencia artificial pueden facilitar:

• Campañas de phishing más convincentes.
• Generación de contenido fraudulento.
• Automatización de determinadas tareas ofensivas.
• Análisis más rápido de información.
• Adaptación de ataques a diferentes objetivos.

Al mismo tiempo, la inteligencia artificial permitirá desarrollar mejores herramientas defensivas.

Esto provocará una carrera tecnológica en la que la IA será utilizada tanto para atacar como para detectar y responder a ataques.

Los agentes no deberían automatizar procesos que nadie entiende

Antes de implantar un agente conviene analizar el proceso empresarial.

Automatizar un procedimiento desorganizado no elimina automáticamente sus problemas.

Puede incluso amplificarlos.

Antes de comenzar un proyecto conviene responder a cuestiones como:

• ¿Cuál es el objetivo real del proceso?
• ¿Qué información necesita?
• ¿Qué aplicaciones intervienen?
• ¿Qué decisiones se toman?
• ¿Qué excepciones existen?
• ¿Qué consecuencias tendría un error?
• ¿Qué operaciones necesitan supervisión humana?

Solo después tiene sentido determinar qué parte puede delegarse en inteligencia artificial.

Agentes de IA y software a medida

Muchos proyectos de agentes necesitarán integrarse con sistemas que ya existen dentro de las empresas.

CRM.

ERP.

Bases de datos.

Aplicaciones internas.

Herramientas de soporte.

Sistemas documentales.

Por eso la evolución de la inteligencia artificial estará estrechamente relacionada con el desarrollo de software a medida.

Los agentes podrán convertirse en una capa capaz de coordinar distintas herramientas mientras el software convencional continúa gestionando datos, reglas y procesos críticos.

¿Sustituirán los agentes a los trabajadores?

Probablemente veremos una transformación importante de determinadas tareas.

Actividades repetitivas relacionadas con procesamiento de información, documentación o gestión administrativa podrán automatizarse parcialmente.

Pero muchas profesiones combinan diferentes tipos de tareas.

Algunas son fácilmente automatizables.

Otras requieren criterio, responsabilidad, negociación, creatividad o relación humana.

Por eso resulta más útil analizar qué tareas cambiarán que intentar predecir qué profesiones desaparecerán completamente.

Regulación y agentes de inteligencia artificial

La Unión Europea está desarrollando un marco regulatorio específico para la inteligencia artificial.

El nivel de exigencia dependerá fundamentalmente del riesgo asociado al sistema.

No tiene las mismas consecuencias utilizar IA para resumir un documento que permitir que un sistema tome decisiones relevantes sobre personas o interactúe con infraestructuras críticas.

A medida que los agentes ganen autonomía, las cuestiones relacionadas con responsabilidad, transparencia y control adquirirán todavía más importancia.

Consultoría de inteligencia artificial aplicada a empresas

Desde Consultora Inteligencia Artificial abordamos la implantación de IA partiendo de los procesos reales de cada organización.

El objetivo no es añadir inteligencia artificial porque sea una tecnología novedosa.

El objetivo es identificar dónde aporta valor.

Un proyecto puede incluir:

• Análisis de procesos.
• Automatización empresarial.
• Agentes de inteligencia artificial.
• Integraciones mediante APIs.
• Asistentes internos.
• Procesamiento de documentación.
• Sistemas basados en conocimiento empresarial.
• Integración con CRM y software existente.

Cada caso requiere un nivel diferente de autonomía y supervisión.

Amadeo Pérez y XTechAI

Amadeo Pérez es fundador y CEO del holding tecnológico XTechAI, que integra distintas áreas especializadas en tecnología, inteligencia artificial y desarrollo.

Puede consultarse su perfil profesional de Amadeo Pérez en XTechAI, donde se recoge su trayectoria en ingeniería de software, dirección de proyectos IT, gestión tecnológica e inteligencia artificial aplicada.

El ecosistema integra:

• Consultoría Informática.
• Consultora Inteligencia Artificial.
• Software a Medida.
• Aplicación Móvil.
• Consultoría de Marketing.

Publicación en Europa Press

La publicación ha sido distribuida además a través de distintos portales y servicios informativos asociados a Europa Press.

Los mejores agentes no serán necesariamente los más autónomos

Durante los próximos años veremos sistemas capaces de realizar tareas cada vez más complejas.

Pero la capacidad técnica no debería ser el único criterio para valorar una implantación empresarial.

Un buen agente será aquel que:

• resuelva un problema concreto;
• utilice únicamente la información necesaria;
• disponga de permisos limitados;
• registre sus acciones;
• permita supervisión;
• y pueda detenerse o revertirse cuando sea necesario.

La cuestión fundamental no será conseguir la máxima autonomía posible.

Será diseñar el nivel adecuado de autonomía para cada proceso.

Porque cuando la IA empieza a actuar, controlar qué le permitimos hacer se vuelve tan importante como su propia inteligencia.