Shadow AI es el uso o la integración no autorizados de la IA por parte de los empleados y contratistas de una organización. Shadow AI puede exponer a las organizaciones a riesgos de seguridad desconocidos.
Después de leer este artículo podrás:
Copiar el enlace del artículo
"Shadow AI" hace referencia al uso no autorizado y sin seguimiento de la inteligencia artificial (IA) por parte de los miembros de una organización. Shadow AI puede ser un problema de seguridad de IA porque amplía la superficie de ataques de la organización sin que los equipos de seguridad se den cuenta, y porque aumenta las posibilidades de una fuga de datos, en función de la información a la que puedan acceder esos modelos de IA.
Shadow AI también puede obstaculizar los objetivos estratégicos generales de una organización. El uso de herramientas de IA no optimizadas con datos internos a través de la generación aumentada por recuperación (RAG) puede generar respuestas subóptimas para el negocio. Por ejemplo, un informe generado por una herramienta de IA que carece de contexto fundamental sobre la posición de una empresa en el mercado puede ofrecer recomendaciones poco realistas o poco útiles.
Shadow AI es sumamente común. Los empleados que buscan aumentar su productividad adoptan herramientas de IA a menudo sin la aprobación, o incluso sin saber que están exponiendo a su organización a riesgos. Algunos estudios han descubierto docenas de herramientas de IA no autorizadas en uso activo incluso en empresas con sistemas fuertemente restringidos. Afortunadamente, las organizaciones pueden tomar medidas para reducir los riesgos y permitir que los empleados aprovechen estas herramientas excepcionalmente potentes.
Hay dos categorías principales de uso de Shadow AI:
El primero implica que los empleados y contratistas incorporen el uso de IA en sus flujos de trabajo habituales. Por ejemplo, un miembro del departamento de marketing podría cargar una base de datos de información de clientes potenciales a un LLM como ChatGPT y solicitar un informe, sin saber que al hacerlo podría estar violando la seguridad.
Esto último implica que los desarrolladores integren modelos de IA en aplicaciones públicas sin autorización ni supervisión adecuada, de manera similar a cuando se incorporan puntos de conexión de Shadow API en las aplicaciones. Imagina a un desarrollador que usa ChatGPT para impulsar un bot de chat oficial de la empresa sin aprobación. Si bien la propia OpenAI incorpora medidas de seguridad y de contenido en sus modelos, el bot de chat puede seguir comportándose de una manera que la organización no prevé, por ejemplo, recomendando los productos de un competidor.
Shadow IT hace referencia al uso de tecnología no autorizada o no gestionada, especialmente de aplicaciones SaaS. Shadow IT implica tanto el uso de herramientas no aprobadas como el acceso a herramientas aprobadas de manera no autorizada (por ejemplo, iniciar sesión en una herramienta de trabajo oficial a través de una cuenta personal).
Muchas herramientas de software son económicas o gratuitas, están fácilmente disponibles en Internet y resultan beneficiosas para la productividad. Por lo tanto, los empleados pueden eludir los canales oficiales si una herramienta puede ayudarlos a agilizar su trabajo, o si los largos procesos de aprobación legal les impiden adoptar las herramientas que creen necesitar.
Shadow AI es un tipo de Shadow IT, pero de rápido crecimiento, aún más atractivo para los empleados y contratistas debido a las rápidas mejoras de productividad que promete.
Hay dos riesgos principales cuando los empleados y contratistas utilizan herramientas de Shadow AI:
La totalidad de los posibles puntos de entrada disponibles para un atacante se denomina superficie de ataque. La superficie de ataques no se puede defender si los equipos de seguridad no conocen toda su extensión. Las herramientas de IA, como cualquier aplicación, tienen sus riesgos de seguridad y vulnerabilidades. Utilizarlas para procesar datos internos, o integrarlas en pilas de software y los procesos empresariales, por lo tanto, expone a la organización a esas vulnerabilidades.
Esto es menos preocupante cuando los equipos de seguridad saben cuáles son los riesgos y dónde se encuentran. Sin embargo, si se adopta una herramienta de IA sin su conocimiento, no pueden protegerla. Imagina una bóveda de un banco a la que un empleado le ha agregado una puerta trasera que se conecta directamente con su oficina, para que el empleado pueda optimizar los procesos de trabajo. Los guardias de seguridad no conocen esa puerta. Como no conocen la puerta, el equipo de seguridad no puede vigilarla ni añadir cerraduras. El uso no autorizado de cualquier tecnología, incluso las herramientas de IA, es como agregar más puertas sin protección a la bóveda de datos de la empresa, ampliando así la superficie de ataque.
La exposición de datos confidenciales es otro gran riesgo. Los datos confidenciales pueden incluir datos de propiedad intelectual, datos de clientes o datos personales de los empleados. Los empleados pueden cargar estos datos en las herramientas de IA para tareas laborales y, especialmente si las herramientas no están gestionadas, esos datos pueden estar expuestos a otros usuarios de las herramientas que no forman parte de la organización. Incluso si los datos no están expuestos directamente a otros usuarios, pueden residir en la base de datos de esa herramienta de IA, lo que puede exponer los datos si hay una fuga, exponerlos a terceros o hacer que una organización no cumpla con la normativa de seguridad de los datos y de privacidad.
Los modelos de IA se pueden integrar en la infraestructura de la aplicación a través de la API. En dicha estructura, cuando se ejecuta la aplicación principal, envía una llamada API a una herramienta de IA, que responde con el servicio o los datos solicitados. Si esta integración API no se supervisa o protege, el modelo de IA se considera un punto de conexión de Shadow AI.
Los riesgos de los puntos de conexión de Shadow AI incluyen:
Es posible que muchas organizaciones quieran permitir que sus desarrolladores experimenten con modelos de IA durante el proceso de desarrollo. Pero descubrir y proteger los puntos de conexión de Shadow AI es esencial para permitir que estos experimentos se lleven a cabo de manera segura.
La "economía de Shadow AI" es la idea de que el uso de la IA en entornos empresariales no se denuncia ni se contabiliza, ya que muchos trabajadores la utilizan sin permiso". Como resultado, el retorno de la inversión (ROI) de la adopción de la IA corporativa podría ser superior a la cifra "oficial".
Los equipos de seguridad pueden detectar el uso de herramientas de Shadow AI con métodos similares a los que se usan para detectar aplicaciones no autorizadas. Pueden supervisar el tráfico de red en la capa de aplicación con reconocimiento de aplicaciones, una capacidad que ofrecen los firewalls de última generación (NGFW) y otras herramientas de proxy de seguridad. Además, pueden supervisar las consultas de DNS mediante el filtrado de DNS para ver a qué aplicaciones acceden los empleados. Las funciones de agente de seguridad de acceso a la nube (CASB) y prevención de pérdida de datos (DLP) también ayudan a restringir el destino de los datos confidenciales. Consulta AI Security Suite para obtener más información.
Para los puntos de conexión de IA desprotegidos, la detección de Shadow AI es la opción más eficiente. AI Security for Apps de Cloudflare detecta todos los puntos de conexión de Shadow AI agregados a las aplicaciones sin el conocimiento del equipo de seguridad. Los clientes pueden obtener una visibilidad completa de cuáles LLM se están ejecutando y dónde. Más información sobre AI Security for Apps.
Shadow AI hace referencia al uso de herramientas de inteligencia artificial por parte de empleados o contratistas sin la autorización oficial o la supervisión de los equipos informáticos y de seguridad de su organización. Esta práctica es cada vez más común a medida que los trabajadores adoptan herramientas de IA accesibles para mejorar rápidamente su productividad o ampliar las capacidades de las aplicaciones accesibles desde Internet.
El uso de herramientas de IA no autorizadas genera puntos de entrada desprotegidos a los datos privados de una empresa, lo que amplía el área a la que puede apuntar un atacante. Como los equipos de seguridad desconocen estas herramientas, no pueden implementar la protección necesaria para proteger la información que se procesa.
Cuando los empleados cargan información de propiedad intelectual o datos de clientes en herramientas de IA no gestionadas, esa información puede almacenarse en una base de datos externa o compartirse inadvertidamente con otros usuarios fuera de la organización. Esta exposición puede dar lugar a incumplimientos normativos o exponer los datos si el proveedor de IA tiene una filtración.
Las herramientas de IA que no están optimizadas con los datos internos de una empresa pueden generar resultados subóptimos o poco realistas, ya que carecen de un contexto específico con respecto a la posición de mercado de la empresa.
La integración de la IA a través de API no supervisadas puede implicar riesgos de envenenamiento de modelos cuando la IA contiene datos previamente dañados, o de inyección de prompts, donde la actividad maliciosa hace que el modelo se comporte de forma inesperada. También existe el riesgo de reputación; por ejemplo, un bot de chat no gestionado podría ofrecer por error descuentos no autorizados a los clientes.