L’intelligence artificielle (IA) clandestine correspond à l’utilisation ou l'intégration non autorisée de l’IA par les employés et les sous-traitants d’une organisation. L’IA clandestine peut exposer les entreprises à des risques de sécurité inconnus.
Cet article s'articule autour des points suivants :
Copier le lien de l'article
« IA clandestine » désigne l’utilisation sans autorisation et ignorée des responsables de l’intelligence artificielle (IA) par les membres d’une organisation. L’IA clandestine peut donner lieu à des problèmes de sécurité, car elle élargit la surface d’attaque de l’entreprise sans que les équipes de sécurité ne s’en rendent compte, et elle augmente les risques de fuite de données en fonction des informations auxquelles ces modèles d’IA peuvent accéder.
L’IA clandestine peut également nuire à la réalisation des objectifs stratégiques généraux d’une entreprise. L’utilisation d’outils IA non optimisés avec les données internes via la génération augmentée par récupération (RAG) peut fournir des réponses médiocres pour l’entreprise. Par exemple, un rapport produit par un outil IA auquel il manque le contexte particulier de l'entreprise telle qu'elle est positionnée sur le marché peut proposer des recommandations irréalistes ou inutiles.
L’IA clandestine est extrêmement courante. Les collaborateurs cherchant à améliorer leur productivité ont souvent recours à des outils IA sans se soucier du fait qu'ils sont approuvés ou non, voire sans savoir qu’ils exposent leur entreprise à des risques. Certaines études ont révélé que des dizaines d’outils IA non autorisés étaient utilisés en direct, même au sein d’entreprises imposant un confinement strict. Heureusement, il existe des mesures que les organisations peuvent mettre en place pour réduire les risques, tout en permettant à leurs collaborateurs de bénéficier de la puissance unique de ces outils.
Il existe deux catégories principales d’utilisation de l’IA clandestine :
La première concerne les collaborateurs et les sous-traitants qui intègrent l’IA dans leurs flux de travail ordinaires. Par exemple, un membre du service marketing qui transfère une base de données d’informations sur les clients potentiels vers un LLM tel que ChatGPT pour en obtenir un rapport n'a pas forcément conscience de ce que cela peut constituer une violation de la sécurité.
C'est le cas lorsque des développeurs qui créent des modèles d’IA dans des applications accessibles au public sans autorisation ni surveillance appropriée, ou lorsque des points de terminaison d’API fantômes sont intégrés aux applications. Imaginez un développeur utilisant ChatGPT pour alimenter le chatbot officiel de l’entreprise sans approbation. Certes OpenAI intègre des garde-fous pour la sécurité et le contenu, toutefois, le chatbot peut toujours se comporter d’une manière que l’entreprise n’a pas anticipée, par exemple en recommandant les produits d’un concurrent.
L’informatique fantôme (Shadow IT) fait référence à l’utilisation non autorisée ou non gérée de technologies, en particulier d’applications SaaS. L’informatique fantôme (Shadow IT) implique à la fois l’utilisation d’outils non approuvés et l’accès à des outils approuvés, mais d’une manière que ne l'est pas (par exemple la connexion à un outil de travail officiel via un compte personnel).
De nombreux outils logiciels sont bon marché ou gratuits, facilement disponibles sur Internet et profitables pour la productivité. Les employés seront tentés de contourner les canaux officiels si un outil peut les aider à travailler plus rapidement ou si les longs processus d’approbation juridique les empêchent d’adopter les outils dont ils pensent avoir besoin.
L’IA clandestine est un type d’informatique fantôme (Shadow IT), en croissance rapide, d'autant plus intéressante pour les employés et les sous-traitants qu'elle promet des améliorations rapides de la productivité.
L’utilisation d’outils IA clandestine par les employés et les sous-traitants fait naître deux risques principaux :
L’ensemble des points d’entrée potentiels disponibles pour un attaquant est appelé une surface d’attaque. La surface d’attaque ne peut pas être défendue si les équipes de sécurité n’en connaissent pas toute l’étendue. Comme toutes les applications, les outils IA comportent des risques pour la sécurité et des vulnérabilités. Leur utilisation dans le traitement de données internes, ou leur intégration dans des piles logicielles et des processus opérationnels, expose donc l’organisation à ces vulnérabilités.
Cette situation n'est pas trop préoccupante lorsque les équipes de sécurité ont connaissance des risques et de leur emplacement ; cependant, si un outil IA est adopté à leur insu, elles ne peuvent pas le sécuriser. Imaginez un coffre-fort de banque avec une porte dérobée qu’un employé aurait ajoutée et qui relierait directement son bureau à la chambre forte, dans le but de simplifier les tâches liées à son travail. Les agents de sécurité ne sont pas au courant de l'existence d'une deuxième porte. L’équipe de sécurité ne peut donc ni la surveiller ni y ajouter de serrures. L’utilisation non autorisée de n’importe quelle technologie, y compris les outils IA, revient à ajouter de nouvelles portes non protégées au coffre-fort des données d’une entreprise, avec pour résultat une extension de la surface d’attaque.
L’exposition de données sensibles est l’autre risque majeur. Les données sensibles peuvent concerner la propriété intellectuelle, les données clients ou les données personnelles des collaborateurs. Les employés peuvent importer ces données dans les outils IA dans le cadre de tâches professionnelles et, surtout si ces outils ne sont pas gérés, ces données peuvent être exposées à d’autres utilisateurs des outils qui ne font pas partie de l’entreprise. Même si les données ne sont pas exposées directement à d’autres utilisateurs, elles peuvent exister dans la base de données de cet outil IA, et être exposées en cas de violation de données, être exposées à des tiers ou mettre une organisation en situation de non-conformité avec les réglementations en matière de sécurité et de confidentialité des données.
Les modèles d’IA peuvent être intégrés à l’infrastructure des applications par le biais d’une API. Dans ce type de construction, l’application principale, lorsqu’elle s’exécute, envoie un appel d’API à un outil d’IA, qui répond avec le service ou les données demandés. Si l’Intégration des API n’est pas surveillée ni sécurisée, le modèle d’IA est considéré comme un point de terminaison d’IA clandestine.
Les risques liés aux points de terminaison d’IA clandestine incluent :
De nombreuses organisations souhaitent parfois permettre à leurs développeurs d’expérimenter les modèles d’IA pendant le processus de développement. Toutefois, l’identification et la sécurisation des points de terminaison d’IA clandestine sont essentielles pour permettre à ces expériences de se dérouler en toute sécurité.
L’« économie de l’IA clandestine » exprime l’idée que l’utilisation de l’IA dans les entreprises est sous-déclarée et sous-estimée dans la mesure où un très grand nombre de collaborateurs l’utilisent sans autorisation. Par conséquent, le retour sur investissement (RSI) de l’adoption de l’IA par les entreprises pourrait être supérieur aux chiffres « officiel ».
Les équipes de sécurité peuvent tenter de détecter l’utilisation d’outils d’IA clandestine en s’appuyant sur des méthodes proches de celles appliquées pour détecter d’autres utilisations non autorisées d’applications. Elles peuvent surveiller le trafic réseau au niveau de la couche applicative avec une connaissance des applications, une capacité offerte par les pare-feu de nouvelle génération (NGFW) et d’autres outils de proxy de sécurité. Elles peuvent également surveiller les requêtes DNS à l’aide du filtrage DNS pour voir à quelles applications les employés accèdent. Les fonctionnalités Cloud Access Security Broker (CASB) et la prévention des pertes de données (DLP) peuvent également contribuer à restreindre les destinations des données sensibles. Découvrez AI Security Suite pour en savoir plus.
Pour les points de terminaison d’IA non protégés, la détection de l’IA clandestine constitue l’option la plus efficace. L’AI Security for Apps de Cloudflare détecte tous les points de terminaison d’IA clandestine ajoutés aux applications à l’insu de l’équipe de sécurité. Les clients peuvent ainsi disposer d’une visibilité complète sur les LLM en cours d’exécution et sur leur emplacement. En savoir plus sur AI Security for Apps.
Le terme d’IA clandestine désigne l’utilisation d’outils d’intelligence artificielle par des employés ou des sous-traitants sans autorisation officielle ni supervision des équipes informatiques et de sécurité de leur entreprise. Cette pratique est de plus en plus courante car les employés adoptent des outils IA accessibles pour améliorer rapidement leur productivité ou étendre les fonctionnalités des applications accessibles au public.
L’utilisation d’outils d’IA non approuvés crée des points d’entrée non protégés vers les données privées d’une entreprise, ce qui élargit la zone totale qu’un acteur malveillant peut cibler. Les équipes de sécurité n’étant pas informées de l’existence de ces outils, elles ne peuvent pas mettre en œuvre les mesures de défense nécessaires pour protéger les informations traitées.
Lorsque les employés importent de la propriété intellectuelle ou des données clients vers des outils d’IA non gérés, ces informations peuvent être stockées dans une base de données externe ou transmises par inadvertance à d’autres utilisateurs extérieurs à l’entreprise. Une telle exposition peut entraîner des infractions aux réglementations ou laisser les données vulnérables si le fournisseur d’IA est victime d’une infraction.
Les outils d’IA qui ne sont pas optimisés avec les données internes d’une entreprise peuvent produire des résultats médiocres ou irréalistes dans la mesure où ils n'ont pas connaissance du contexte spécifique concernant la position de l’entreprise sur le marché.
L’intégration de l’IA par le biais d’API non surveillées peut entraîner des risques d’empoisonnement du modèle lorsque l’IA contient des données précédemment corrompues, ou encore des risques d’injection d’invites qui consiste pour une activité malveillante à provoquer un comportement inattendu du modèle. Il existe également un risque pour la réputation ; par exemple, un chatbot non contrôlé peut proposer par erreur des remises non autorisées à des clients.