A inteligência artificial (IA) não autorizada é o uso ou a integração não autorizada da IA por funcionários e prestadores de serviços em uma organização. A IA não autorizada pode expor as organizações a riscos de segurança desconhecidos.
Após ler este artigo, você será capaz de:
Copiar o link do artigo
"IA não autorizada" se refere ao uso não autorizado e não monitorado da inteligência artificial (IA) por membros de uma organização. A IA não autorizada pode ser um problema de segurança de IA porque expande a superfície de ataque da organização sem que as equipes de segurança estejam cientes e porque aumenta as chances de um vazamento de dados, dependendo de quais informações esses modelos de IA podem acessar.
A IA não autorizada também pode prejudicar os objetivos estratégicos gerais de uma organização. O uso de ferramentas de IA não otimizadas com dados internos por meio da geração aumentada de recuperação (RAG) pode fornecer respostas abaixo do ideal para a empresa. Por exemplo, um relatório produzido por uma ferramenta de IA que carece de contexto essencial sobre a posição de uma empresa no mercado pode fornecer recomendações irrealistas ou inúteis.
A IA não autorizada é extremamente comum. Os funcionários que buscam aumentar sua produtividade adotam ferramentas de IA muitas vezes sem levar em conta sua aprovação, ou mesmo sabendo que estão expondo sua organização a riscos. Alguns estudos encontraram dezenas de ferramentas de IA não autorizadas em uso, mesmo em empresas com sistemas de segurança rigorosos. Felizmente, há medidas que as organizações podem adotar para reduzir os riscos e, ao mesmo tempo, permitir que os funcionários aproveitem essas ferramentas excepcionalmente poderosas.
Há duas categorias principais de uso de IA não autorizada:
A primeira envolve funcionários e prestadores de serviços que incorporam o uso da IA em seus fluxos de trabalho comuns. Por exemplo, um membro do departamento de marketing pode fazer o upload de um banco de dados de informações de clientes em potencial em um LLM como o ChatGPT e solicitar um relatório, sem saber que isso pode constituir uma violação de segurança.
A segunda envolve desenvolvedores que criam modelos de IA em aplicativos voltados para o público sem autorização ou supervisão adequada, semelhante a quando endpoints de APIs ocultas são integrados a aplicativos. Imagine um desenvolvedor usando o ChatGPT para alimentar um chatbot oficial da empresa sem aprovação. Embora a própria OpenAI incorpore proteções de segurança e conteúdo em seus modelos, o chatbot ainda pode se comportar de maneiras que a organização não prevê, como recomendar produtos de um concorrente.
TI invisível se refere ao uso de tecnologia não sancionada ou não gerenciada, especialmente de aplicativos SaaS. A TI invisível envolve tanto o uso de ferramentas não aprovadas quanto o acesso a ferramentas aprovadas de maneira não aprovada (por exemplo, fazer login em uma ferramenta de trabalho oficial por meio de uma conta pessoal).
Muitas ferramentas de software são baratas ou gratuitas, prontamente disponíveis na internet e benéficas para a produtividade. Assim, os funcionários podem evitar os canais oficiais se uma ferramenta puder ajudá-los a trabalhar mais rapidamente ou se longos processos de aprovação legal os impedirem de adotar as ferramentas que consideram necessárias.
A IA não autorizada é um tipo de TI invisível, mas em rápido crescimento, ainda mais atraente para funcionários e prestadores de serviços devido aos rápidos aumentos de produtividade que promete.
Existem dois riscos principais quando funcionários e prestadores de serviços usam ferramentas de IA não autorizada:
A totalidade dos possíveis pontos de entrada disponíveis para um invasor é chamada de superfície de ataque. A superfície de ataque não pode ser defendida se as equipes de segurança não conhecerem toda a sua extensão. As ferramentas de IA, como qualquer aplicativo, têm seus riscos e vulnerabilidades de segurança. Usá-las para processar dados internos ou integrá-las em pilhas de software e processos de negócios, portanto, expõe a organização a essas vulnerabilidades.
Isso é menos preocupante quando as equipes de segurança sabem quais são os riscos e onde eles estão localizados. No entanto, se uma ferramenta de IA for adotada sem seu conhecimento, não será possível protegê-la. Imagine um cofre de banco com uma porta dos fundos adicionada por um funcionário, que conecta diretamente o escritório dele ao cofre, para que ele possa agilizar os processos de trabalho. Os seguranças não sabem sobre a segunda porta. Como não conhecem a porta, a equipe de segurança não pode protegê-la nem adicionar fechaduras. O uso não autorizado de qualquer tecnologia, incluindo ferramentas de IA, é como adicionar mais portas desprotegidas ao cofre de dados da empresa, expandindo a superfície de ataque.
Exposição de dados sensíveis é o outro grande risco. Os dados sensíveis podem incluir propriedade intelectual, dados de clientes ou dados pessoais de funcionários. Os funcionários podem fazer upload desses dados em ferramentas de IA para tarefas de trabalho e, especialmente se as ferramentas não forem gerenciadas, esses dados podem ser expostos a outros usuários das ferramentas que não fazem parte da organização. Mesmo que os dados não sejam expostos diretamente a outros usuários, eles podem residir no banco de dados dessa ferramenta de IA, que pode expor os dados se houver uma violação de dados, expô-los a partes externas ou colocar uma organização fora de conformidade com a segurança de dados e regulamentos de privacidade.
Os modelos de IA podem ser integrados à infraestrutura de aplicativos por meio de API. Em tal construção, o aplicativo principal, quando executado, envia uma chamada de API para uma ferramenta de IA, que responde com o serviço ou os dados solicitados. Se essa integração de APIs não for monitorada ou protegida, o modelo de IA é considerado um endpoint de IA não autorizada.
Os riscos de endpoints de IA não autorizada incluem:
Muitas organizações podem querer permitir que seus desenvolvedores experimentem modelos de IA durante o processo de desenvolvimento. Mas descobrir e proteger os endpoints de IA não autorizada é essencial para permitir que esses experimentos prossigam com segurança.
A "economia da IA não autorizada" é a ideia de que o uso da IA em ambientes empresariais é subnotificado e subestimado, uma vez que muitos trabalhadores a utilizam sem permissão. Como resultado, o retorno sobre o investimento (ROI) da adoção da IA corporativa pode ser maior do que o número "oficial".
As equipes de segurança podem tentar detectar o uso de ferramentas de IA não autorizada com métodos semelhantes aos usados para detectar o uso de outros aplicativos não autorizados. Elas podem monitorar o tráfego da rede na camada de aplicação com reconhecimento de aplicativos, uma capacidade oferecida por firewalls de próxima geração (NGFWs) e outras ferramentas de proxy de segurança. E eles podem monitorar as consultas de DNS usando a filtragem de DNS para ver quais aplicativos os funcionários estão acessando. Os recursos do agente de segurança de acesso à nuvem (CASB) e da prevenção contra perda de dados (DLP) também ajudam a restringir para onde os dados sensíveis podem ir. Consulte AI Security Suite para saber mais.
Para endpoints de IA desprotegidos, a detecção de IA não autorizada é a opção mais eficiente. O AI Security for Apps da Cloudflare detecta todos os endpoints de IA não autorizada adicionados a aplicativos sem o conhecimento da equipe de segurança. Os clientes podem obter visibilidade completa de quais LLMs estão sendo executados e onde. Saiba mais sobre o AI Security for Apps.
A IA não autorizada se refere ao uso de ferramentas de inteligência artificial por funcionários ou prestadores de serviços sem a autorização ou supervisão oficial das equipes de TI e segurança de sua organização. Essa prática é cada vez mais comum à medida que os trabalhadores adotam ferramentas de IA acessíveis para melhorar rapidamente sua produtividade ou ampliar os recursos de aplicativos voltados para o público.
O uso de ferramentas de IA não autorizadas cria pontos de entrada desprotegidos para os dados privados de uma empresa, o que expande a área total que um invasor pode visar. Como as equipes de segurança não têm conhecimento dessas ferramentas, elas não conseguem implementar as defesas necessárias para proteger as informações que estão sendo processadas.
Quando os funcionários fazem upload de propriedade intelectual ou dados de clientes em ferramentas de IA não gerenciadas, essas informações podem ser armazenadas em um banco de dados externo ou inadvertidamente compartilhadas com outros usuários fora da organização. Essa exposição pode resultar em violações de conformidade regulatória ou deixar os dados vulneráveis se o provedor de IA sofrer uma violação.
Ferramentas de IA que não são otimizadas com os dados internos de uma empresa podem produzir resultados abaixo do ideal ou irrealistas porque lhes falta um contexto específico em relação à posição da empresa no mercado.
A integração da IA por meio de APIs não monitoradas pode levar a riscos de envenenamento de modelo, quando a IA contém dados corrompidos anteriormente, ou injeção de prompts, em que a atividade maliciosa faz com que o modelo se comporte de forma inesperada. Há também o risco para a reputação. Por exemplo, um chatbot não controlado pode oferecer, por engano, descontos não autorizados aos clientes.