Ao longo de muitos anos, quando surgia um problema em um sistema de computador, os investigadores podiam começar com uma pergunta simples: qual conta foi usada? Essa tarefa se torna mais complexa quando não há mais apenas uma pessoa por trás da conta.
Agentes de IA estão cada vez mais sendo concedidos permissões para ler e-mails, pesquisar arquivos da empresa, ligar para outros programas e executar tarefas multifásicas em nome de funcionários ou organizações. Embora as credenciais possam ser legítimas e o agente possa estar autorizado a fazer login, se ele realizar uma ação inesperada, torna-se surpreendentemente difícil determinar exatamente quem e o que autorizou, e onde exatamente esse poder termina.
Zhen Li, cofundador e vice-presidente do grupo de IA sediado em Abu Dhabi, a ANSEN, observou: «O próximo grande incidente de segurança de IA pode ocorrer quando um agente autorizado tomar uma decisão incorreta usando credenciais corretas». Ele acrescentou: «A cibersegurança tradicional pergunta se um usuário, arquivo ou processo é malicioso. Na era dos agentes de IA, as organizações também devem perguntar: devemos permitir que essa IA execute esta ação específica?»
Essa questão está começando a sair de uma discussão restrita de cibersegurança para um problema mais amplo para empresas que implementam agentes. Em agosto, o Instituto Nacional de Padrões e Tecnologia dos EUA (NIST) alertou que o lançamento precoce de agentes repetia um antigo erro de segurança: o compartilhamento de credenciais.
Pessoas e empresas permitiam que os agentes operassem através de contas de usuário existentes ou tokens de acesso de longo prazo porque era uma maneira simples de conectá-los a e-mails, dados e aplicativos de negócios. O problema reside na responsabilidade. Se a IA usa a conta de um funcionário para abrir um banco de dados, modificar um arquivo e depois chamar outro sistema, os logs podem simplesmente mostrar que essas ações foram executadas usando as credenciais do funcionário. Isso nem sempre revela quais ações foram solicitadas pela pessoa, quais foram escolhidas pelo agente ou se algum outro programa esteve envolvido no processo.
O NIST afirma que os agentes devem ser vistos cada vez mais como «entidades de primeira classe», com seus próprios identificadores, credenciais e permissões vinculadas à pessoa ou sistema que os autorizou. A Microsoft está seguindo a mesma direção. Seu guia de segurança recomenda atribuir uma identidade dedicada a cada agente, restringir rigorosamente seu acesso e registrar toda a cadeia de ações para que a organização possa responder posteriormente a três perguntas básicas: o que aconteceu, sob qual autoridade e o que mudou.
Essa distinção soa tecnicamente, mas a ideia é familiar. Uma empresa geralmente não fornece ao pessoal todos os logins do CEO, confiando na confiança para determinar quem fez o quê. Diferentes pessoas recebem contas e permissões diferentes. Como os agentes de IA começam a trabalhar lado a lado com as pessoas, os pesquisadores de segurança afirmam cada vez mais que o software deve ter um rastro de identificação claro semelhante.
A identificação por si só não é suficiente para resolver todos os problemas. Um agente pode ter sua própria conta, mas ainda assim pode ter sido concedido muitos privilégios. Por exemplo, ele pode ter permissão para resumir um alerta de segurança, mas o mesmo agente também deve ter a capacidade de desativar uma conta ou parar um serviço sem verificação adicional?
Li acredita que o nível de controle deve ser determinado pelas consequências da ação. Ele afirmou: «Um sistema de IA pode ser permitido resumir automaticamente um alerta, mas bloquear um serviço crítico, alterar uma política de segurança ou iniciar uma resposta no mundo real deve permanecer regulamentado». Isso está se tornando um problema industrial mais amplo. A Microsoft adverte que os agentes podem acumular amplas permissões à medida que suas tarefas se expandem, especialmente quando um único sistema está conectado simultaneamente a e-mail, arquivos, ferramentas de solicitação e bancos de dados da empresa. Permissões que parecem inofensivas individualmente podem se tornar significativamente mais poderosas em combinação.
O Open Worldwide Application Security Project também apresentou o Padrão de Gerenciamento de Agentes este mês, pedindo que os agentes de IA sejam auditáveis e rastreáveis, incluindo a visibilidade do que eles podem acessar, o que fizeram e como seu comportamento pode ser limitado durante a operação.
Portanto, o novo modelo de segurança vai além da questão de se a IA tem permissão para entrar no sistema. Ele também pergunta o que o agente tem permissão para fazer após o login, por quanto tempo essa permissão dura e se suas ações podem ser recuperadas posteriormente.
Essas questões são particularmente importantes nos Emirados Árabes Unidos, pois a IA de agente começa a penetrar nas operações governamentais. O governo federal visa a transição de 50% dos setores, serviços e operações governamentais para IA de agente em dois anos, incluindo sistemas destinados à execução e tomada de decisões autônomas. Em junho, mais de 300 participantes de 50 agências federais começaram a mapear serviços e operações para potencial implantação.
Isso não significa que os sistemas de IA terão poder ilimitado sobre os serviços públicos. Significa que a identificação, as permissões e os trilhas de auditoria devem ser projetados cada vez mais à medida que esses sistemas são amplamente implantados. Li afirma que isso também deve fazer parte da discussão dos EAU sobre IA soberana. Ele disse que o controle não é completo se a organização não puder ver o que a IA está fazendo, restringir o acesso a algo ou intervir antes que ela tome uma ação de alto risco.
O desafio é manter as razões pelas quais os agentes são atraentes em primeiro lugar. Exigir a aprovação humana de cada pequena ação eliminaria grande parte da velocidade e automação que eles prometem. Permitir que o agente aja livremente demais cria o problema oposto. Li enfatizou: «Controle humano não significa que o humano deve executar cada passo manualmente. A IA lida com volume e velocidade. Os humanos fornecem o julgamento».
À medida que os agentes de IA se tornam mais capazes, a questão pode não ser se eles podem fazer login, mas se alguém poderá responder a uma pergunta muito humana após milhares de ações automatizadas: quem fez o quê e quem é responsável pelo que aconteceu?
