Empresa de Abu Dhabi estuda problemas de segurança relacionados às ações de agentes de inteligência artificial em nome dos usuários
Leia mais
Khaleej Times
www.khaleejtimes.com

Empresa de Abu Dhabi estuda problemas de segurança relacionados às ações de agentes de inteligência artificial em nome dos usuários

Ao longo de muitos anos, quando surgia um problema em um sistema de computador, os investigadores podiam começar com uma pergunta simples: qual conta foi usada? Essa tarefa se torna mais complexa quando não há mais apenas uma pessoa por trás da conta.

Agentes de IA estão cada vez mais sendo concedidos permissões para ler e-mails, pesquisar arquivos da empresa, ligar para outros programas e executar tarefas multifásicas em nome de funcionários ou organizações. Embora as credenciais possam ser legítimas e o agente possa estar autorizado a fazer login, se ele realizar uma ação inesperada, torna-se surpreendentemente difícil determinar exatamente quem e o que autorizou, e onde exatamente esse poder termina.

Zhen Li, cofundador e vice-presidente do grupo de IA sediado em Abu Dhabi, a ANSEN, observou: «O próximo grande incidente de segurança de IA pode ocorrer quando um agente autorizado tomar uma decisão incorreta usando credenciais corretas». Ele acrescentou: «A cibersegurança tradicional pergunta se um usuário, arquivo ou processo é malicioso. Na era dos agentes de IA, as organizações também devem perguntar: devemos permitir que essa IA execute esta ação específica?»

Essa questão está começando a sair de uma discussão restrita de cibersegurança para um problema mais amplo para empresas que implementam agentes. Em agosto, o Instituto Nacional de Padrões e Tecnologia dos EUA (NIST) alertou que o lançamento precoce de agentes repetia um antigo erro de segurança: o compartilhamento de credenciais.

Pessoas e empresas permitiam que os agentes operassem através de contas de usuário existentes ou tokens de acesso de longo prazo porque era uma maneira simples de conectá-los a e-mails, dados e aplicativos de negócios. O problema reside na responsabilidade. Se a IA usa a conta de um funcionário para abrir um banco de dados, modificar um arquivo e depois chamar outro sistema, os logs podem simplesmente mostrar que essas ações foram executadas usando as credenciais do funcionário. Isso nem sempre revela quais ações foram solicitadas pela pessoa, quais foram escolhidas pelo agente ou se algum outro programa esteve envolvido no processo.

O NIST afirma que os agentes devem ser vistos cada vez mais como «entidades de primeira classe», com seus próprios identificadores, credenciais e permissões vinculadas à pessoa ou sistema que os autorizou. A Microsoft está seguindo a mesma direção. Seu guia de segurança recomenda atribuir uma identidade dedicada a cada agente, restringir rigorosamente seu acesso e registrar toda a cadeia de ações para que a organização possa responder posteriormente a três perguntas básicas: o que aconteceu, sob qual autoridade e o que mudou.

Essa distinção soa tecnicamente, mas a ideia é familiar. Uma empresa geralmente não fornece ao pessoal todos os logins do CEO, confiando na confiança para determinar quem fez o quê. Diferentes pessoas recebem contas e permissões diferentes. Como os agentes de IA começam a trabalhar lado a lado com as pessoas, os pesquisadores de segurança afirmam cada vez mais que o software deve ter um rastro de identificação claro semelhante.

A identificação por si só não é suficiente para resolver todos os problemas. Um agente pode ter sua própria conta, mas ainda assim pode ter sido concedido muitos privilégios. Por exemplo, ele pode ter permissão para resumir um alerta de segurança, mas o mesmo agente também deve ter a capacidade de desativar uma conta ou parar um serviço sem verificação adicional?

Li acredita que o nível de controle deve ser determinado pelas consequências da ação. Ele afirmou: «Um sistema de IA pode ser permitido resumir automaticamente um alerta, mas bloquear um serviço crítico, alterar uma política de segurança ou iniciar uma resposta no mundo real deve permanecer regulamentado». Isso está se tornando um problema industrial mais amplo. A Microsoft adverte que os agentes podem acumular amplas permissões à medida que suas tarefas se expandem, especialmente quando um único sistema está conectado simultaneamente a e-mail, arquivos, ferramentas de solicitação e bancos de dados da empresa. Permissões que parecem inofensivas individualmente podem se tornar significativamente mais poderosas em combinação.

O Open Worldwide Application Security Project também apresentou o Padrão de Gerenciamento de Agentes este mês, pedindo que os agentes de IA sejam auditáveis e rastreáveis, incluindo a visibilidade do que eles podem acessar, o que fizeram e como seu comportamento pode ser limitado durante a operação.

Portanto, o novo modelo de segurança vai além da questão de se a IA tem permissão para entrar no sistema. Ele também pergunta o que o agente tem permissão para fazer após o login, por quanto tempo essa permissão dura e se suas ações podem ser recuperadas posteriormente.

Essas questões são particularmente importantes nos Emirados Árabes Unidos, pois a IA de agente começa a penetrar nas operações governamentais. O governo federal visa a transição de 50% dos setores, serviços e operações governamentais para IA de agente em dois anos, incluindo sistemas destinados à execução e tomada de decisões autônomas. Em junho, mais de 300 participantes de 50 agências federais começaram a mapear serviços e operações para potencial implantação.

Isso não significa que os sistemas de IA terão poder ilimitado sobre os serviços públicos. Significa que a identificação, as permissões e os trilhas de auditoria devem ser projetados cada vez mais à medida que esses sistemas são amplamente implantados. Li afirma que isso também deve fazer parte da discussão dos EAU sobre IA soberana. Ele disse que o controle não é completo se a organização não puder ver o que a IA está fazendo, restringir o acesso a algo ou intervir antes que ela tome uma ação de alto risco.

O desafio é manter as razões pelas quais os agentes são atraentes em primeiro lugar. Exigir a aprovação humana de cada pequena ação eliminaria grande parte da velocidade e automação que eles prometem. Permitir que o agente aja livremente demais cria o problema oposto. Li enfatizou: «Controle humano não significa que o humano deve executar cada passo manualmente. A IA lida com volume e velocidade. Os humanos fornecem o julgamento».

À medida que os agentes de IA se tornam mais capazes, a questão pode não ser se eles podem fazer login, mas se alguém poderá responder a uma pergunta muito humana após milhares de ações automatizadas: quem fez o quê e quem é responsável pelo que aconteceu?

Histórias semelhantes

Ministro dos Emirados Árabes Unidos diz que foco excessivo na regulamentação da IA pode ofuscar seus benefícios práticos
Leia mais
www.khaleejtimes.com

Ministro dos Emirados Árabes Unidos diz que foco excessivo na regulamentação da IA pode ofuscar seus benefícios práticos

O Ministro dos Emirados Árabes Unidos para Assuntos de Inteligência Artificial, Economia Digital e Aplicações de Trabalho Remoto, Omar Sultan Al Olama, observou que o país busca oferecer acesso antecipado a tecnologias avançadas para empresas e indivíduos, ao mesmo tempo em que garante a manutenção do controle sobre dados confidenciais. Isso ocorre no âmbito dos esforços dos EAU para acelerar a implementação da inteligência artificial em todos os setores da economia.

Ao discursar no evento ForsaTEK em Dubai na segunda-feira, Omar enfatizou que a abordagem dos EAU não se concentra em nenhuma empresa de tecnologia ou parceria grande específica. Em vez disso, o país está trabalhando para criar um ecossistema que forneça às organizações acesso a novas tecnologias e ajude a implementá-las com segurança.

Ele acrescentou que uma série de anúncios relacionados à tecnologia são esperados nos próximos meses, à medida que os EAU fortalecem sua posição como um destino atraente para pessoas e organizações interessadas em acesso a tecnologias avançadas. Esses comentários foram feitos em meio a discussões globais entre governos e empresas sobre como regulamentar a IA sem desacelerar a inovação devido à incerteza regulatória.

Omar acredita que a discussão sobre IA deve ir além da regulamentação e mudar o foco para a demonstração dos benefícios reais dessa tecnologia para as pessoas. Ele também alertou que um foco excessivo na regulamentação às vezes pode obscurecer as vantagens práticas da IA. Além disso, as pessoas que temem a inteligência artificial podem estar usando tecnologias algorítmicas diariamente sem perceber a profundidade da integração da IA em suas vidas.

Segundo ele, a tarefa é educar as pessoas para que se tornem 'donas da tecnologia', e não aquelas que ela substitui ou suprime. A discussão também destacou a importância da tecnologia em setores como aviação, onde a conectividade internacional exige que companhias aéreas e aeroportos dependam de sistemas, infraestrutura e estruturas regulatórias que operam através das fronteiras.

Para organizações estabelecidas, como a Emirates, Omar afirmou que a inovação deve ser combinada com a responsabilidade associada à gestão de grandes marcas e serviços. Ele aconselhou: 'Não pare de inovar. Assuma riscos ponderados. Não assuma apenas riscos'.

Omar observou que as organizações reconhecidas enfrentam um desafio especial, pois construíram uma reputação que não pode ser colocada em risco desnecessariamente. Em vez de avaliar as tecnologias apenas por métricas de negócios tradicionais, como receita por funcionário, as organizações devem considerar como a tecnologia pode melhorar a experiência das pessoas que elas atendem. No setor de aviação, isso significa estudar como a tecnologia pode ajudar companhias aéreas, aeroportos, alfândega, serviços de imigração e outros elementos do ecossistema a atenderem um número crescente de viajantes sem a necessidade de expandir infraestrutura e pessoal na mesma velocidade.

Omar enfatizou que a tecnologia será crucial para escalar a experiência do passageiro nos EAU, especialmente considerando a geografia do país e as capacidades de sua infraestrutura aeroportuária. Além disso, ele destacou que o uso mais amplo da IA não implica a exclusão total de pessoas dos serviços. Embora a IA possa executar tarefas rotineiras de forma eficiente, viajantes e clientes ainda valorizam a interação humana em certas situações.

Ele citou a educação como exemplo, observando que a expectativa precoce de transformação completa da educação por modelos de linguagem grandes evidenciou a importância da interação humana, incluindo inteligência social e emocional. O mesmo princípio se aplica a aeroportos e outros ambientes orientados para o cliente, onde a tecnologia deve complementar o atendimento humano, e não substituí-lo. Omar declarou: 'Você não quer substituir todo o aeroporto por robôs e IA'. Em vez disso, a tecnologia deve definir os locais onde a interação humana agrega valor e garantir a participação humana onde for necessário.

Em conclusão, Omar informou que os EAU colaboram com vários parceiros de tecnologia, e a estratégia do país vai além de uma única parceria com uma grande empresa de tecnologia global. O objetivo mais amplo é dar aos EAU uma vantagem na atração de pessoas e organizações que podem escolher trabalhar em qualquer lugar do mundo. Essa vantagem incluirá qualidade de vida, bem como acesso antecipado a novas tecnologias de uma forma que não exija que as organizações renunciem ao controle sobre dados confidenciais.

Especialista em tecnologia explica os riscos da IA e recomendações para residentes dos Emirados Árabes Unidos diante das preocupações setoriais
Leia mais
www.khaleejtimes.com

Especialista em tecnologia explica os riscos da IA e recomendações para residentes dos Emirados Árabes Unidos diante das preocupações setoriais

Alertas sérios sobre inteligência artificial agora vêm não apenas de críticos externos à indústria, mas também dos próprios desenvolvedores dessa tecnologia. Dario Amodei, diretor da Anthropic, alertou que o desenvolvimento de IA avançada talvez deva desacelerar, pois os sistemas de segurança e supervisão independente precisam de tempo para acompanhar o ritmo do desenvolvimento.

Outras figuras influentes, como Sam Altman (CEO da OpenAI), Demis Hassabis (CEO da DeepMind) e Elon Musk, também defendem o fortalecimento das medidas de proteção em torno dos sistemas cada vez mais capazes. Ao mesmo tempo, pesquisadores atuais e antigos de IA estão emitindo avisos cada vez mais severos sobre as possíveis consequências, à medida que os modelos se tornam mais autônomos.

Algumas declarações podem parecer exageradas. Alguns pesquisadores discutem sistemas que no futuro poderão se aprimorar sozinhos, funcionar com menor participação humana ou se tornar difíceis de controlar. Outros estão preocupados com os riscos já visíveis hoje, incluindo cibercrime com IA e agentes capazes de escrever código, usar ferramentas e executar tarefas multifásicas. Para o público em geral, todas essas preocupações se resumem à frase alarmante: risco de IA.

Alguns perigos já afetam residentes e empresas, enquanto outros surgem na vanguarda do desenvolvimento de IA. Os cenários mais graves permanecem hipotéticos. Essa distinção é muito importante nos Emirados Árabes Unidos, onde a inteligência artificial está sendo rapidamente implementada no setor público, nos negócios e na vida cotidiana.

A cibersegurança demonstra um dos exemplos mais claros de como o risco de IA se manifesta atualmente. Yassin Watlal, diretor sênior de engenharia de sistemas da CrowdStrike para Oriente Médio, Turquia e África, informou ao Khaleej Times que a IA já facilitou a realização de certos tipos de cibercrimes. Ele observou que 'a IA reduziu a barreira de entrada para muitos agressores', acrescentando que atores menos sofisticados agora podem fazer o que antes era inacessível ou exigiria muito tempo.

Isso não significa necessariamente que os criminosos estão inventando ataques totalmente novos. Em muitos casos, a IA apenas acelera e torna mais convincentes métodos antigos. Mensagens de phishing podem ser escritas em uma linguagem de melhor qualidade e adaptadas a uma pessoa ou país específico. A voz pode ser usada para imitar uma identidade, e o malware pode ser produzido mais rapidamente. As etapas após o acesso do invasor também podem ocorrer muito mais rapidamente.

Ao mesmo tempo, os invasores raramente precisam invadir sistemas se puderem roubar as credenciais de alguém que já tem permissão de acesso. Watlal enfatizou: 'Eles querem entrar no sistema, não invadi-lo'. De acordo com a CrowdStrike, o tempo médio que os cibercriminosos gastam desde a violação inicial até outras partes da organização diminuiu para 29 minutos em 2025, sendo o caso mais rápido registrado de apenas 27 segundos.

Para a equipe de segurança, essa redução de tempo é crucial. Um ataque pode começar a se espalhar pela rede antes que uma pessoa consiga investigar um primeiro alerta suspeito. Watlal explicou que a IA é usada por ambos os lados: os atacantes automatizam partes de suas operações, mas os defensores também estão cada vez mais dependendo da IA para investigar alertas e responder com velocidade semelhante.

Esta é uma das razões pelas quais os especialistas alertam contra considerar a segurança da IA apenas como um problema futuro relacionado a uma superinteligência hipotética. Alguns efeitos já são mensuráveis. O próximo nível de preocupação é mais difícil de ver. A maioria das pessoas teve seu primeiro contato com a IA generativa através de um chatbot: o usuário inseria uma solicitação, o modelo fornecia uma resposta e a interação terminava. No entanto, a indústria está dedicando cada vez mais atenção aos agentes.

Em vez de apenas dar uma resposta, um agente de IA pode receber um objetivo e ser autorizado a tomar várias etapas para alcançá-lo. Dependendo do sistema, isso pode incluir escrever código, procurar informações, chamar outro software, analisar arquivos ou realizar ações usando ferramentas externas. Isso gera um problema de segurança diferente. Um chatbot pode fornecer uma resposta incorreta, e isso acaba aí. Um agente, no entanto, pode potencialmente transformar uma decisão errônea em uma ação real.

Essa ambição não significa que a IA começará subitamente a tomar todas as decisões governamentais sozinha. Mas torna as questões sobre permissões, controle humano e segurança do sistema muito menos teóricas. Surgem questões práticas: a que um agente pode ter acesso? Que ações ele pode realizar sem solicitação humana? O que acontece se ele interpretar mal a tarefa? Quão rápido um humano pode pará-lo?

Essas questões estão se tornando cada vez mais relevantes para as empresas. Watlal afirmou que os negócios precisam pensar não apenas em proteger-se contra criminosos que usam IA, mas também em proteger seus próprios sistemas de IA implantados. Ele aconselhou: 'O que podemos delegar com segurança à IA e depois colocar restrições ao redor dela?' Isso se torna criticamente importante à medida que os sistemas de IA se conectam a dados corporativos, ferramentas internas e fluxos de trabalho automatizados.

Alguns pesquisadores de IA avançada estão preocupados com um futuro em que os sistemas se tornarão competentes o suficiente para contribuir significativamente para o desenvolvimento de seus sucessores. A IA já ajuda engenheiros a escrever código, analisar pesquisas e realizar parte do trabalho de criação de novos modelos. No entanto, a preocupação surge com o que acontecerá se essa ajuda se tornar significativamente mais autônoma e os sistemas começarem a acelerar o desenvolvimento de sistemas ainda mais poderosos. É aqui que começam os debates sobre autoaperfeiçoamento recursivo, superinteligência e perda de controle humano. Não há consenso científico sobre se esse processo ocorrerá, quando pode ocorrer ou se os futuros sistemas de IA se comportarão de forma catastrófica, como alguns pesquisadores temem.

É essa incerteza que divide a indústria. Um lado afirma que as consequências potenciais podem ser tão graves que esperar por provas será muito demorado. O outro lado adverte contra a desaceleração da tecnologia com enorme potencial econômico e científico devido a cenários que permanecem especulativos. Mesmo entre aqueles que concordam com a necessidade de medidas de proteção mais robustas, existem divergências sobre quão longe se deve ir.

Os apelos para 'desacelerar' o desenvolvimento de IA geralmente não significam desligar os sistemas existentes ou pedir às pessoas para parar de usá-los. As propostas discutidas incluem avaliações independentes mais rigorosas, aumento dos intervalos entre grandes saltos de capacidade, melhor testes antes do lançamento e maior coordenação entre laboratórios de ponta e regras mais claras sobre o que os sistemas altamente capazes podem fazer.

Para a maioria dos residentes, a reação imediata é muito menos dramática do que sugerem os alertas sobre o futuro da IA. As pessoas não precisam parar de usar a IA apenas porque os pesquisadores estão discutindo riscos de longo prazo. No entanto, os riscos atuais merecem atenção justamente porque são menos espetaculares. Fraudes com IA, imitação de identidade e ataques cibernéticos estão acontecendo agora. Watlal recomenda ativar a autenticação multifator em contas pessoais, verificar solicitações inesperadas por outro canal e hesitar antes de aprovar um login ou clicar em um link. Ele observa: 'Na vida, tudo acontece tão rápido que muitas vezes reagimos a algo sobre o qual depois nos arrependemos, ou aprovamos algo do qual depois nos arrependemos.'

Para os negócios, o problema vai além. Empresas que implementam agentes de IA precisam definir a que tipo de informação esses sistemas podem ter acesso, quais ações podem realizar e onde o humano deve permanecer. Watlal acredita que o papel humano permanece fundamental, especialmente em termos de julgamento, contexto e responsabilidade. Assim, o debate mais amplo sobre IA pode ser dividido em duas questões. A primeira já está aqui: como as pessoas podem se proteger de criminosos e organizações que usam IA cada vez mais capaz hoje? A segunda é muito mais complexa: que grau de independência a sociedade deve, em última análise, conceder aos próprios sistemas de IA? Os criadores desta tecnologia não chegaram a um consenso, mas mudou o fato de que alguns deles passam a acreditar cada vez mais que a sociedade deve começar a fazer essa pergunta antes do surgimento dos sistemas mais poderosos.

Popular