Sistemas autônomos de IA desafiam marcos regulatórios ao avançar para ambientes físicos
A Autoridade de Desenvolvimento de Mídia e Comunicação de Informações de Singapura publicou em 20 de maio a versão 1.5 do seu Modelo de Framework de Governança de IA para IA Agêntica, marcando um esforço regulatório para acompanhar a expansão de sistemas de inteligência artificial autônoma para além dos ambientes exclusivamente digitais. O desenvolvimento ocorre enquanto empresas de tecnologia, logística e serviços financeiros testam agentes de IA em operações que envolvem tomada de decisão em múltiplas etapas, interação com sistemas externos e, em alguns casos, controle de dispositivos e robôs no mundo físico.
Os marcos regulatórios de IA existentes foram elaborados com foco em danos online e nos resultados produzidos por modelos, incluindo questões como viés algorítmico, desinformação e conteúdo prejudicial. No entanto, sistemas de IA incorporada ao mundo físico apresentam riscos que vão além dessas preocupações tradicionais, uma vez que falhas podem afetar infraestrutura, patrimônio ou até a segurança de pessoas. Essa distinção tem levado reguladores e especialistas a reconsiderar qual tipo de supervisão é adequado para sistemas que interagem diretamente com ambientes reais.
Dr. Ya-Qin Zhang, reitor-fundador do Instituto de Pesquisa da Indústria de IA da Universidade de Tsinghua, declarou que riscos já associados a software autônomo são amplificados quando os sistemas são implementados no mundo físico. Segundo ele, falhas podem afetar diretamente sistemas de transporte, drones, redes de logística e infraestrutura crítica. Em declaração concedida ao MLex à margem de uma cúpula de IA realizada em Singapura, Zhang afirmou que qualquer risco no domínio digital será amplificado no domínio físico, e que este terá consequências físicas.
A cúpula também discutiu confiabilidade, monitoramento operacional e garantia pós-implantação como preocupações centrais de governança. Participantes apontaram para a necessidade de modelos de governança baseados em implantação que incluam simulação, telemetria e testes iterativos, em vez de depender unicamente de certificação única no momento da implementação.
Grab, empresa que está testando veículos autônomos e robôs de entrega no distrito de Punggol em Singapura, defendeu que a governança de implementação depende fortemente de simulação, testes rigorosos e monitoramento contínuo. Suthen Thomas Paradatheth, diretor de tecnologia da Grab, informou que a empresa realiza extensas simulações e testes em cursos fechados e abertos para garantir a confiabilidade dos robôs antes de escalar para centenas de unidades. Ele destacou que a existência de uma longa cauda de problemas que podem surgir após a implantação torna essencial o acompanhamento constante do desempenho dos robôs.
O framework de Singapura estabelece quatro áreas de governança para IA agêntica: avaliação de riscos inicial, responsabilidade humana, controles técnicos e responsabilidade do usuário final. O documento os descreve como um processo iterativo em vez de uma avaliação única. O framework recomenda aprovação humana em pontos significativos, incluindo ações de alto risco, ações irreversíveis e comportamentos anômalos, reconhecendo que a revisão contínua de todos os fluxos de trabalho se torna impraticável em escala.
O documento também identifica o viés de automação e a fadiga de alertas como riscos quando humanos supervisionam agentes capazes. A recomendação é que as organizações auditem a supervisão por meio de indicadores como taxas de substituição humana e tempos de resposta, além de monitoramento automatizado em tempo real para detectar comportamentos inesperados.
No setor financeiro, JPMorgan está implementando ferramentas de IA em seus negócios globais de banco de investimento. Paul Uren, diretor do banco de investimento na Ásia-Pacífico, afirmou que as ferramentas ajudam analistas a acessar mais informações e sintetizá-las com sistemas internos, além de serem usadas na preparação de conteúdos e no suporte ao engajamento com clientes. O presidente-executivo do banco, Jamie Dimon, declarou que a instituição contratará mais especialistas em IA e menos banqueiros tradicionais. O banco também faz parte de um grupo selecionado pela Anthropic para usar o modelo de cibersegurança Mythos em uma iniciativa controlada chamada Project Glasswing, que pode detectar vulnerabilidades antigas em navegadores, infraestrutura e software.
A framework inclui um estudo de caso do banco OCBC, também de Singapura, sobre análise de origem de patrimônio. O sistema analisa documentos relacionados a rendimentos e redige um memorando de origem de patrimônio, sem tomar decisões de crédito, onboarding ou risco de forma autônoma. Nesse caso, o fluxo de trabalho é limitado à autonomia em nível de tarefa e opera unicamente quando acionado por fluxos de trabalho predefinidos, com revisão humana obrigatória em pontos críticos de decisão.
No Japão, uma pesquisa realizada pelo Reuters com o Nikkei Research revelou que um terço das empresas já usam ou consideram usar robôs alimentados por IA. Dos 220 estabelecimentos que responderam à pesquisa, 4% já utilizam robôs de IA, 5% planejam implantá-los e 25% consideram fazê-lo. Fabricantes de equipamentos de transporte foram o grupo mais ativo, com 80% já usando ou considerando a tecnologia. O governo japonês espera que os robôs de IA ajudem a enfrentar a escassez crônica de mão de obra no país e apoiem sua posição na indústria de robótica.
Professor Yutaka Matsuo, da Escola de Engenharia da Universidade de Tóquio, mencionou um projeto da Associação de IA dedicado a coletar 100 mil horas de dados de robótica para apoiar modelos fundamentais de robótica. Matsuo também se refere às iniciativas do Instituto de Segurança de IA do Japão e do Processo de Hiroshima como parte de esforços mais amplos para desenvolver padrões de governança para IA incorporada em coordenação com Singapura e outros países asiáticos.
Zhao Yuli, diretor de estratégia da startup chinesa de robótica Galbot, destacou que Pequim está priorizando a escala de implantação e a comercialização industrial por meio de campos de teste apoiados pelo governo, parcerias industriais e iniciativas de financiamento de longo prazo. A empresa implantou sistemas de robótica humanóide em operações de varejo, armazém e farmácia, incluindo lojas autônomas que operam 24 horas.
A crescente presença de IA em sistemas físicos levanta questões sobre responsabilidade distribuída. Sistemas incorporados podem envolver múltiplas partes ao longo do desenvolvimento, fabricação e implantação, incluindo desenvolvedores de IA, fabricantes de robótica, fornecedores de semicondutores e operadores de infraestrutura. A responsabilidade pode se tornar mais difícil de atribuir quando os sistemas continuam se adaptando após a implantação por meio de atualizações de software, telemetria e dados operacionais. O framework de Singapura estabelece que organizações e humanos permanecem responsáveis pelas ações dos agentes, mesmo quando estes operam de forma autônoma, e pede responsabilidade clara em toda a cadeia de valor da IA agêntica.
