OpenAI Desenvolve Ferramenta para Combater Extremismo no ChatGPT
A OpenAI está implementando uma nova ferramenta que tem como objetivo monitorar e redirecionar usuários do ChatGPT que apresentem sinais de extremismo violento. O projeto, em parceria com a startup neozelandesa ThroughLine, pretende oferecer suporte especializado em casos de crise, como automutilação, violência doméstica e transtornos alimentares.
Sistema Híbrido para Aferição de Risco
O novo sistema da OpenAI combinará atendimento humano e chatbots, visando reduzir a incidência de comportamentos violentos. Segundo Elliot Taylor, fundador da ThroughLine, a iniciativa é uma resposta às crescentes preocupações sobre segurança nas plataformas de inteligência artificial, especialmente após casos em que usuários envolvidos em situações de violência foram banidos sem notificação às autoridades.
Contexto de Segurança Digital
A OpenAI confirmou a colaboração com a ThroughLine, mas não divulgou detalhes adicionais sobre a ferramenta. Em fevereiro, a empresa enfrentou ameaças de intervenção do governo canadense, que buscava garantir a reação adequada a incidentes envolvendo usuários da plataforma. Além disso, informações recentes indicam que o uso de serviços como os de ThroughLine pode ser ampliado com foco na prevenção ao extremismo violento, em alinhamento com iniciativas já existentes, como The Christchurch Call.
Expansão do Apoio Global
A startup, que opera a partir da zona rural da Nova Zelândia, gerencia uma rede de 1.600 linhas de apoio em 180 países. Ao identificar sinais de crise de saúde mental, seu sistema redireciona os usuários a serviços locais com atendimento humano. Taylor enfatizou que o crescimento de problemas relacionados ao extremismo no ambiente digital coincidiu com a popularidade dos chatbots.
Testes e Futuro do Projeto
Atualmente, a tecnologia está em fase de testes, sem uma data estipulada para lançamento. A ferramenta funcionará em um modelo híbrido, mesclando um chatbot treinado para reconhecer sinais de extremismo com encaminhamentos para serviços de saúde mental presencial. Aproximações desse tipo são reconhecidas como essenciais para abordar não apenas o conteúdo das conversas, mas também as dinâmicas relacionais que contribuem para o extremismo.
Desafios e Considerações Éticas
Consultores de contraterrorismo e especialistas em inteligência artificial alertam que a eficácia da nova ferramenta dependerá da qualidade do suporte oferecido e dos serviços aos quais os usuários serão encaminhados. Existe uma preocupação que a pressão para banir usuários problemáticos pode resultar em um agravamento da situação, uma vez que muitos em crise tendem a compartilhar suas dificuldades em ambientes online. Portanto, é crucial que medidas de acompanhamento sejam implementadas de forma a não agravar os riscos, mas sim proporcionar um caminho seguro para apoio.
Com informações de: Reuters