CAIO SPECHOTO
BRASÍLIA, DF (FOLHAPRESS)
O Discord admitiu em documento enviado ao governo federal que havia indícios de risco na transmissão ao vivo que teria culminado na morte de uma menina, mas que isso não foi suficiente para disparar um alerta confiável no sistema interno da plataforma.
Saiba o que é e como funciona o Discord O texto, datado de 10 de agosto, é uma resposta a perguntas da Secretaria Nacional de Direitos Digitais, vinculada ao Ministério da Justiça. O órgão questionou a empresa sobre transmissão ao vivo realizada na plataforma em que uma menina de 13 anos teria sido induzida por outros adolescentes à automutilação e ao suicídio.
“Durante o período relevante, o servidor continha nomes, rótulos de papéis e comunicações em texto que, após a revisão posterior ao incidente, foram identificados como indicadores associados a um ecossistema mais amplo de alto dano. No momento do incidente, esses sinais não acionaram, de forma isolada ou combinada, aplicação automatizada ou revisão humana imediata”, afirmou a empresa no documento, obtido pela reportagem.
“Os sistemas de aprendizado de máquina processaram os sinais disponíveis, mas não geraram alerta com nível de confiança suficiente para aplicação automatizada”, declarou o Discord. Em uma manifestação divulgada à imprensa, a companhia afirmou ter derrubado o servidor antes da morte da adolescente.
No documento, a empresa disse que seu sistema trabalha com uma pontuação de risco. A transmissão específica teria recebido pontuação de 0,12, enquanto o limitar para identificação automatizada é de 0,95.
O Discord afirmou que o resultado está sendo reexaminado e poderá servir para avaliar eventuais aprimoramentos na sensibilidade do sistema, buscando um equilíbrio entre a capacidade de detecção e a produção de falsos positivos.
No documento, a empresa afirma ter recebido uma comunicação de um órgão de segurança sem muitas informações às 3h50. E que, menos de 25 minutos depois, o servidor da transmissão foi removido.
Nota técnica da ANPD (Agência Nacional de Proteção de Dados) concluiu que o Discord não tem ferramentas que viabilizem mecanismos de análise de conteúdo e detecção de violações em tempo real.
De acordo com o documento, a plataforma “depende de sistemas automatizados falhos e de denúncias pelos próprios participantes desses ambientes voltados à prática dessas violações”.
“O caso relatado pela empresa, referente à Operação Lívia [sobre o caso da menina], evidencia falha grave no modelo implementado, uma vez que fato gravíssimo recebeu uma sinalização de risco erroneamente baixa porque o sistema automatizado de detecção não foi bem calibrado”, afirma a nota técnica.
O documento também diz que a possibilidade de haver falsos positivos nas notificações de violação caso o sistema fique mais sensível não justifica a falha. “Quando estão em questão o risco iminente de lesão grave, automutilação ou morte de criança ou adolescente, o custo de um falso negativo é incomparavelmente superior ao custo de submeter determinado servidor a análise humana adicional”, diz a nota técnica.
O caso da morte da menina foi em 22 de julho. Ganhou mais relevância política depois de a primeira-dama, Janja Lula da Silva, pedir a derrubada da plataforma, na última quinta-feira (6).
Nesta quarta-feira (12), a ANPD determinou que a Discord suspenda as transmissões ao vivo em sua plataforma. A empresa tem três dias úteis para cumprir a decisão.
Com a medida, as lives e outros recursos semelhantes de compartilhamento de vídeos deverão permanecer suspensos até que a empresa comprove a adoção de ações efetivas para proteger crianças e adolescentes.
Procurada pela reportagem para comentar sobre o documento enviado ao governo federal, a assessoria do Discord enviou como resposta o comunicado relativo à decisão da ANPD de suspender as transmissões ao vivo.
“A caracterização do Discord feita pela ANPD não reflete a plataforma que construímos nem os investimentos que temos feito na segurança dos usuários. O Discord não tolera grupos ou indivíduos que promovem ou incentivam a violência”, diz a nota da empresa.
O comunicado também afirma que há evidências de que a atividade criminosa que teria culminado na morte da menina havia sido coordenada em outras plataformas antes da criação do servidor no Discord e continuou nesses ambientes após os usuários terem sido banidos.
A empresa se diz desapontada com a decisão da ANPD, que classificou como prematura. Afirma que recebeu o processo na sexta-feira (7) e ainda tinha prazo para apresentar uma resposta.
Sobre o caso, a empresa afirma ter identificado e desativado antes da morte um servidor privado em que integrantes teriam incentivado a automutilação da jovem. Segundo o Discord, o servidor era acessível apenas mediante convite e não podia ser encontrado em busca por outros usuários.
