Quando uma mensagem privada vira caso de polícia: o alerta do Snapchat em Illinois
Uma professora estagiária se irrita com um aluno, envia uma mensagem infeliz para um pequeno grupo de amigos e, pouco tempo depois, policiais entram na escola para interrogá-la.
A mensagem não havia sido publicada em um perfil aberto. Não foi enviada aos pais, aos colegas da escola nem ao próprio estudante.
Ainda assim, saiu do ambiente que ela considerava privado, chegou às autoridades e produziu consequências policiais e profissionais imediatas.
O caso aconteceu em Washington, no estado norte-americano de Illinois, e deveria interessar a qualquer pessoa que trabalhe com inteligência artificial, privacidade, gestão de riscos, compliance ou Direito Digital.
Ele mostra, de maneira bastante concreta, que a discussão sobre inteligência artificial já passou da fase das respostas erradas em um chatbot.
Estamos falando de sistemas capazes de identificar palavras, classificar riscos, encaminhar alertas e provocar ações reais sobre a vida de alguém.
E, quando isso acontece, uma pergunta precisa ser feita com seriedade:
Quem interpreta o contexto antes que o alerta se transforme em decisão?
O que aconteceu em Illinois
Em 29 de janeiro de 2025, Kristen Volpe, então com 22 anos, realizava uma atividade de estágio docente na John L. Hensey Elementary School, vinculada ao Washington District 50, em Illinois.
Segundo as informações divulgadas pela imprensa local e pela administração escolar, um aluno aproximou-se de seu computador e fechou o equipamento, interrompendo a atividade que ela realizava.
Irritada, Kristen enviou mensagens a um pequeno grupo de amigos e perguntou se deveria “atirar” no estudante.
A frase, evidentemente, foi inadequada.
Tratava-se de uma profissional inserida em um ambiente escolar, referindo-se de maneira violenta a uma criança sob seus cuidados.
Isso precisa ser dito com clareza antes de qualquer discussão sobre tecnologia ou privacidade.
O fato de alguém estar frustrado não torna aceitável qualquer forma de manifestação. O ambiente era especialmente sensível, ainda mais nos Estados Unidos, onde ameaças relacionadas a ataques em escolas são tratadas com enorme rigor.
A questão relevante, porém, não termina na frase.
A plataforma identificou a mensagem e comunicou as autoridades. Policiais foram enviados à escola, entrevistaram Kristen e concluíram que ela havia escrito aquilo por exasperação, sem intenção concreta de ferir o aluno ou qualquer outra pessoa.
As próprias autoridades informaram que ela não representava uma ameaça à escola.
Mesmo assim, ela foi presa por conduta desordeira e não retornou ao estágio docente.
Esse é o ponto que transforma o episódio em algo maior do que uma história sobre uma mensagem de mau gosto.
O cuidado necessário com a versão sobre o FBI e a inteligência artificial
Relatos posteriores, especialmente os que circularam após a divulgação de imagens das câmeras corporais dos policiais, afirmam que o Snapchat teria detectado automaticamente a mensagem e encaminhado um alerta ao FBI, que posteriormente teria comunicado as autoridades locais.
Essa versão ganhou enorme repercussão nas redes sociais.
Contudo, as primeiras reportagens locais foram mais cautelosas. Elas informaram que a mensagem gerou um alerta da plataforma para as autoridades, mas não detalharam publicamente qual tecnologia foi utilizada, se houve revisão humana ou se o primeiro destinatário foi diretamente o FBI.
Essa distinção importa.
Quando discutimos governança de inteligência artificial, não podemos transformar uma hipótese plausível em fato comprovado apenas porque ela foi compartilhada muitas vezes.
O alerta pode ter sido automatizado.
Pode ter envolvido revisão humana.
Pode ter passado por uma estrutura interna de segurança da plataforma.
Também pode ter sido encaminhado inicialmente a uma agência federal ou diretamente a uma autoridade local.
Sem documentação técnica ou confirmação oficial suficiente, o mais prudente é afirmar que a plataforma detectou a mensagem e comunicou as autoridades.
A precisão faz parte da governança.
Também faz parte da responsabilidade de quem escreve, compartilha ou analisa um caso como esse.
Uma mensagem privada não significa uma mensagem invisível
Muitas pessoas ainda utilizam aplicativos com a impressão de que uma conversa privada é equivalente a uma conversa realizada em uma sala fechada.
Não é.
Uma mensagem pode não estar disponível publicamente e, mesmo assim, ser processada pelos sistemas da plataforma para segurança, prevenção de abuso, investigação de crimes, cumprimento de obrigações legais ou aplicação dos termos de uso.
Privacidade digital não significa ausência absoluta de processamento.
Também não significa que uma plataforma jamais poderá compartilhar informações com autoridades.
O problema aparece quando o usuário acredita estar participando de uma comunicação restrita, enquanto a arquitetura do serviço permite análise, classificação e eventual comunicação externa do conteúdo.
Na prática, existem diferentes camadas que costumamos reunir sob a palavra “privacidade”:
• A mensagem não é visível para o público em geral.
• O conteúdo é acessível aos destinatários escolhidos.
• A plataforma pode processar dados relacionados à comunicação.
• Sistemas automatizados podem identificar padrões considerados perigosos.
• Funcionários ou prestadores podem revisar determinados alertas.
• Informações podem ser preservadas ou compartilhadas diante de uma obrigação legal ou de uma situação considerada emergencial.
É por isso que a frase “mas era uma conversa privada” pode ser verdadeira e, ao mesmo tempo, insuficiente.
A conversa era privada em relação ao público.
Isso não significa necessariamente que fosse invisível para a infraestrutura tecnológica da plataforma.
O problema dos falsos positivos
Sistemas de detecção de ameaças trabalham com probabilidades.
Eles não compreendem a realidade da mesma forma que uma pessoa compreende.
Palavras como “atirar”, “matar”, “bomba”, “escola” e “aluno” podem receber peso elevado porque aparecem em situações efetivamente perigosas.
O sistema não precisa ter certeza de que existe uma ameaça.
Em muitas arquiteturas de segurança, basta identificar risco suficiente para gerar um alerta.
Isso faz sentido do ponto de vista preventivo.
Imagine a repercussão de uma plataforma que identificasse uma ameaça real contra uma escola, mas decidisse não comunicar nada porque o sistema não tinha certeza absoluta.
O custo de não agir poderia ser irreparável.
Ao mesmo tempo, agir diante de qualquer frase isolada também produz consequências.
Um falso positivo não é apenas uma estatística incorreta em um relatório.
Ele pode significar uma investigação, o recolhimento de um dispositivo, uma prisão, a interrupção de uma carreira, uma exposição pública e um dano reputacional que continuará existindo mesmo quando as autoridades concluírem que não havia intenção real.
No caso de Kristen, a polícia informou que ela não representava uma ameaça.
Ainda assim, ela foi presa e perdeu a continuidade de seu estágio.
Portanto, o problema não está apenas em saber se o sistema acertou ao perceber uma linguagem preocupante.
A pergunta mais difícil é:
O que deveria acontecer depois do alerta?
Detectar risco não é o mesmo que decidir
Uma das confusões mais perigosas na implantação de inteligência artificial ocorre quando tratamos a identificação de um sinal como se fosse uma decisão definitiva.
Um sistema pode detectar uma possível ameaça.
Isso não significa que tenha compreendido:
• O histórico da conversa.
• A relação entre as pessoas.
• O tom utilizado.
• A existência de ironia ou exagero.
• O comportamento anterior do autor.
• A presença ou ausência de meios concretos para realizar a ameaça.
• A probabilidade real de dano.
• A necessidade e a proporcionalidade da resposta.
A tecnologia pode indicar onde olhar.
Ela não deveria, sozinha, concluir tudo o que existe para ser visto.
Essa separação é fundamental para qualquer projeto sério de governança de inteligência artificial.
O alerta é apenas uma entrada do processo.
A decisão exige contexto, critérios, responsabilidade e possibilidade de revisão.
Quando as organizações pulam essa etapa, o sistema automatizado passa a exercer poder sem que ninguém reconheça claramente que uma decisão está sendo tomada.
O contexto humano não pode aparecer apenas no final
No episódio de Illinois, o contexto apareceu durante a entrevista policial.
A jovem explicou a irritação. Os policiais avaliaram sua postura. Verificaram que ela não tinha intenção de atacar o estudante e concluíram que não existia ameaça à escola.
Mas, naquele momento, parte das consequências já estava em movimento.
O alerta havia sido enviado.
A polícia estava dentro da escola.
A administração precisava responder.
Pais poderiam ser informados.
A reputação da profissional já estava comprometida.
Esse é um ponto importante para qualquer fluxo automatizado.
Colocar uma pessoa no final do processo não significa, necessariamente, que houve supervisão humana adequada.
A revisão humana precisa ocorrer em um momento no qual ainda seja possível questionar, contextualizar e impedir uma resposta desproporcional.
Caso contrário, o ser humano apenas confirma ou administra as consequências de uma classificação que já produziu seus efeitos.
O que esse caso ensina aos escritórios de advocacia
Pode parecer que estamos diante de um problema restrito às redes sociais e às escolas norte-americanas.
Não estamos.
Escritórios e departamentos jurídicos estão implantando sistemas para:
• Classificar processos.
• Identificar riscos contratuais.
• Analisar comunicações.
• Priorizar publicações.
• Detectar comportamentos suspeitos.
• Monitorar fraudes.
• Revisar documentos.
• Avaliar fornecedores.
• Selecionar currículos.
• Indicar possibilidades de acordo.
• Estimar probabilidades de êxito.
• Identificar possíveis violações de políticas internas.
Todos esses sistemas podem produzir falsos positivos.
Um e-mail pode ser classificado como ameaça.
Uma movimentação financeira pode ser interpretada como fraude.
Um contrato pode ser apontado como irregular.
Um colaborador pode ser incluído em uma lista de risco.
Um cliente pode ter seu atendimento limitado.
Um processo pode receber uma prioridade equivocada.
O problema se agrava quando a organização não consegue explicar por que o sistema chegou àquela indicação.
A inteligência artificial não precisa ordenar expressamente uma prisão para produzir efeitos graves.
Basta que sua classificação seja aceita como verdade por quem deveria analisá-la.
Cinco perguntas para qualquer sistema de detecção de risco
Antes de implantar uma ferramenta que classifique pessoas, mensagens, documentos ou comportamentos, a organização deveria responder, pelo menos, a cinco perguntas.
1. O que exatamente o sistema detecta?
Ele analisa palavras isoladas, padrões estatísticos, o contexto completo, imagens, histórico de comportamento ou uma combinação de diferentes dados?
2. Qual é a taxa de erro aceitável?
Não basta perguntar quantos riscos verdadeiros o sistema encontra.
É necessário medir quantas pessoas ou situações legítimas ele classifica equivocadamente.
3. Quem revisa o alerta?
A revisão é realizada por alguém com conhecimento técnico, jurídico e contextual ou apenas por uma pessoa orientada a seguir o resultado da ferramenta?
4. Em qual momento a revisão acontece?
A análise ocorre antes da medida restritiva ou somente depois que a consequência já foi aplicada?
5. Existe possibilidade real de contestação?
A pessoa afetada consegue saber que houve uma classificação, apresentar contexto e obter uma revisão efetiva?
Essas perguntas parecem simples, mas grande parte dos projetos de inteligência artificial ainda começa pela ferramenta, não pelo fluxo de decisão.
A governança começa onde a automação pode causar dano
Governança de inteligência artificial não é um documento genérico dizendo que a organização utiliza tecnologia de maneira ética.
É a definição prática de quem pode fazer o quê, com quais dados, para qual finalidade, sob quais critérios e com qual nível de supervisão.
Quanto maior o impacto possível, maior deve ser o cuidado.
Um sistema que sugere uma correção gramatical exige determinado nível de controle.
Um sistema que aponta uma possível fraude exige outro.
Um sistema que analisa comunicações e pode provocar uma investigação policial está em um patamar completamente diferente.
A intensidade da governança precisa acompanhar a intensidade do risco.
Isso envolve, entre outras medidas:
• Mapear o fluxo completo.
• Documentar critérios.
• Testar falsos positivos.
• Definir níveis de confiança.
• Estabelecer revisão humana qualificada.
• Registrar decisões.
• Limitar acessos.
• Controlar a retenção e o compartilhamento de dados.
• Criar procedimentos de contestação.
• Revisar periodicamente os resultados.
• Atribuir responsabilidades claras.
Sem isso, a organização não tem governança.
Tem apenas automação.
A LGPD e a realidade brasileira
No Brasil, uma situação semelhante exigiria uma análise cuidadosa à luz da Lei Geral de Proteção de Dados.
Seria necessário avaliar a base legal do tratamento, a finalidade, a necessidade, a transparência, a segurança, o compartilhamento, a retenção e os direitos do titular.
Também seria relevante examinar se houve uma decisão tomada unicamente com base em tratamento automatizado capaz de afetar os interesses da pessoa.
O artigo 20 da LGPD prevê o direito de solicitar a revisão de decisões tomadas unicamente com base em tratamento automatizado que afetem os interesses do titular, incluindo decisões destinadas a definir aspectos de seu perfil profissional, de consumo, de crédito ou de personalidade.
Isso não significa que qualquer alerta automatizado seja ilegal.
Também não significa que uma plataforma esteja impedida de cooperar com autoridades diante de uma ameaça séria.
O ponto é que prevenção, segurança e proteção de direitos não podem ser tratadas como objetivos incompatíveis.
Uma estrutura madura precisa preservar a capacidade de agir rapidamente em situações graves e, ao mesmo tempo, reduzir decisões precipitadas, excessivas ou inexplicáveis.
O comportamento humano também faz parte da segurança
Existe ainda uma lição incômoda e necessária.
A tecnologia não criou a mensagem.
A frase foi escrita por uma pessoa que exercia uma função de confiança em um ambiente escolar.
Nenhuma reflexão sobre privacidade deve transformar a autora da mensagem em alguém sem responsabilidade.
Profissionais precisam compreender que conversas digitais deixam registros, podem ser encaminhadas, capturadas, analisadas e interpretadas fora do contexto original.
Isso vale para professores, advogados, gestores, médicos, servidores públicos e qualquer pessoa que exerça uma função sensível.
A informalidade do canal não elimina a responsabilidade profissional.
Uma mensagem enviada em segundos pode produzir consequências durante anos.
Por isso, programas de governança não deveriam se limitar ao controle das ferramentas.
Precisam incluir treinamento sobre comportamento digital, comunicação, confidencialidade, segurança da informação e gerenciamento de situações de estresse.
A melhor tecnologia de proteção ainda pode ser insuficiente diante de uma cultura que normaliza mensagens imprudentes.
Nem vigilância absoluta, nem ingenuidade digital
O caso de Illinois não oferece uma resposta simples.
Seria irresponsável dizer que plataformas nunca deveriam comunicar ameaças às autoridades.
Também seria irresponsável aceitar que qualquer palavra considerada perigosa possa desencadear medidas graves sem análise proporcional.
A segurança precisa de velocidade.
A justiça precisa de contexto.
A governança existe para impedir que uma necessidade destrua completamente a outra.
O aprendizado mais importante desse episódio talvez seja este:
Um sistema pode estar correto ao identificar uma frase preocupante e, ainda assim, o processo inteiro pode estar errado na forma como transforma esse sinal em consequência.
É nesse intervalo entre o alerta e a ação que moram a responsabilidade, a proporcionalidade e o direito de explicar o contexto.
A inteligência artificial será cada vez mais utilizada para observar, classificar e priorizar riscos.
Precisamos garantir que ela também seja acompanhada por pessoas capazes de duvidar, interpretar e assumir responsabilidade pelas decisões.
Tecnologia útil não é aquela que apenas reage mais rápido.
É aquela que ajuda a tomar decisões melhores.
E decisões melhores exigem algo que ainda não pode ser terceirizado para um algoritmo: pensar.
Fontes consultadas
• 25News Now, cobertura publicada em 31 de janeiro de 2025 sobre a prisão e a conclusão policial de que não existia ameaça concreta à escola.
• WJBC, cobertura local com informações do distrito escolar e referência ao alerta enviado pela plataforma às autoridades.
• WMBD Radio, reportagem sobre a prisão, a entrevista policial e o encerramento do estágio docente.
• Yahoo News, reprodução da cobertura local e das informações comunicadas pelo distrito escolar às famílias.
Gustavo Rocha
Consultor em gestão, tecnologia e marketing jurídico. Especialista em inteligência artificial, inovação, LGPD, Legal Ops e estratégia aplicada ao mercado jurídico.
www.gustavorocha.com
www.gustavorocha.ia.br