A inteligência artificial pode representar riscos significativos para crianças e adolescentes, especialmente devido à sua fase de desenvolvimento cognitivo e afetivo. Esses indivíduos são mais suscetíveis a serem enganados por personagens de IA, que podem simular conversas íntimas ou eróticas. Casos em outros países indicam que adolescentes foram instigados ao suicídio após confundir a IA com uma pessoa real, devido à falta de salvaguardas para encaminhá-los para auxílio profissional. O Ministério da Justiça e Segurança Pública detectou serviços de IA com essa problemática, que podem levar a exposição a riscos, incluindo pornografia. É crucial estar atento à capacidade da IA de fazer 'prodígios', mas também reconhecer o potencial de perigo. A recomendação é direcionar pessoas em sofrimento mental para serviços de atendimento, o que nem sempre é garantido nesses serviços. Vários países, como os Estados Unidos e a China, estão avançando na regulação desse tema, com alguns países banindo essas ferramentas. No Brasil, a regulamentação ainda está em discussão no Congresso, mas já prevê proteções mínimas para produtos e serviços de tecnologia da informação acessados por crianças e adolescentes. A regulamentação também exige verificações de idade e barreiras para impedir o acesso de menores a conversas sexualizadas com a IA.

