Los depredadores utilizan cada vez más modelos de voz de IA generativa en tiempo real para hacerse pasar por niños en plataformas de videojuegos.
Los protocolos de seguridad actuales se basan en la moderación reactiva, en lugar de la verificación de audio en tiempo real que hace falta hoy.
Los marcos legislativos deben ir más allá de los deepfakes visuales y regular la manipulación de audio sintético en canales en directo.
Estaba en la habitación mientras mis hijos jugaban a Roblox cuando oí por los altavoces algo que me dejó helado: voces que sonaban como las de niños, pero que casi con toda seguridad no lo eran. La cadencia no era natural. El registro emocional era plano, de una manera que un padre nota, pero una plataforma no.
Fue entonces cuando entendí plenamente lo que estaba oyendo: otros jugadores, probablemente adultos, que utilizaban modelos de voz de IA en tiempo real para sonar como niños en juegos en línea y plataformas sociales.
Este uso abusivo de la comunicación por voz en tiempo real en una plataforma de videojuegos, especialmente en una utilizada por niños, no es del todo nuevo. Roblox, que se lanzó por primera vez hace dos décadas, tiene más de 144 millones de usuarios activos diarios, y la utilizan aproximadamente la mitad de todos los niños estadounidenses menores de 16 años. La plataforma hizo obligatoria la verificación de edad en enero de 2026, tras una oleada de demandas que alegaban que sus medidas de seguridad eran insuficientes para proteger a los menores del contacto con depredadores.
Pero Roblox es solo una de muchas plataformas similares. Discord, Fortnite y decenas de otras cuentan con funciones de chat de voz en directo ampliamente utilizadas por millones de personas y tienen una considerable audiencia joven. Y sin duda afrontan el mismo riesgo aterrador que encontré mientras jugaban mis hijos.
Los protocolos de seguridad actuales se diseñaron para una internet diferente
La mayoría de la infraestructura de seguridad infantil en línea parte de un modelo básico: verificar la identidad al registrarse, moderar el contenido después de que se publique y señalar las cuentas que infringen las condiciones del servicio. Este modelo tenía sentido cuando los riesgos eran principalmente textuales, aunque desde el principio ha tenido dificultades para hacer frente a los intentos de eludirlo.
En los últimos años, la IA generativa ha hecho que manipular una voz en tiempo real sea extraordinariamente fácil. Las herramientas de código abierto para clonar voces, que hace dos años requerían conocimientos técnicos, ahora funcionan como aplicaciones de consumo. ElInforme sobre delitos en Internet de 2025 del FBIdocumentó más de 22.000 denuncias relacionadas con la IA en un solo año y señaló específicamente la clonación de voz como un vector creciente en los esquemas de suplantación de identidad.
El resultado es una brecha que se amplía cada mes. Una plataforma puede verificar la edad de un usuario mediante una autofoto al registrarse (algo que también es fácil de eludir con un deepfake) y, sin embargo, no analizar nunca el canal de audio donde tiene lugar la conversación. Un adulto puede superar una comprobación visual de identidad y luego utilizar una voz sintética infantil en todas las interacciones posteriores.
Los equipos de moderación no están preparados
La moderación de contenidos plantea la pregunta: ¿Es perjudicial este contenido? Esta pregunta presupone que el contenido es real y que la tarea consiste en juzgarlo. Pero cuando la propia voz es sintética, la primera pregunta debería ser: ¿Es esta persona quien aparenta ser?
Esta pregunta plantea un desafío técnico fundamentalmente distinto. Exige analizar las transmisiones de audio en tiempo real, no revisar publicaciones señaladas después de los hechos.
Los datos indican que el enfoque actual no está al día. En 2024,el NCMEC registró un aumento del 1.325 % en las denuncias a CyberTipline relacionadas con la IA generativa, que pasaron de 4.700 a 67.000. Las denuncias de captación en línea, que incluye la comunicación de adultos con niños con fines sexuales, superaron las 546.000, un aumento del 192 % respecto al año anterior. A mediados de 2025,las denuncias relacionadas con la IA generativa se habían disparado a más de 440.000 en solo seis meses.
Cuandotestifiqué ante la Comisión Judicial del Senado de Estados Unidossobre la amenaza que representan los deepfakes para la sociedad, señalé que las imágenes deepfake no consentidas tienen como blanco abrumadoramente a niñas y mujeres, y que incluso estudiantes de secundaria han utilizado esta tecnología para perjudicar a compañeros y educadores.
Aunque mi testimonio se centró en la integridad electoral y los medios sintéticos en términos generales, desde entonces la amenaza se ha trasladado a un terreno que los marcos existentes no abordan: los canales de voz en directo, donde los adultos utilizan la IA para hacerse pasar por niños en tiempo real.
El paso del contenido fabricado a la identidad fabricada, o de algo que ves después de los hechos a alguien con quien interactúas en directo, es el cambio que exige una nueva respuesta.
Qué debe cambiar
Tres cambios distintos contribuirían de manera significativa a cerrar esta brecha.
En primer lugar, las plataformas deben tratar los canales de audio y vídeo en directo con el mismo rigor que aplican al contenido subido. La voz en tiempo real es ahora una de las principales formas de interacción para millones de niños. La infraestructura de detección debe estar a la altura de esa realidad.
En segundo lugar, ya existe tecnología para identificar voces generadas por IA en tiempo real, pero plataformas como Roblox no la están implementando para detectar estos incidentes a gran escala. Plataformas como Roblox deben integrar la detección de medios sintéticos en sus operaciones de confianza y seguridad, tal como hicieron con los clasificadores de contenido hace una década. No hace falta construirla desde cero; hay que aplicar métodos de detección probados donde más se necesitan.
En tercer lugar, las políticas deben ponerse al día. LaLey TAKE IT DOWN, promulgada en mayo de 2025, supuso un avance significativo al tipificar como delito las imágenes deepfake no consentidas y exigir a las plataformas que las retiren.Su primera condena se produjo en abril de 2026. Sin embargo, la ley se centra principalmente en el contenido visual publicado y no aborda la suplantación de voz en tiempo real en canales en directo, el vector a través del cual se genera confianza y se produce el acoso con fines de captación. Ampliar el alcance legislativo para abarcar la manipulación de audio en tiempo real, especialmente en plataformas utilizadas por menores, permitiría abordar la brecha más inmediata y menos regulada.
El momento de legislar es ahora
La calidad de la síntesis de voz en tiempo real mejora con cada lanzamiento de un modelo, y su coste disminuye con cada actualización. Las plataformas que usan los niños añaden más funciones de voz, no menos.
Nada de esto significa que debamos temer a la tecnología en sí. Las herramientas de voz con IA tienen aplicaciones extraordinarias en materia de accesibilidad, expresión creativa y comunicación. Sin embargo, cuando esas mismas herramientas pueden utilizarse para hacerse pasar por un compañero de un niño en una conversación en directo, necesitamos una infraestructura de verificación que funcione a la velocidad de la interacción.
La generación anterior de herramientas de seguridad infantil se basaba en la idea de que el contenido perjudicial podía detectarse después de aparecer. La próxima generación debe verificar la autenticidad en tiempo real, antes de que se establezca la confianza.
Ese cambio de la moderación reactiva a la verificación en tiempo real es la inversión en infraestructura más importante que las plataformas y los responsables políticos pueden hacer ahora mismo. Porque, al fin y al cabo, los niños al otro lado de ese canal de voz merecen sistemas tan sofisticados como las amenazas a las que se enfrentan.
