Los modelos de aprendizaje predictivo existen desde hace décadas, pero lo novedoso de ChatGPT es la forma en que se entrena, lo que le permite acceder a cantidades de datos mucho mayores.
Esto le permite identificar patrones y generar artículos, relatos, poemas, diálogos, obras de teatro y mucho más con un sonido muy realista.
Según un experto, parece haber varias similitudes en la forma en que el cerebro informático y el cerebro humano aprenden nueva información y la utilizan para realizar tareas.
Sin embargo, aplicaciones como ChatGPT son sistemas de estado estable, lo que significa que no evolucionan en tiempo real, aunque pueden perfeccionarse constantemente sin conexión.
Si ChatGPT suena como un ser humano, ¿significa que también aprende como uno? ¿Y en qué medida se parece el cerebro informático a un cerebro humano?
ChatGPT, una nueva tecnología desarrollada por OpenAI, es tan asombrosamente hábil para imitar la comunicación humana que pronto se hará con el mundo, y con todos los empleos que hay en él. O al menos eso es lo que los titulares harían creer al mundo.
En una conversación organizada el 8 de febrero por el Instituto Carney de Ciencias del Cerebro de la Universidad Brown, dos investigadores de Brown de distintos campos de estudio analizaron los paralelismos entre la inteligencia artificial y la inteligencia humana. El debate sobre la neurociencia de ChatGPT ofreció a los asistentes una mirada al interior del modelo de aprendizaje automático del momento.
Ellie Pavlick es profesora adjunta de informática e investigadora científica en Google AI, y estudia cómo funciona el lenguaje y cómo lograr que las computadoras comprendan el lenguaje de la misma forma que los seres humanos.
Thomas Serre es profesor de ciencias cognitivas, lingüísticas y psicológicas, y de informática, y estudia los cálculos neuronales que sustentan la percepción visual, centrándose en la intersección entre la visión biológica y la artificial. Como moderadores se unieron a ellos Diane Lipscombe, directora del Instituto Carney, y Christopher Moore, director asociado, respectivamente.
Pavlick y Serre ofrecieron explicaciones complementarias sobre el funcionamiento de ChatGPT en comparación con los cerebros humanos, y sobre lo que ello revela de lo que la tecnología puede y no puede hacer. Pese a todo el revuelo en torno a la nueva tecnología, el modelo no es tan complicado ni siquiera es nuevo, afirmó Pavlick. En su nivel más básico, explicó, ChatGPT es un modelo de aprendizaje automático diseñado para predecir la siguiente palabra de una oración, y la siguiente, y así sucesivamente.
Este tipo de modelo de aprendizaje predictivo existe desde hace décadas, afirmó Pavlick, especialista en procesamiento del lenguaje natural. Los científicos informáticos llevan mucho tiempo intentando construir modelos que exhiban este comportamiento y que puedan conversar con los humanos en lenguaje natural. Para ello, un modelo necesita acceder a una base de datos de componentes informáticos tradicionales que le permitan «razonar» sobre ideas excesivamente complejas.
Lo novedoso es la forma en que se entrena o desarrolla ChatGPT. Tiene acceso a cantidades de datos inimaginablemente grandes, como dijo Pavlick, «todas las oraciones de internet».
«ChatGPT, en sí mismo, no es el punto de inflexión», afirmó Pavlick. «El punto de inflexión ha sido que, en algún momento de los últimos cinco años, ha habido un aumento en la construcción de modelos que son fundamentalmente iguales, pero que se han ido haciendo más grandes. Y lo que ocurre es que, a medida que crecen cada vez más, rinden mejor».
Otra novedad es que ChatGPT y sus competidores están disponibles para uso público gratuito. Para interactuar con un sistema como ChatGPT incluso hace un año, afirmó Pavlick, una persona necesitaría acceso a un sistema como la Compute Grid de Brown, una herramienta especializada a la que solo tienen acceso, con determinados permisos, los estudiantes, el profesorado y el personal, y además requeriría una considerable destreza tecnológica. Pero ahora cualquiera, con independencia de su capacidad tecnológica, puede experimentar con la interfaz elegante y simplificada de ChatGPT.
¿Piensa ChatGPT realmente como un ser humano?
Pavlick afirmó que el resultado de entrenar un sistema informático con un conjunto de datos tan masivo es que parece captar patrones generales y da la impresión de poder generar artículos, relatos, poemas, diálogos, obras de teatro y mucho más con un sonido muy realista. Puede generar noticias falsas, hallazgos científicos falsos y producir toda clase de resultados sorprendentemente eficaces, o «salidas».
La eficacia de sus resultados ha llevado a muchas personas a creer que los modelos de aprendizaje automático tienen la capacidad de pensar como los humanos. Pero ¿la tienen realmente?
ChatGPT es un tipo de red neuronal artificial, explicó Serre, cuya formación abarca la neurociencia, la informática y la ingeniería. Eso significa que el hardware y la programación se basan en un grupo interconectado de nodos inspirados en una simplificación de las neuronas del cerebro.
Serre afirmó que, en efecto, existen numerosas similitudes fascinantes en la forma en que el cerebro informático y el cerebro humano aprenden nueva información y la utilizan para realizar tareas.
«Hay trabajos que empiezan a sugerir que, al menos superficialmente, podría haber algunas conexiones entre los tipos de representaciones de palabras y oraciones que algoritmos como ChatGPT utilizan y aprovechan para procesar la información lingüística, frente a lo que parece estar haciendo el cerebro», afirmó Serre.
Por ejemplo, señaló, la base de ChatGPT es un tipo de red neuronal artificial de última generación llamada red transformadora. Estas redes, que surgieron del estudio del procesamiento del lenguaje natural, han llegado recientemente a dominar todo el campo de la inteligencia artificial. Las redes transformadoras tienen un mecanismo particular que los científicos informáticos denominan «autoatención», que está relacionado con los mecanismos atencionales que se sabe que tienen lugar en el cerebro humano.
Otra similitud con el cerebro humano es un aspecto clave de lo que ha permitido que la tecnología alcance un nivel tan avanzado, afirmó Serre. En el pasado, explicó, entrenar las redes neuronales artificiales de un ordenador para aprender y utilizar el lenguaje o para realizar el reconocimiento de imágenes exigía que los científicos llevaran a cabo tareas manuales tediosas y laboriosas, como construir bases de datos y etiquetar categorías de objetos.
Los grandes modelos de lenguaje actuales, como los que se utilizan en ChatGPT, se entrenan sin necesidad de esta supervisión humana explícita. Y eso parece estar relacionado con lo que Serre denominó una teoría influyente sobre el cerebro, conocida como teoría de la codificación predictiva. Se trata de la suposición de que, cuando una persona escucha hablar a alguien, el cerebro hace constantemente predicciones y genera expectativas sobre lo que se dirá a continuación.
Aunque la teoría fue postulada hace décadas, Serre afirmó que aún no se ha comprobado plenamente en neurociencia. Sin embargo, en este momento impulsa gran cantidad de trabajo experimental.
«Diría que, al menos en esos dos niveles, el nivel de los mecanismos de atención en el motor central de estas redes, que hacen predicciones constantes sobre lo que va a decirse, parece, en un nivel muy general, coherente con ideas relacionadas con la neurociencia», afirmó Serre durante el evento.
Según señaló, ha habido investigaciones recientes que relacionan las estrategias utilizadas por los grandes modelos de lenguaje con los procesos cerebrales reales: «Aún queda mucho por entender, pero existe un creciente cuerpo de investigación en neurociencia que sugiere que lo que hacen estos grandes modelos de lenguaje y los modelos de visión [en los ordenadores] no está del todo desconectado de las cosas que hace nuestro cerebro cuando procesa el lenguaje natural».
En un tono más sombrío, de la misma forma que el proceso de aprendizaje humano es susceptible a los sesgos o a la corrupción, también lo son los modelos de inteligencia artificial. Estos sistemas aprenden por asociación estadística, explicó Serre. Lo que predomina en el conjunto de datos se impondrá y desplazará otra información.
«Esta es un área de gran preocupación para la IA, y no es específica de los idiomas», afirmó Serre. Citó cómo la sobrerrepresentación de hombres caucásicos en internet ha sesgado algunos sistemas de reconocimiento facial hasta el punto de que no han logrado reconocer rostros que no parecen ser blancos ni masculinos.
«Los sistemas solo son tan buenos como los datos de entrenamiento que les proporcionamos, y sabemos que los datos de entrenamiento no son tan buenos en primer lugar», afirmó Serre. Además, añadió, los datos no son ilimitados, sobre todo si se tiene en cuenta el tamaño de estos sistemas y la voracidad de su apetito.
La última iteración de ChatCPT, afirmó Pavlick, incluye capas de aprendizaje por refuerzo que funcionan como barreras de protección y ayudan a evitar la producción de contenidos dañinos o de odio. Pero todavía están en desarrollo.
«Parte del desafío es que… no se puede dar al modelo una regla; no se puede simplemente decir: “nunca generes tal o cual cosa”», afirmó Pavlick. «Aprende con ejemplos, así que le das muchos ejemplos de cosas y le dices: “No hagas cosas como esta. Haz cosas como esta”. Y por eso siempre será posible encontrar algún pequeño truco para que haga lo malo».
No, ChatGPT no sueña
Un ámbito en el que los cerebros humanos y las redes neuronales divergen es el sueño, en concreto mientras soñamos. A pesar de que los textos o imágenes generados por IA parecen surrealistas, abstractos o carentes de sentido, Pavlick afirmó que no existe ninguna prueba que respalde la idea de paralelismos funcionales entre el proceso biológico de soñar y el proceso computacional de la IA generativa. Señaló que es importante entender que aplicaciones como ChatGPT son sistemas de estado estable; en otras palabras, no evolucionan ni cambian en línea, en tiempo real, aunque puedan perfeccionarse constantemente sin conexión.
«No es como si [ChatGPT] estuviera repitiendo, pensando e intentando combinar cosas de nuevas maneras para consolidar lo que sabe o cualquiera de las cosas que ocurren en el cerebro», afirmó Pavlick. «Es más bien: ya está hecho. Este es el sistema. Lo llamamos un paso hacia delante por la red: no hay retroalimentación. No reflexiona sobre lo que acaba de hacer ni actualiza sus formas de actuar».
Pavlick afirmó que, cuando se pide a la IA que produzca, por ejemplo, una canción de rap sobre el ciclo de Krebs, o una imagen psicodélica del perro de alguien, el resultado puede parecer impresionantemente creativo, pero en realidad es solo una mezcla de tareas que el sistema ya ha sido entrenado para realizar. A diferencia de un usuario humano del lenguaje, cada resultado no cambia automáticamente el resultado siguiente, ni refuerza una función, ni funciona de la manera en que se cree que funcionan los sueños.
Serre y Pavlick subrayaron que las advertencias en cualquier debate sobre la inteligencia humana o la inteligencia artificial son que los científicos todavía tienen mucho que aprender sobre ambos sistemas. En cuanto al revuelo en torno a ChatGPT en concreto, y al éxito de las redes neuronales en la creación de chatbots que son casi más humanos que los humanos, Pavlick afirmó que se lo ha ganado a pulso, especialmente desde una perspectiva tecnológica y de ingeniería.
«¡Es muy emocionante!», afirmó. «Llevamos mucho tiempo queriendo sistemas como este».
Fuente: Universidad Brown
