Los modelos de lenguaje pequeños, o SLM, están ganando terreno porque las empresas los ven como una forma eficiente y rentable de adoptar la IA.
Microsoft acaba de lanzar Phi-4, y afirma que supera a modelos más grandes en razonamiento matemático, así como en el procesamiento del lenguaje natural.
Los SLM también podrían ayudar a cerrar la brecha de diversidad lingüística en la IA, según declaró al Foro Económico Mundial Yann LeCun, vicepresidente y científico jefe de IA de Meta.
Llama, Phi, Mistral, Gemma y Granite pueden sonar a un nuevo escuadrón de superhéroes, pero en realidad son ejemplos de modelos de lenguaje pequeños (SLM). Y estos potentes modelos ligeros empiezan a destacar por encima de lo que sugiere su tamaño en el ámbito de la IA.
Mientras que los modelos de lenguaje grandes (LLM) han dominado los titulares, las empresas reconocen cada vez más el valor estratégico de los SLM como un enfoque más específico, eficiente y rentable para implementar la IA.
Este cambio se debe a varios factores, entre ellos las consideraciones de coste y las preocupaciones sobre la privacidad de los datos, según declaró Nandan Nilekani, presidente y cofundador de Infosys, al Financial Times.
“Cuando se observa a las grandes empresas, todas dicen: ‘¿Cómo tomamos el control de nuestro destino en la IA?’ Los modelos de lenguaje pequeños entrenados con datos muy específicos son realmente muy eficaces… todo el mundo creará modelos, pero creo que no tienen por qué construir estos gigantescos.”
¿Cómo está creando el Foro Económico Mundial barreras de protección para la inteligencia artificial?
El Centro para la Excelencia en IA conecta a líderes de todos los sectores para comprender la rápida evolución de la inteligencia artificial y sus implicaciones para las economías y las sociedades. Respalda un diálogo informado sobre las oportunidades, los riesgos y las compensaciones vinculados a la adopción de la IA.
A través de espacios de confianza e iniciativas colaborativas, el Centro permite a los socios construir una comprensión compartida y trabajar juntos en enfoques responsables para la innovación y el uso de la IA.
El Grupo de Gobernanza de la IA del Foro Económico Mundial acaba de publicar una serie emblemática de libros blancos, Transformación de las industrias en la era de la IA, que analiza la adopción de la IA en distintos sectores, destacando enfoques, niveles de inversión y los desafíos a los que se enfrentan las distintas industrias.
IA en acción: más allá de la experimentación para transformar la industria concluye que la integración de dispositivos portátiles habilitados con IA, IA avanzada en el borde y modelos de lenguaje “compactos” tiene el potencial de revolucionar el trabajo al automatizar tareas, gestionar agendas y proporcionar información en tiempo real.
"Estas innovaciones permiten tomar decisiones más rápidas y fundamentadas, una comunicación eficaz y comportamientos más productivos. El acceso instantáneo a información crítica mejora la toma de decisiones personales y profesionales. Es probable que este cambio transforme la forma en que operan las personas y las empresas, de manera similar al impacto transformador de internet."
¿Qué son los modelos de lenguaje pequeños (SLM)?
Al igual que los LLM, como GPT-4, que impulsa ChatGPT de OpenAI, los SLM son capaces de comprender y generar lenguaje natural, y se construyen utilizando versiones simplificadas de las redes neuronales artificiales que se encuentran en los LLM.
Pero los SLM están diseñados para sobresalir en tareas específicas. Se entrenan con conjuntos de datos centrados, lo que los hace muy eficientes en tareas como analizar opiniones de clientes, generar descripciones de productos o incluso manejar jerga específica de un sector.
Todos los modelos de lenguaje utilizan parámetros, que son ajustes configurables que permiten aprender de los datos y hacer predicciones. Los SLM contienen un número de parámetros significativamente menor que los LLM, lo que mejora su velocidad y eficiencia.
Así, mientras que los LLM como GPT-4 pueden tener más de 175 000 millones de parámetros, los SLM suelen oscilar entre decenas de millones y menos de 30 000 millones de parámetros.
Esta arquitectura reducida permite a los SLM realizar tareas de procesamiento del lenguaje natural en dominios específicos, como chatbots de atención al cliente y asistentes virtuales, con una potencia computacional considerablemente menor que la de sus equivalentes más grandes.
El diseño compacto de los SLM se logra mediante técnicas como destilación de conocimiento, poda y cuantización. Estos métodos permiten a los SLM capturar las capacidades esenciales de modelos más grandes utilizando menos potencia de procesamiento, lo que los hace ideales para entornos con recursos limitados, como dispositivos de borde y aplicaciones móviles.
¿Cuáles son los beneficios de los SLM para las empresas?
El enfoque más específico de los SLM no solo mejora la precisión, sino que también responde a las preocupaciones sobre la privacidad y el control de los datos. El uso de SLM permite a las empresas gestionar mejor sus datos y mitigar posibles problemas de derechos de autor que pueden surgir con los LLM.
En diciembre de 2024, Microsoft lanzó el último SLM de su familia Phi, Phi-4, que, según afirma, “supera a modelos comparables y más grandes en razonamiento relacionado con las matemáticas”, además de poder realizar el procesamiento convencional del lenguaje.
Según Microsoft, los SLM también ofrecen los siguientes beneficios:
Entrenamiento y tiempos de respuesta más rápidos: Con menos parámetros, los SLM pueden entrenarse más rápidamente y proporcionar respuestas más veloces en aplicaciones en tiempo real.
Menor consumo de energía: La arquitectura más pequeña de los SLM supone un menor uso de energía, lo que los hace más respetuosos con el medio ambiente.
Rentabilidad: Los menores requisitos computacionales y de consumo energético se traducen en una reducción de los costes operativos.
Mejor rendimiento en tareas específicas de un dominio: Los SLM pueden adaptarse a aplicaciones concretas, lo que potencialmente ofrece una mayor precisión en dominios acotados.
Compatibilidad con dispositivos de borde: Su tamaño compacto permite su despliegue en dispositivos de borde, lo que posibilita el procesamiento local y reduce la latencia.
Cómo los SLM pueden ayudar a cerrar la brecha de diversidad lingüística en la IA
Los SLM también representan una oportunidad para abordar la brecha de diversidad lingüística en la IA. Actualmente, la mayoría de los chatbots de IA solo se entrenan con alrededor de 100 de los más de 7000 idiomas del mundo, con un fuerte sesgo hacia el inglés.
Esta limitación amenaza con excluir a miles de millones de personas de la economía digital. Los SLM, gracias a su capacidad para centrarse en idiomas o dialectos específicos, podrían ayudar a cerrar esta brecha y crear sistemas de IA más inclusivos.
Tome como ejemplo Llama 3.2 1B y 3B, los modelos de código abierto más pequeños de Meta hasta la fecha, que cuentan con capacidades de generación de texto multilingüe.
Al intervenir en las Reuniones de Impacto del Desarrollo Sostenible del Foro Económico Mundial (SDIM) en septiembre de 2024, Yann LeCun, vicepresidente y científico jefe de IA de Meta, utilizó la atención sanitaria digital en Senegal para destacar la necesidad de una IA multilingüe para cerrar brechas.
Plataformas basadas en IA como Kera Health permiten a las personas “hablar con un asistente de IA, pero este tiene que hablar wolof, además de francés y otras tres lenguas oficiales de Senegal”.
La IA de código abierto —“una ‘Wikipedia para la IA’”— podría impulsar el cambio, afirmó LeCun, al permitir que las personas desarrollen sistemas útiles para las poblaciones locales, así como alianzas.
“Por ejemplo, existe una alianza entre Meta y el gobierno de la India para que las versiones futuras de [Llama] puedan hablar al menos las 22 lenguas oficiales de la India y, quizás, todas las cientos de lenguas y dialectos locales.”
El libro blanco IA en acción concluye que la traducción universal impulsada por IA tiene el potencial de transformar las interacciones globales al ofrecer traducciones precisas y de nivel profesional entre idiomas y dialectos.
"Rompe las barreras de comunicación, promueve la inclusión y amplía el alcance de las culturas locales. Esta tecnología puede igualar las oportunidades educativas al hacer que los materiales de aprendizaje sean accesibles universalmente, mejorar la atención sanitaria mediante una comunicación multilingüe eficaz y apoyar al comercio global al agilizar la colaboración y el intercambio.
"Promueve el intercambio cultural a través del arte y los medios, democratiza la información y empodera a las sociedades en un mundo interconectado, al tiempo que preserva las lenguas en peligro al darles exposición y relevancia globales."
¿Cuáles son las limitaciones de los modelos de lenguaje pequeños?
Sin embargo, los SLM no están exentos de limitaciones, ya que Microsoft señala, entre ellas:
Capacidad limitada para el lenguaje complejo: Los SLM pueden tener dificultades para comprender matices lingüísticos y sutilezas contextuales.
Menor precisión en tareas complejas: Para el razonamiento polifacético o los patrones de datos intrincados, los SLM podrían no igualar la precisión de los modelos más grandes.
Rendimiento restringido: Aunque eficientes, los SLM pueden no ofrecer el rendimiento robusto que requieren las tareas de gran exigencia.
Alcance reducido: Los SLM suelen entrenarse con conjuntos de datos más pequeños y especializados, lo que limita su flexibilidad y su conocimiento general en comparación con los modelos más grandes.
A pesar de estas limitaciones, los SLM encuentran aplicaciones cada vez más variadas en diversos campos, especialmente en la computación de borde y en escenarios de procesamiento en tiempo real.
La aparición de los SLM señala un cambio de paradigma significativo en las estrategias de IA empresarial. Las organizaciones están pasando de enfoques experimentales a implementaciones estratégicas y orientadas a un propósito, que son más específicas y pueden ser más rentables.
