Los idiomas se han normalizado mediante el código ISO 693-1, pero el crecimiento del contenido digital hace que una codificación más precisa sea ahora más urgente.
ISO 639-3 ha pasado de la codificación lingüística de dos letras a un estándar de tres letras que tiene en cuenta más dialectos regionales o variantes lingüísticas, p. ej., el mandarín y el cantonés en lugar de solo el chino.
Para lograr una codificación lingüística aún más precisa, debe utilizarse ISO 639-3 junto con los códigos de país ISO 3166, lo que resulta especialmente importante para los metadatos.
El argumento a favor de la estandarización está bien establecido. Los estándares no solo facilitan la regulación, sino que también ayudan a conectar de forma eficaz los sistemas de una economía globalizada. Cientos de funciones están sujetas a códigos o estandarización, y los idiomas son una de ellas.
Los códigos reconocidos internacionalmente que representan cada idioma, familia lingüística y dialecto ayudan a los sistemas y organizaciones de cada país a identificar y gestionar los datos correctamente. Se utilizan con fines bibliográficos en bibliotecas, sistemas de gestión de la información, bases de datos y sitios web, y para garantizar que los datos de entrenamiento del aprendizaje automático respondan a su intención correcta. Además, alinear correctamente las variantes lingüísticas no solo es eficiente, sino también cómodo y protege su marca.
Entonces, ¿qué código debe buscar para una designación lingüística precisa? La completa ISO 639-3 define de forma inequívoca casi todos los idiomas conocidos del mundo, junto con los códigos de país ISO 3166.
Antes de ISO 639-3
Antes de ISO 639-3, sin embargo, existía ISO 639-1, que era una designación de dos letras, pero a medida que el mundo digital ha crecido, también lo ha hecho la demanda de un soporte lingüístico más preciso. Por ejemplo, “zh” para el chino en ISO 639-1 es “zho” en ISO 639-3, con alrededor de 16 códigos de idioma adicionales para distintos dialectos, p. ej., “cdo” para el chino min oriental, “cmn” para el chino mandarín, “hak” para el chino hakka, etc.
En el espíritu de la Copa Mundial de 2022 en Catar, podemos tomar el ejemplo del inglés de “football” para entender la importancia de diferenciar las variantes lingüísticas. Para los hablantes del inglés de EE. UU., “football” es un juego completamente distinto al que representa para quienes están en el Reino Unido, que lo identifican con lo que los estadounidenses llaman “soccer”. Sin embargo, la diferenciación entre el inglés de EE. UU. y el del Reino Unido en realidad no la aborda ISO 639, aunque sí se diferencia en los códigos de país.
Incluso con todas las variedades del inglés en el mundo, ISO 639 no considera el inglés como una macrolengua. Los demás códigos del inglés son en su mayoría variantes criollas o pidgin, como el inglés criollo jamaicano, lo que quizá pone de relieve lo inapropiado que resulta agrupar las variantes del árabe bajo un solo código, como el árabe egipcio (arz), diferenciado del árabe estándar (ara).
En lo que respecta a los léxicos, los datos de entrenamiento y las soluciones de gestión de datos, las diferenciaciones lingüísticas son fundamentales para evitar resultados confusos. La mejor práctica para la mayoría de las aplicaciones es combinar ISO 639-3 e ISO 3166 para identificar el idioma y la región específicos que se pretende utilizar.
Ofrecer soluciones cada vez más personalizadas a los clientes finales hace imprescindible una identificación lingüística precisa, para que las aplicaciones puedan adaptarse a las expectativas del usuario final en cada región y a su idioma hablado.
Erik Vogt, vicepresidente de Soluciones Empresariales, Appen Limited
Estándares ISO para idiomas
ISO (Organización Internacional de Normalización) ha publicado cinco partes para la estandarización de la identificación de idiomas: ISO 639 establece códigos reconocidos internacionalmente (de 2, 3 o 4 letras) para representar idiomas o familias lingüísticas.
La parte 1 – ISO 639-1 – es el estándar más antiguo y representa la mayoría de los idiomas mediante un código de dos letras. Abarca los idiomas hablados más comunes, pero no tiene en cuenta las variaciones dentro de los idiomas. Las partes 2 a 5 utilizan códigos de tres letras y ofrecen más combinaciones locales para abarcar todas las lenguas naturales conocidas, vivas o extintas. ISO 639-3 llega mucho más lejos que ISO 639-2 al abarcar más de 7.000 idiomas y está pensado para utilizarse como código de metadatos. Se emplea habitualmente en sistemas informáticos y de información, como la web y las aplicaciones SaaS, para dar soporte a muchos idiomas distintos.
Ofrecer soluciones cada vez más personalizadas a los clientes finales hace imprescindible una identificación lingüística precisa, para que las aplicaciones puedan adaptarse a las expectativas del usuario final en cada región y a su idioma hablado. Los códigos ISO 639-3 de tres letras e ISO 3166 permiten diferenciar estos idiomas únicos. Ethnologue, una de las bases de datos lingüísticas más grandes y completas disponibles hoy en día, utiliza el sistema ISO de tres letras.
Aun así, sigue llegando una sorprendente cantidad de solicitudes de datos de entrenamiento para idiomas no diferenciados, no definidos por ISO 639, o que esperan resultados que incluyan dos o más variantes que comparten un mismo código ISO 639-1. Cuanto más tarde se produzca la migración a ISO 639-3, mayor será la ambigüedad del sistema en aquellos sistemas en los que la clasificación lingüística es necesaria. Habrá un mayor riesgo de contaminación entre variantes, con un coste más elevado.
Una vez que empiece a trabajar con idiomas que tienen más de una variante, es esencial migrar al sistema de códigos de tres letras. Sin embargo, aunque existe una correspondencia uno a uno de todos los códigos de dos letras a los de tres letras, no ocurre lo mismo en sentido contrario. No obstante, actualizar los procedimientos al estándar ISO 639-3 es una medida con visión de futuro que merece la pena anticiparse.
Ventajas de los estándares ISO
El entrenamiento de modelos de procesamiento del lenguaje natural (PLN) requiere detalle y precisión para ser eficaz con los idiomas hablados. La mejor combinación es el idioma ISO-639 3 y los códigos de país 3166. Por ejemplo, el inglés (eng) puede dividirse en inglés estadounidense (eng-USA), inglés británico (eng-GBR), inglés canadiense (eng-CAN), inglés australiano (eng-AUS), inglés sudafricano (eng-ZAF), etc. Un asistente de voz diseñado para reconocer el habla debe ser capaz de identificar el dialecto del inglés para comprender con precisión la solicitud y generar la salida correcta.
Las dos ventajas clave de aplicar de forma coherente estos estándares ISO en todo un sistema son:
Capacidad para identificar con precisión a los candidatos con las habilidades lingüísticas adecuadas para cada tarea.
Capacidad para referirse de forma coherente al mismo idioma en distintas organizaciones y aplicaciones.
Ignorar la creciente necesidad de datos precisos supone datos locales incoherentes, incompletos y potencialmente inexactos, lo que significa que no se identifica de forma fiable a todos los usuarios pertinentes, lo que afecta a la calidad y dificulta los esfuerzos de recopilación de datos. Fundamentalmente, sin embargo, estaría ignorando un amplio subconjunto de su base de clientes con dialectos regionales, y no hay mejor razón para adoptar el código ISO de tres letras más el código de país que poder prestar los servicios que ofrece a todos sus usuarios finales.
