L'IA ha dimostrato successi nello studio di lingue rare e poco diffuse

I grandi modelli linguistici riducono il divario linguistico

Le nuove versioni dell'intelligenza artificiale (IA) mostrano progressi notevoli nella gestione delle lingue rare e poco conosciute, riducendo sensibilmente il “divario linguistico” globale. Ciò è confermato da uno studio della società RWS pubblicato su TechRadar.

1. Cosa hanno dimostrato le ricerche
- Google Gemini Pro ha ottenuto un punteggio di qualità superiore a 4,5 su 5 per la conoscenza della lingua Kinyarwanda – parlata da circa 12 milioni di persone in Ruanda, Uganda e Repubblica Democratica del Congo.

- Gli autori spiegano il successo affermando che i modelli moderni si basano non solo su enormi dataset specifici di una lingua, ma anche su schemi statistici comuni a tutte le lingue (meccanismo di trasferimento interlinguistico).

- I miglioramenti nei tokenizzatori – sistemi di suddivisione del testo in “token” – contribuiscono inoltre a un lavoro più preciso con le lingue rare.

2. L’effetto “drift del benchmark”
Gli esperti hanno scoperto che, passando da una versione del modello all’altra, le sue capacità possono cambiare in modo imprevisto:

- La versione più recente di OpenAI GPT è inferiore ai modelli più vecchi in alcuni compiti di generazione di contenuti, anche se il predecessore era più efficace.

- L’efficienza del tokenizzatore può variare fino a 3,5 volte tra le generazioni; ciò significa che i risultati dei test precedenti non sono sempre applicabili alle nuove versioni.

3. Cosa cambia nelle priorità degli sviluppatori
- In passato le laboratori di IA mettevano al centro la prestazione in inglese e in alcune lingue chiave.

- I modelli moderni gestiscono già con successo queste attività, quindi l’attenzione si sposta su un pubblico più ampio: il supporto delle lingue rare diventa sempre più importante.

- Tuttavia, un punteggio di 4,5/5 non garantisce un reale livello di competenza linguistica; la multilinguismo finora non è considerato critico.

4. Conclusione
L’IA continua a rompere le barriere tra culture e lingue. Nonostante la “copertura” delle lingue rare non sia ancora un requisito obbligatorio, la tendenza verso una copertura più ampia del pubblico è già visibile e, secondo gli esperti, aumenterà nei prossimi anni.