Uno studio condotto da ricercatori di Google Research e dell’Università di Cambridge rivela importanti informazioni sulle capacità di auto-correzione dei Large Language Models – LLM.
Gli scienziati hanno scoperto che questi sistemi di intelligenza artificiale faticano a individuare autonomamente errori di ragionamento nelle loro stesse inferenze logiche. Tuttavia, se vengono informati sulla presenza e posizione degli errori, i modelli sono in grado di correggere le loro risposte in modo efficace.
Per giungere a queste conclusioni, i ricercatori hanno creato e condiviso con la comunità scientifica il dataset BIG-Bench Mistake, contenente oltre 2000 esempi di ragionamenti dei modelli annotati con le eventuali incongruenze logiche. Mettendo alla prova i sistemi più avanzati su questo benchmark, è emerso chiaramente che non sono in grado di individuare autonomamente i propri errori.
Tuttavia, implementando una semplice strategia di “backtracking“, ovvero tornando indietro e rigenerando le inferenze logiche indicati come errati, la precisione delle risposte può aumentare notevolmente. Questo approccio consente di correggere gli output senza richiedere una complessa ri-programmazione dei modelli.
I risultati indicano che fornire informazioni esterne sulla presenza e posizione di incongruenze logiche può aiutare i sistemi di IA a correggere i propri ragionamenti. Creare modelli capaci di auto-valutazione e auto-correzione in modo completamente autonomo rimane una sfida aperta per la ricerca in questo campo.
Lo studio contribuisce a far luce sulle capacità e i limiti dell’IA riguardo un aspetto chiave dell’intelligenza: imparare dai propri errori. Queste informazioni sono preziose per lo sviluppo di sistemi più robusti e affidabili.
