LLM: dalla complessità alla semplicità nel recupero delle conoscenze
I modelli linguistici di grandi dimensioni utilizzano una tecnica sorprendentemente semplice per recuperare informazioni memorizzate e i ricercatori hanno scoperto un metodo per esplorare ciò che questi modelli sanno su nuovi argomenti. Questi modelli (come ChatGPT) sono complessi, ma l’uso di funzioni lineari per decodificare le informazioni suggerisce che ci sono meccanismi più semplici al […]
