HyperAttention: calcolo dell’attenzione quasi lineare
I modelli di linguaggio basati su Transformer hanno raggiunto enormi successi in applicazioni come l’elaborazione del linguaggio naturale, la visione artificiale e le previsioni di serie temporali. Tuttavia, il loro principale punto debole è la complessità computazionale quadratica degli strati di attenzione rispetto alla lunghezza del contesto di input. Questo ostacolo ha limitato l’applicabilità di […]
