Se un modello AI nasce male, nessun fine-tuning lo salverà davvero.
Il progetto daVinci-LLM affronta una domanda fondamentale: cosa determina le capacità reali di un modello linguistico? La risposta è netta — il pretraining è il tetto massimo, e tutto ciò che viene dopo (RLHF, fine-tuning, istruzioni) non fa altro che avvicinarsi a quel tetto senza mai sfondarlo. I ricercatori stanno costruendo una vera e propria scienza del pretraining, mappando sistematicamente come le scelte fatte in questa fase iniziale — dati, architettura, obiettivi di training — si traducono in capacità concrete del modello. È un cambio di prospettiva radicale: smettere di ottimizzare la verniciatura e iniziare a capire le fondamenta.
In pratica: investire miliardi in RLHF e post-training senza curare il pretraining è come lucidare un motore difettoso. Chi controlla il pretraining, controlla il modello.
Le notizie AI che contano, distillate in 2 minuti.
Gratis, ogni giorno alle 07:00.