SVEN: addestrare reti neurali costa meno

SVEN (Singular Value Descent) è un algoritmo di ottimizzazione che sfrutta la decomposizione a valori singolari della loss function per approssimare il natural gradient senza i costi computazionali proibitivi che di solito lo rendono impraticabile. Il natural gradient è teoricamente superiore al classico SGD perché tiene conto della geometria dello spazio dei parametri, ma calcolare la matrice di Fisher inversa ha sempre rappresentato un ostacolo enorme in termini di memoria e calcolo. SVEN aggira questo problema sfruttando la struttura intrinseca delle loss function, ottenendo aggiornamenti più informati senza esplodere nei costi. I risultati preliminari suggeriscono convergenza più rapida rispetto agli ottimizzatori standard.