VAKRA: il benchmark che sfida gli agenti AI

VAKRA è il nuovo benchmark sviluppato da IBM Research per valutare in profondità le capacità di ragionamento e uso degli strumenti negli agenti AI, con un focus specifico sui failure mode — ovvero i modi in cui questi sistemi falliscono. A differenza dei benchmark tradizionali che misurano solo il successo, VAKRA analizza come e perché un agente sbaglia, distinguendo tra errori di ragionamento, errori nell'uso dei tool e problemi di pianificazione. I risultati mostrano che i modelli attuali, anche i più avanzati, hanno lacune significative nelle catene di ragionamento multi-step e nella gestione degli strumenti in scenari complessi. Questo tipo di analisi granulare è esattamente ciò che manca all'ecosistema per costruire agenti davvero affidabili.