Gli LLM non valutano i temi come un umano

Uno studio pubblicato su ArXiv ha analizzato il grado di accordo tra i Large Language Model e i valutatori umani nel scoring automatico di testi scritti. Il risultato è chiaro: gli LLM seguono logiche di valutazione sistematicamente diverse da quelle di un insegnante in carne e ossa, con pattern di giudizio che non replicano il ragionamento umano. Non si tratta di piccole discrepanze marginali, ma di divergenze strutturali nel modo in cui vengono pesati criteri come coerenza, creatività e argomentazione. Il gap è abbastanza significativo da mettere in dubbio l'affidabilità di questi strumenti in contesti educativi reali.