Valutare i valutatori?

All’inizio di aprile si è svolto – presso il Centro sperimentale di Laimburg/Vadena (Bolzano) – il 7° Concorso Nazionale Pinot Nero 2008. Noi di Vinealia abbiamo fatto parte del panel composto da 19 degustatori che hanno valutato i Pinot Nero dell’annata 2005 presentati da 72 aziende di tutta Italia.
I risultati del concorso e la classifica dei vini saranno resi noti in apertura della decima edizione delle Giornate Altoatesine del Pinot Nero, il 22 Maggio 2008. In questo articolo vogliamo raccontarvi la nostra ESPERIENZA in uno tra i più belli e meglio organizzati concorsi ai quali abbiamo mai partecipato; per meglio capire le modalità di svolgimento vi proponiamo alcune riflessioni sulle problematiche relative ai concorsi sul vino in genere e le soluzioni prospettate da Armin Kobler, del Centro sperimentale di Laimburg, ed utilizzate in questo concorso; metodo che permette di valutare non solamente il vino ma anche lo stesso degustatore.

Ciascun degustatore ha assaggiato 60 vini in due sessioni, trenta al mattino e trenta nel pomeriggio.
I concorsi enologici sono caratterizzati generalmente da:
1. un elevato numero di vini da giudicare,
2. un limitato numero di assaggiatori,
3. un panel di degustatori piuttosto eterogeneo per gusti e preferenze.
Ne consegue che:
1. non tutti i degustatori possono valutare ciascun vino a causa del poco tempo a disposizione, per cui,
2. vengono composte delle commissioni d’assaggio
3. che degustano una serie di vini nella medesima sequenza.
4. Come abilità degustativa viene valutata unicamente la capacità di dare giudizi concordi con quelli degli altri membri della commissione.
Gli svantaggi che una procedura di questo tipo comporta sono:
1. La valutazione di un vino dipende molto dalle esigenze della commissione che lo giudica,
2. dal livello qualitativo della serie in cui esso si trova,
3. dalla sequenza dei campioni all’interno delle serie.
Il metodo con cui è possibile evitare o ridurre tali errori sistematici consiste nel:
1. Adottare il principio di casualità il più frequentemente possibile.
2. Ogni vino dovrebbe poter essere proposto durante la degustazione in tutte le combinazioni possibili tra degustatore, serie e sequenza.
3. Tramite un generatore casuale di numeri viene assegnato a ciascun degustatore un certo numero di vini, scelti in modo randomizzato tra quelli da valutare.
4. In questo modo ogni giudice ha con molta probabilità una selezione ed una sequenza di vini uniche.
5. Ogni degustatore è in questo modo la sua propria commissione facendo si che il numero delle combinazioni possibile sia massimizzato.
6. I vini vengono versati e giudicati uno ad uno

Anche degustatori esperti sono soggetti alla forma giornaliera. Per impedire che giudizi, frutto di degustatori poco sensibili e poco stabili nel tempo, entrino nell’elaborazione finale dei dati, i giudici vengono sottoposti continuamente ad un controllo che valuta la loro capacità di discriminare campioni diversi e di riprodurre il giudizio relativo a campioni uguali presentati più volte.
Il rapporto tra queste due attitudini dà il cosiddetto valore di F. I degustatori, il cui valore di F non supera il limite inferiore dell’intervallo di fiducia, non vengono considerati nei calcoli finali.

Nel linguaggio della statistica analitica questi difetti vengono chiamati errori sistematici. Il metodo con cui è possibile evitare o ridurre tali errori si basa sull’adozione del principio di casualità il più frequentemente possibile. Si parla della randomizzazione: Ogni vino dovrebbe poter essere proposto durante la degustazione in tutte le combinazioni possibili tra degustatore, serie e sequenza. Quanto più il numero delle possibili combinazioni è elevato, tanto minore sarà la possibilità che un vino venga valutato migliore o peggiore di un altro solo in virtù della severità della commissione che lo giudica , del livello qualitativo della serie in cui esso si trova e della qualità del vino proposto in precedenza.
Per avvicinarsi il più possibile a queste condizioni ideali, nelle degustazioni organizzate dalla sezione enologia è stato adottato un sistema appositamente sviluppato.
Tramite un generatore casuale di numeri viene assegnato a ciascun degustatore un certo numero di vini, scelti in modo randomizzato tra quelli da valutare. In questo modo ogni giudice ha con molta probabilità una selezione ed una sequenza di vini uniche che nessun altro giudice ha. Ogni degustatore è in questo modo la sua propria commissione facendo si che il numero delle combinazioni possibile sia massimizzato. I vini vengono versati e giudicati uno ad uno.

Per verificare l’attendibilità dei giudizi, i degustatori vengono sottoposti a un controllo che verifica le loro capacità di distinguere vini diversi e di riprodurre i loro risultati. I vini che a questo scopo vengono presentati più volte sono uguali per tutti gli assaggiatori e vengono distribuiti casualmente tra gli altri campioni.
I giudici in buone condizioni psicofisiche sono in grado di individuare i vini differenti e attribuire punteggi simili a campioni uguali. Il valore statistico “F” quantifica il rapporto tra il potere discriminante e la riproducibilità del giudizio. I giudizi dei degustatori che presentano valori di “F” inferiori al limite minimo dell’intervallo di confidenza del panel non vengono considerati ai fini dell’elaborazione finale dei dati.
Le mediane degli assaggiatori considerati costituiscono il risultato finale della degustazione. La mediana, al contrario della media aritmetica, è meno soggetta a valori estremi e sostituisce la pratica discutibile dell’eliminazione della valutazione più bassa e di quella più alta. Il punteggio così conseguito viene arrotondato con quella determinata certezza che aveva a disposizione il degustatore durante la valutazione dei campioni. In questo modo non vengono pubblicati valori che fingono una precisione non esistente.
Lorenzo Colombo

 

pubblicato in origine su www.vinealia.org