La fallacia di Climbook: riflessioni sul grado

Primo problema di Climbook: gli osservatori si influenzano a vicenda

Per capire bene dove risiede l’errore, torniamo un attimo al principio fondatore di Climbook. Questo principio è spiegato molto bene nel libro La saggezza della folla di James Surowiecki: a molte persone viene mostrato un vaso di vetro pieno di monete; queste persone devono indovinare il numero di monete che ci sono dentro. I singoli individui non sono bravi a dare una risposta, mentre la media delle risposte tende verso il risultato corretto. Sembra incredibile, ma è così. Questo accade perché tutti i giudizi hanno una base comune (lo stesso vaso con le stesse monete) mentre gli errori che gli individui commettono sono indipendenti dagli errori commessi dagli altri (nessuno sa quello che stimano le altre persone); quindi, in assenza di un errore sistematico, alcuni tendono a sovrastimare, altri a sottostimare, e gli errori commessi tendono a avere come media zero. Come fa notare il premio Nobel Daniel Kahneman nel bellissimo libro Pensieri lenti e veloci, questa riduzione dell’errore sembra una magia, ma funziona bene solo quando le osservazioni sono indipendenti e gli errori non sono correlati. Come dice Kahneman, “se gli osservatori condividono un bias, la somma dei giudizi collettivi non lo riduce”.
Ecco svelato il primo grosso problema di Climbook: l’errore non è decorrelato, gli osservatori si influenzano a vicenda. Prima di decidere che grado proporre, vado a vedere cosa ne pensano gli altri, ho paura di mostrarmi debole se propongo un grado troppo alto o di mostrarmi arrogante se sgrado troppo rispetto alla loro scelta.
Poichè i giudizi non sono indipendenti, gli errori sono correlati, quindi la magia della “saggezza della folla” non funziona o funziona solo in piccola parte.

Secondo problema di Climbook: l’effetto àncora

L’effetto ancoraggio è un errore cognitivo molto studiato e ormai assodato. Anche se non ce ne accorgiamo, ci capita quasi tutti i giorni di commettere errori a causa di “àncore”. Eccone un esempio (reale).
A un gruppo di visitatori di un museo vennero poste le seguenti domande:
– “La sequoia più alta del mondo è alta più o meno di 365 metri?”
– “Quale ritieni che sia l’altezza della sequoia più alta del mondo?
La stima media fu 257 metri.
A un altro gruppo di visitatori, venne cambiata la prima domanda:
– “La sequoia più alta del mondo è alta più o meno di 54 metri?
– “Quale ritieni che sia l’altezza della sequoia più alta del mondo?
In questo caso la stima media fu di soli 86 metri! ¹
L’effetto àncora sembra una cosa banale, che tutti conosciamo; la cosa strana è che le ancore funzionano anche quando sono del tutto casuali, quando non dànno alcuna informazione sulla stima da fare. È stato dimostrato che anche numeri generati completamente a caso possono funzionare da ancore ². Eccoci arrivati al secondo errore di Climbook: il “grado ufficiale” è un perfetto esempio di àncora.
Immaginiamo una via che ragionevolmente può essere gradata 7a. Sulla guida (e di conseguenza nel “grado ufficiale” di Climbook) erroneamente viene valutata 7c+. La provate, la trovate molto facile per il grado – “mai nella vita 7c+”, pensate, e credendo di fare un grosso sgrado la proponete 7b+.
Sempre la stessa via, erroneamente, viene gradata 6a+. “Mai nella vita 6a+”, pensate, e azzardate un upgrade addirittura a 6b+. Ci sono meccanismi consci (paura di mostrarsi deboli se si upgrada o arroganti se si sgrada) e automatici (suggestioni, associazioni) che non ci permettono di allontanarci troppo dalla nostra àncora: il risultato è che il grado proposto non si discosta mai troppo dal grado ufficiale.
Se tolgo la possibilità di vedere “il grado guida ufficiale” elimino un’importante funzione di Climbook (quella di guida, appunto). Ma se lo lascio getto un’àncora alla quale tutti, consapevolmente o no, si agganceranno. Allo stesso modo se tolgo la possibilità di vedere cosa ne pensano gli scalatori di cui mi fido, tolgo un’importante funzione del sito, ma comprometto la magia della “saggezza della folla” rendendo correlati gli errori. Sembrerebbe non esserci via di uscita.

¹ Karen E. Jacowitz, Daniel Kahnema, Measures of Anchoring in Estimation Tasks, in Personality and Social Psychology Bulletin, 21(11):1161-1166, 1995

² Birte Englich, Thomas Mussweiler, Playng Dice with Criminal sentence: the influence of irrelevant anchors on experts’ judicial decision making

Terzo problema di Climbook: le sconfitte non contano

Un altro grande buco del sistema Climbook è il fatto che le “non riuscite”, che sono forse i dati più significativi, non si possono inserire (ma qualcuno lo farebbe?). Mi spiego meglio: nella nostra carriera di climber abbiamo scalato molte vie (nel senso di “liberato”); ma quante, invece, le abbiamo provate e non siamo riusciti a chiuderle? Molte; e nessuna di queste viene considerata dall’algoritmo di Climbook.
Così come la qualità di un climber (o di un tennista, o di un giocatore di scacchi) non si misura solo dalle vittorie ma anche dalle sconfitte, allo stesso modo la difficoltà di una via non si può misurare calcolando soltanto le salite, ma anche (e soprattutto, dico io), andando a vedere quanti l’hanno provata senza successo. Action Directe è il 9a con più ripetizioni al mondo, ma forse risulterebbe anche il più difficile, se si andassero a contare tutti quelli che l’hanno provata invano (Sharma, Huber, Moon, Roulling, il sottoscritto e molti altri).
La non riuscita è un’informazione significativa almeno quanto la riuscita.
Si pubblicano le vittorie e si nascondono le sconfitte. Ma il grado di una via ha una definizione statistica prima ancora che soggettiva (o meglio, diventa soggettivo perché siamo incapaci di darne una valutazione statistica).

Verso riflessioni future

La mia posizione è platonica. Il fatto che il risultato non sia accessibile sul piano epistemologico, non nega la sua esistenza.
Al contrario di quello che accade nella meccanica quantistica, la non determinabilità del grado è un problema metodologico e non ontologico, come i più vorrebbero far credere.
Basta fare un esperimento ideale per dimostrarlo: 1000 scalatori si confrontano su 10 vie in un tempo dato. La via scalata da 1000 persone ha difficoltà 1. Quella riuscita da una sola persona ha difficoltà 1000. Il grado della via è oggettivo: 1000 diviso il numero di persone che riescono a salirla in un tempo dato. E se non fosse sufficiente, basterebbe estendere l’esperimento a tutti gli scalatori del mondo per ottenere il grado giusto di quelle vie.

E quindi? Ho in mente vari modi per sistemare questi errori, ma c’è da lavorarci su.
La causa intentata da Facebook contro di me è ancora in corso. Dopo aver vinto in primo e secondo grado, ora sono in attesa del giudizio della corte suprema di cassazione. Quando ci sarà un giudizio definitivo potrò decidere di investire nuovamente tempo e risorse in questo progetto.