Sbagliando s'impera

Muller, Jerry Z. (2018). The Tyranny of Metrics. Princeton (NJ): Princeton University Press. 2018. ISBN: 9780691174952. Pagine 234. 19,54€

Che dire di questo saggio? Prima di tutto che ha una delle copertine più brutte che abbia visto di recente (secondo me, almeno: ma potete giudicare da soli e non dubito che sarete d’accordo con me). Così brutta che merita una citazione il suo autore: Chris Ferrante. Dal suo sito apprendo che è il senior designer alla Princeton University Press, che ha vinto molti premi e che le copertine che ha realizzato sono quasi sempre più belle di questa.

La seconda cosa da dire è che un libro a tesi (e fin qui poco male), e che la sua tesi è perseguita in modo che a me pare disonesto, e questo per un saggio è un peccato mortale.

Perché lo comprato allora? Io sono un illuminista e un quantitativo. Uno scientista, mi dice qualche detrattore. Concordo appieno con la celebre frase di Lord Kelvin (William Thomson):

I often say that when you can measure what you are speaking about, and express it in numbers, you know something about it; but when you cannot measure it, when you cannot express it in numbers, your knowledge is of a meagre and unsatisfactory kind; it may be the beginning of knowledge, but you have scarcely, in your thoughts, advanced to the stage of “science”, whatever the matter may be. [dalla lezione Electrical Units of Measurement, 3 maggio 1883; pubblicata in Popular Lectures, Vol. I, p. 73]

Ma non sono così fanatico da non voler ascoltare voci discordi. Anzi. Inoltre, ero stato incuriosito da una recensione lusinghiera di Tim Harford comparsa sul Financial Times del 24 gennaio 2018 (“Review of The Tyranny of Metrics by Jerry Muller“). Stimo Tim Harford (ne ho parlato più volte su questo blog, recensendo il suo The Undercover Economist e citando spesso suoi articoli, soprattutto su temi controversi come la creazione di ricchezza dei dipendenti pubblici e le statistiche sulla felicità); anche per questo mi sono fidato del suo giudizio, che era comunque un giudizio critico. E così pochi giorni dopo ho comprato il libro di Muller, che ho però letto soltanto di recente.

Come nota anche Harford, e come l’autore dichiara più volte, la tesi del libro non è quella che i processi di quantificazione e di misurazione sono inutili o dannosi, ma quella che l’enfasi posta sulla standardizzazione dei modi di misurare i risultati di determinate politiche e azioni spesso è fuorviante (perché si misurano gli input o gli output invece degli outcome, cioè le risorse impiegate e i prodotti invece dei risultati), riduce eccessivamente la complessità dei fenomeni nel modellizzarli (“tutti i modelli sono sbagliati, ma non tutti sono utili”, per parafrasare George Box) e costa troppo. Peccato che nel sostenere questa tesi, che sarebbe anche largamente condivisibile, Muller si faccia prendere dalla foga polemica e finisca per prendersela con le quantificazioni e le misurazioni tout court. E per sostituirle con che cosa, poi? Con il giudizio (degli esperti).

E qui, caro Muller, non ti seguo più. Perché una cosa è dire che la standardizzazione dei parametri quantitativi di valutazione può creare incentivi perversi (come il rifiuto di operare i pazienti cardiaci più a rischio di restare sotto i ferri per tenere alti gli indicatori di successo del reparto), altro negare o nascondere sotto il tappeto che da tempo (Clinical versus Statistical Prediction di Paul Meehl è del 1954 ) e in misura via via crescente le decisioni prese con il sostegno dei dati (evidence-based) sono migliori (cioè più coerentemente affidabili).

Il libro è anche un po’ noioso, perché Muller accumula molti esempi presi in diversi campi (l’università, la scuola, la medicina, la pubblica sicurezza, le forze armate, l’economia e la finanza, le organizzazioni non governative) per portare elementi a sostegno della sua tesi, che è però nella sostanza sempre la stessa: meno statistica, più giudizi soggettivi degli esperti. E figurarsi se posso essere d’accordo io, che ho lavorato molti anni per una statistica pubblica più rilevante e più vicina alle esigenze dei cittadini, in tutti i campi.

Per di più, infine, Muller non perde occasione per riproporre i luoghi comuni più triti della propaganda anti-scientifica e i cavalli di battaglia dei conservatori.

***

Qualche citazione ripresa dal libro, così vi fate un’opinione personale, al di là delle mie critiche:

This book is not about the evils of measuring. It is about the unintended negative consequences of trying to substitute standardized measures of performance for personal judgment based on experience. (p.4: e fin qui tutto bene).

[…] the uncritical adoption of metric ideology. (p.9)

You might wonder how a historian came to write a book about the tyranny of metrics. (p.9)

[…] the belief that it is possible and desirable to replace judgment, acquired by personal experience and talent, with numerical indicators of comparative performance based upon standardized data (metrics); (p.18)

Metric fixation […] occurs because not everything that is important is measureable, and much that is measurable is unimportant. (p.18)

Measuring inputs rather than outcomes. (p.23)

Quantification is seductive, because it organizes and simplifies knowledge. It offers numerical information that allows for easy comparison among people and institutions. (p.24)

“[,,,] the most important aspects of military power, which happen to be nonmeasurable.” (p.36: è una citazione di Edward Luttwak, nientemeno)

The demand for measured accountability and transparency waxes as trust wanes. (p.39: questa mi sembra proprio una boiata)

[…] data is the answer, for which organizations have to come up with the questions. (p.47: altro luogo comune imbarazzante)

They have all distinguished between two forms of knowledge, one abstract and formulaic, the other more practical and tacit. Practical or tacit knowledge is the product of experience: it can be learned, but cannot be conveyed in general formulas. Abstract knowledge, by contrast, is a matter of technique, which, it is assumed, can be easily systematized, conveyed, and applied. (p.59: non tiene conto del fatto che la conoscenza tacita può essere formalizzata)

The calculative is the enemy of the imaginative. (p.61: e perché mai?)

RAISING THE METRIC: EVERYONE SHOULD GO TO COLLEGE (p.67: questo paragrafo contro l’istruzione terziaria è veramente terribile)

[…] education is a positional good […] (p.69)

Economists can evaluate only what they can measure, and what they can measure needs to be standardized. Thus economists who work on “human capital” and its contribution to economic growth (and who almost always conclude that what the economy needs is more college graduates) often use college graduation rates as their measure of “human capital” attainment, ignoring the fact that not all B.A.’s are the same, and that some may not reflect much ability or achievement. (p.72)

The first problem is that these databases are frequently unreliable: having been designed to measure output in the natural sciences, they often provide distorted information in the humanities and social sciences. (p.78: a proposito delle misure della produttività accademica)

If we distinguish training, which is oriented to production and survival, from education, which is oriented to making survival meaningful, then the College Scorecard is only about the former. (p.86)

Nor is the fact that college is often a place where life-long friendships are made, often including that most important of friendships, marriage. (p.87)

Since at least the Coleman Report, “Equal Educational Opportunity” (1966) commissioned during the Johnson administration, it has been known that the output of schools depends largely upon the inputs: student performance correlates closely to the social, economic, and educational attainment of their parents. (p.98)

[…] noncognitive qualities […] (p.99)

[…] many teachers perceive the regimen created by the culture of testing and measured accountability as robbing them of their autonomy […] (p.100)

That is, only a system in which the richer you are, the more you pay for healthcare was deemed fair. (p.105)

[…] developing valid metrics […] (p.134)

As Niall Ferguson has put it, “those whom the gods want to destroy they first teach math.” (p.145: sciocchezza sesquipedale)

Cass R. Sunstein, a wide-ranging academic who has also served in government, makes a useful distinction between government inputs and outputs. Outputs include data that the government produces on social and economic trends, as well as the results of government actions, such as regulatory rules. Outputs, he argues, ought to be made as publicly accessible as possible. Inputs, by contrast, are the discussions that go into government decision-making: discussions between policymakers and civil servants. There are increasing pressures to make those publicly available as well: whether through legal means such as Freedom of Information Act requests; or congressional demands, as in the case of congressional committees demanding the email correspondence of former Secretary of State Hillary Clinton in the case of the Benghazi investigations; or illegal means such as the electronic theft and dissemination of internal government documents by organizations such as Wikileaks. Making internal deliberations open to public disclosure—that is, transparent—is counterproductive, Sunstein argues, since if government officials know that all of their ideas and positions may be made public, it inhibits openness, candor, and trust in communications. (pp.161-162)

One conception of the purpose of social science was articulated in the nineteenth century by Auguste Comte: Savoir pour prévoir, prévoir pour prévenir […] (p.169)

Reward based on measured performance tends to promote not cooperation but competition. (p.172)