抜粋②『統計データの落とし穴 ～その数字は真実を語るのか？～』Peter Schryvers著、土屋隆裕監訳、佐藤聡訳、ニュートンプレス、2021.8.10.

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

抜粋②『統計データの落とし穴 ～その数字は真実を語るのか？～』Peter Schryvers著、土屋隆裕監訳、佐藤聡訳、ニュートンプレス、2021.8.10. 第１章、p.50- アトランタ公立学区の教師たちは、試験の目標点数を達成するプレッシャーを受けて、２つの全く異なる方法で対応した。 pic.twitter.com/c78oGPpM3M

拡大

拡大

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

最初は単に教え方を変えただけだった。試験に出ると思われる題材に重点を置き、試験の準備と試験テクニックの指導に時間を費やし、カリキュラムの一部であっても試験に出そうもない要素は授業から除外した。これは「試験対策」である。もう一つの対応は不正に走ったことだ。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

２つの対応の重要な違いは、前者がそこで起きていることに実質的な変化を及ぼしている点だ。試験対策とは、学びに含まれる他の要素を犠牲にして、生徒が試験の対処方法を教わることである。試験の対象とならない題材は無視される。深い理解は、簡単に試験できるよう単純化された思考に置き換えられる。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

多肢選択式試験では把握できない創造性や探究心のような学びの側面は切り捨てられる。一方、不正は不道徳で違法なことではあるが、不正を行うために授業を変える必要はない。不正とは、単に測定方法を操作することである。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

グッドハートが述べたのは、どんな指標も評価指標になると、やがて人々がシステムを悪用することを覚えるので、指標の有用性が失われるということだ。 　ある基準を達成するために報奨が組み合わされると、測定しやすい評価指標が人々の行動を歪める。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

人々は、重要だが測定が困難なものよりも、簡単に測定可能なものに重点を置くようになるのだ。 　評価指標は、私たちが何を行い、どう行動し、最終的に何に価値を置くかに影響を与える。ハウザーとカッツは「人は測定したとおりになる」と言った。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

ダン・アリエリーは「測ったものが手に入る」と言った。この主張には警告が含まれている。いったん何かを測り始め、測ることに重きを置くほど、人々は評価基準にとって最適な行動を取るようになる。そして、測定の目的を達成するためにありとあらゆる方法を見つけ出す。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

間違った測り方を選べば人々は間違ったことを始める。測ったものは手に入るかもしれない。だが、測ったものしか得られないのだ。 　適切に、つまり本来の目的と関連づけられて設計された指標はほとんどなく、有用な評価指標はさらに少なく、完全な評価指標は一つもない。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

もし、学校や仕事、社会における私たちの生活行動を評価指標の支配に任せると、評価指標が表し損ねたすべてのことが目に入らなくなる。評価指標を完全無欠の、疑問の余地がない、不可侵のものとして扱うと、決してよい結果にはならない。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

評価指標の背後にある強力な報奨が逆効果をもたらす行動につながる可能性があることを理解していないと、事態はますます悪化する。 　評価指標がもたらす弊害は、評価指標自体からではなく、その使い方と報奨の与え方から生じる。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

評価指標の目的は、まさに、ものごとを測って私たちを変えることにある。見方や行動を変えない、つまり何にも影響を与えない測定が必要だろうか？　評価指標の使い方によって結果はよくも悪くもなる。 　評価指標に盲目的な信頼を置き、強力な報奨を結びつけることは破滅しかもたらさない。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

私たちは何を達成しようとしているのか、その結果をどう評価するか問い続ける必要がある。評価指標に頼り切ってはならない。測るだけでは理解したことにならず、要は何を達成したいのか考えずに済むような、都合の良い評価指標は存在しないのである。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

本当に成し遂げたいことよりも評価することに力を注ぐと、無意味な指標を追い求め、非効率な行動を取り、努力が無駄になってしまう。