抜粋②) 『ニュースの数字をどう読むか～統計にだまされないための22章』Tom & David Chivers著、北澤京子訳、ちくま新書、10/2/2022

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

抜粋②)　『ニュースの数字をどう読むか～統計にだまされないための22章』Tom & David Chivers著、北澤京子訳、ちくま新書、10/2/2022 第４章、サンプルの偏り 第５章、統計学的に有意 第６章、効果量(エフェクトサイズ) 第７章、交絡因子 第８章、因果関係 pic.twitter.com/7oOe9DI2va

拡大

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

第４章、サンプルの偏り 　取ってきたサンプルが集団全体を代表していない場合、サンプリング・バイアスと呼ばれます。 　サンプルの偏りは、サンプルが小さすぎるのとは別の意味で致命的です。サンプルサイズが小さくても、少なくともランダムに選んだサンプルであれば、データを増やせば増やすほど pic.twitter.com/6yeq24z9k9

拡大

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

真の答えに近づきます。しかし、サンプル自体が偏っていると、データを増やしても役には立たず、かえって誤った答えがより確からしくなってしまいます。 　たとえば、2019年のイギリス総選挙で、ジェレミー・コービンとボリス・ジョンソンがテレビ討論を行いました。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

政治世論調査会社のユーガブ(YouGov)が討論後、どちらが「勝った」か視聴者に尋ねたところ、48%がジョンソン、46%がコービン、7%が分からないと結果が割れました(数字を合計すると101%になります。四捨五入するとこうなることもあるのです)。これがオンライン上でちょっとした論争になりました。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

他の投票では結果がまったく違っていたと指摘したツイートは、１万6000以上の「いいね」が付きました。５種類の投票のうち４種類ではコービン氏の楽勝でした。逆の結果は１種類だけで、他の４種類に比べてサンプルサイズが小さかったのですが、にもかかわらずそれだけがニュース番組で引用されました。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

これはコービン氏を不利にするメディア・バイアスなのでしょうか？ 　むしろサンプリング・バイアスの例と言えます。他の４種類の投票はすべて、ツイッター上で行われていました。問題は、ツイッターがイギリス全体を代表していないことです。ツイッターのユーザーはイギリス国民の17%で、

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

国全体に比べてより若く、女性が多く、中流階級が多い傾向にあります(2017年)。若者、女性、中流階級は、国全体に比べて労働党に投票する可能性が高い。 　ツイッターでより多くの人に質問しても役には立ちません。集団全体を代表しない(代表性のない)サンプルが対象である以上、同じ問題が生じます。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

ツイッター上で100万人に投票してもらっても、ツイッターユーザーの集団であることに変わりはなく、国全体を代表する集団ではありません。単に、誤った回答がより精緻になるだけです。 　問題は、代表性のあるサンプルを得るのは非常に難しいという点です。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

ツイッターで調査をすれば、ツイッターを使っていない人を含めることができません。この問題はどこにでもつきまといます。インターネットで投票をしたら、インターネットを使わない人を含めることができません。路上でアンケートをしたら、家にいる人を含めることができません。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

政治に関する世論調査は、かつては固定電話が使われていました。でも今それをすると、かなり偏ったサンプルになるでしょう。固定電話のある人(で、知らない番号からかかってきた電話に出る人)は、そうしない人とはかなり違うでしょうから。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

アンケート調査におけるこうした問題をある程度回避できるサンプリング方法はありますが、完璧にはなりません。ひとつには、人々に調査への回答を義務付けることはできないので、調査はどうしてもイヤという人をサンプリングできないということがあります。しかしその代わり、結果に重みづけをします。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

ある集団では男性が50%、女性が50%であることが、国勢調査のデータから分かっているとしましょう。ある調査の回答者1000人のうち、女性は400人、男性は600人でした。「グレイズ・アナトミー(TVドラマ)は好きですか？」と尋ねたところ、400人は「好き」、600人は「好きではない」という回答でした。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

この結果から、グレイズ・アナトミーを好きな人は40%と考えるかもしれませんが、性別によって答えが非対称であることに気づきます。女性は100%が好きと答えたのに対し、男性では0%でした。「好き」が40%になった理由は、調査したサンプルが全体を代表していないからです。この非対称は簡単に正せます。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

結果に重みづけをすればよいのです。集団全体では女性は50%いるのに、調査サンプルでは40%しかいません。50は40より25%大きいので、「好き」と答えた400人を25%増しにすれば500人になります。 　男性についても同様に、サンプルは60%が男性ですが、バイアスがかかっていなければ50%のはずです。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

50は60の0.833…倍なので、0.833…の重みづけをします。そこで、「好きではない」と答えた600人に0.833…をかけると500人になります。重みづけをした結果、集団全体のちょうど50%が、グレイズ・アナトミーを「好き」だと分かります。 　前回の選挙で誰に投票したかを尋ねる調査をするとします。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

国全体では35%が労働党、40%が保守党に投票したことが分かっているとしましょう。にもかかわらず、回答者の50%が保守党に投票したと答えたのであれば、それに応じてサンプルの重みづけをし直すことができます。あるいは、集団全体の年齢分布が分かっている場合、調査に固定電話を使用したために

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

サンプルがより高齢者に偏っていれば、年齢分布で重みづけをし直すことができます。 　もちろんこれは、集団全体について真実を知っているからこそできることです。男女の割合が50 : 50と信じていても実際には60 : 40だったら、重みづけによって余計に間違うことになります。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

サンプルにバイアスがかかる別の手法もあります。もっともあからさまなのは誘導尋問です。 　たとえば600人に薬を投与すべきかどうかを尋ねる場合、「200人が助かる」と言うか「400人が死ぬ」と言うかによって、それが論理的には同じであるにも関わらず、答えは違ってきます。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

こうした「フレーミング効果」は調査でも見られます。たとえば、「はい」か「いいえ」かで答える質問に対しては「はい」と答える傾向にあります(たとえばこんな質問です。「政府はその治療に対して支払いをすべきですか？」)。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

2020年4月のロックダウン時のスナック菓子アンケートは、単にネット調査をして、ネット調査に回答する類の人からの不均衡な回答を受け取っただけでしょう。 　問題は、ネット調査に回答する一部の集団におけるスナック菓子の好みが、集団全体の好みと同じかどうかです。分からないとしか言えません。

花びんに水をدعونا نملأ المزهرية بالماء☘️ @chokusenhikaeme

私たちに分かるのは、質問された2000人の22%がチーズトーストを選んだということだけです。それで十分だし、それ自体興味深いです。この2000人の好みが分かったのですから。でも、おそらく、集団全体について言えることはあまり多くはないでしょう。