
抜粋②) 『ニュースの数字をどう読むか~統計にだまされないための22章』Tom & David Chivers著、北澤京子訳、ちくま新書、10/2/2022 第4章、サンプルの偏り 第5章、統計学的に有意 第6章、効果量(エフェクトサイズ) 第7章、交絡因子 第8章、因果関係 pic.twitter.com/7oOe9DI2va
2022-05-23 22:09:45

第4章、サンプルの偏り 取ってきたサンプルが集団全体を代表していない場合、サンプリング・バイアスと呼ばれます。 サンプルの偏りは、サンプルが小さすぎるのとは別の意味で致命的です。サンプルサイズが小さくても、少なくともランダムに選んだサンプルであれば、データを増やせば増やすほど pic.twitter.com/6yeq24z9k9
2022-05-23 22:09:47

真の答えに近づきます。しかし、サンプル自体が偏っていると、データを増やしても役には立たず、かえって誤った答えがより確からしくなってしまいます。 たとえば、2019年のイギリス総選挙で、ジェレミー・コービンとボリス・ジョンソンがテレビ討論を行いました。
2022-05-23 22:09:48
政治世論調査会社のユーガブ(YouGov)が討論後、どちらが「勝った」か視聴者に尋ねたところ、48%がジョンソン、46%がコービン、7%が分からないと結果が割れました(数字を合計すると101%になります。四捨五入するとこうなることもあるのです)。これがオンライン上でちょっとした論争になりました。
2022-05-23 22:09:49
他の投票では結果がまったく違っていたと指摘したツイートは、1万6000以上の「いいね」が付きました。5種類の投票のうち4種類ではコービン氏の楽勝でした。逆の結果は1種類だけで、他の4種類に比べてサンプルサイズが小さかったのですが、にもかかわらずそれだけがニュース番組で引用されました。
2022-05-23 22:09:49
これはコービン氏を不利にするメディア・バイアスなのでしょうか? むしろサンプリング・バイアスの例と言えます。他の4種類の投票はすべて、ツイッター上で行われていました。問題は、ツイッターがイギリス全体を代表していないことです。ツイッターのユーザーはイギリス国民の17%で、
2022-05-23 22:09:50
国全体に比べてより若く、女性が多く、中流階級が多い傾向にあります(2017年)。若者、女性、中流階級は、国全体に比べて労働党に投票する可能性が高い。 ツイッターでより多くの人に質問しても役には立ちません。集団全体を代表しない(代表性のない)サンプルが対象である以上、同じ問題が生じます。
2022-05-23 22:09:51
ツイッター上で100万人に投票してもらっても、ツイッターユーザーの集団であることに変わりはなく、国全体を代表する集団ではありません。単に、誤った回答がより精緻になるだけです。 問題は、代表性のあるサンプルを得るのは非常に難しいという点です。
2022-05-23 22:09:51
ツイッターで調査をすれば、ツイッターを使っていない人を含めることができません。この問題はどこにでもつきまといます。インターネットで投票をしたら、インターネットを使わない人を含めることができません。路上でアンケートをしたら、家にいる人を含めることができません。
2022-05-23 22:09:52
政治に関する世論調査は、かつては固定電話が使われていました。でも今それをすると、かなり偏ったサンプルになるでしょう。固定電話のある人(で、知らない番号からかかってきた電話に出る人)は、そうしない人とはかなり違うでしょうから。
2022-05-23 22:09:52
アンケート調査におけるこうした問題をある程度回避できるサンプリング方法はありますが、完璧にはなりません。ひとつには、人々に調査への回答を義務付けることはできないので、調査はどうしてもイヤという人をサンプリングできないということがあります。しかしその代わり、結果に重みづけをします。
2022-05-31 15:38:00
ある集団では男性が50%、女性が50%であることが、国勢調査のデータから分かっているとしましょう。ある調査の回答者1000人のうち、女性は400人、男性は600人でした。「グレイズ・アナトミー(TVドラマ)は好きですか?」と尋ねたところ、400人は「好き」、600人は「好きではない」という回答でした。
2022-05-31 15:47:02
この結果から、グレイズ・アナトミーを好きな人は40%と考えるかもしれませんが、性別によって答えが非対称であることに気づきます。女性は100%が好きと答えたのに対し、男性では0%でした。「好き」が40%になった理由は、調査したサンプルが全体を代表していないからです。この非対称は簡単に正せます。
2022-05-31 15:50:55
結果に重みづけをすればよいのです。集団全体では女性は50%いるのに、調査サンプルでは40%しかいません。50は40より25%大きいので、「好き」と答えた400人を25%増しにすれば500人になります。 男性についても同様に、サンプルは60%が男性ですが、バイアスがかかっていなければ50%のはずです。
2022-05-31 15:54:42
50は60の0.833…倍なので、0.833…の重みづけをします。そこで、「好きではない」と答えた600人に0.833…をかけると500人になります。重みづけをした結果、集団全体のちょうど50%が、グレイズ・アナトミーを「好き」だと分かります。 前回の選挙で誰に投票したかを尋ねる調査をするとします。
2022-05-31 15:59:08
国全体では35%が労働党、40%が保守党に投票したことが分かっているとしましょう。にもかかわらず、回答者の50%が保守党に投票したと答えたのであれば、それに応じてサンプルの重みづけをし直すことができます。あるいは、集団全体の年齢分布が分かっている場合、調査に固定電話を使用したために
2022-05-31 16:02:51
サンプルがより高齢者に偏っていれば、年齢分布で重みづけをし直すことができます。 もちろんこれは、集団全体について真実を知っているからこそできることです。男女の割合が50 : 50と信じていても実際には60 : 40だったら、重みづけによって余計に間違うことになります。
2022-05-31 16:06:53
サンプルにバイアスがかかる別の手法もあります。もっともあからさまなのは誘導尋問です。 たとえば600人に薬を投与すべきかどうかを尋ねる場合、「200人が助かる」と言うか「400人が死ぬ」と言うかによって、それが論理的には同じであるにも関わらず、答えは違ってきます。
2022-05-31 16:10:48
こうした「フレーミング効果」は調査でも見られます。たとえば、「はい」か「いいえ」かで答える質問に対しては「はい」と答える傾向にあります(たとえばこんな質問です。「政府はその治療に対して支払いをすべきですか?」)。
2022-05-31 16:13:24
2020年4月のロックダウン時のスナック菓子アンケートは、単にネット調査をして、ネット調査に回答する類の人からの不均衡な回答を受け取っただけでしょう。 問題は、ネット調査に回答する一部の集団におけるスナック菓子の好みが、集団全体の好みと同じかどうかです。分からないとしか言えません。
2022-05-31 16:18:27
私たちに分かるのは、質問された2000人の22%がチーズトーストを選んだということだけです。それで十分だし、それ自体興味深いです。この2000人の好みが分かったのですから。でも、おそらく、集団全体について言えることはあまり多くはないでしょう。
2022-05-31 16:22:02