ベニテングタケをめぐる「コミュニティの声」が実際に示していること

「コミュニティはこう言っている」が本来以上の役割を果たしている

「コミュニティの視点を探る」という記事は、フォーラムのスレッド、subredditのコンセンサス、繰り返される体験談をまとめて、意見調査のように読める形に仕立てる——「ほとんどの人が報告している」「コミュニティは概ね同意している」といった具合だ。それは調査ではない。オンラインコミュニティが目に見える形で語ることと、実際のユーザーの代表的なサンプルが語るであろうことの間のギャップは非常に大きく、数万人の参加者を対象に専門の方法論チームを擁して調査を行うプロフェッショナルな薬物研究機関でさえ、これについて明示的な免責事項を設けているほどだ。この記事では、「コミュニティの視点」というコンテンツが実際に何を示せて、何を示せないのかを取り上げる。

目に見えるコンセンサスは多数派の意見と同じではない

アップボートとコメントに基づくプラットフォームは、意見を無作為にサンプリングしているわけではない——それらはエンゲージメントを得るものを表面化させ、エンゲージメントの力学は特定の種類の投稿を他のものより体系的に優遇する。最も自信を持って表現された投稿、最もドラマチックな投稿、スレッドの中で最も早く投稿されたもの、あるいは単に少数の非常に活発なユーザーが繰り返し投稿しているものだ。クラウドソース型プラットフォームに関する研究は、この種の集約が、投稿しない読者全員の実際の意見分布を反映するのではなく、声高で熱心な少数派を増幅させる可能性があること、また参加者が自分自身の判断を形成する前に他者の回答を見ると、独立した判断がむしろ悪化することを示している(群衆の知恵とその失敗条件、PBS/NOVA)。フォーラムのスレッドに見える「コンセンサス」は、誰が投稿を選び、何がアップボートを得たかの記録であって、コミュニティの実際の意見の幅を示す調査ではない。

最良の自己選択型薬物使用調査でさえこれを免責事項としている

この全く同じ問題を、真に大規模で方法論的に真摯な自己選択型調査がどう扱っているかを見る価値がある。それはほとんどの「コミュニティの視点」コンテンツよりも慎重だからだ。世界最大級の継続的なオンライン薬物使用調査の一つであるGlobal Drug Surveyは、そのサンプルが回答バイアスと自己選択によって形作られており、若く、高学歴で、インターネットに精通した回答者に偏っており、「一般集団を代表するとは言えない」と明示的に述べている——これは調査自身の方法論ページが直接述べている限界であり、外部からの批判ではない(Global Drug Survey、方法と限界)。数万人の回答者と専門の方法論チームを擁する調査でさえ代表性を主張できないのであれば、構造化されていないフォーラムのスレッドや引用された少数のコメントが「コミュニティ」全体を代表すると主張できる根拠は、はるかに乏しい。

Amanita特化型のオンラインコミュニティに実際に存在するのは誰か

同じ自己選択は、Amanita muscariaに特有の追加層を伴って当てはまる。特定の物質に関する専門フォーラムやsubredditに参加する人々は、すでに積極的な関心によって定義されたグループへと自己選択している——つまり、目に見える集団は熱心なファン、頻繁な利用者、公にそれについて議論するだけの動機を持つ人々に偏り、一度試して、否定的または特筆すべきことのない体験をし、それについて一度も投稿しなかった人々を体系的に過小評価している。これは個々の体験談の投稿について他所で文書化されているのと同じ、結果に基づく選択の問題であり、単に一つの物語のレベルではなく、コミュニティ全体のレベルで機能しているだけだ——コミュニティの目に見える視点は、継続的な関与がすでに価値があると感じた人々から生まれるのであって、一度そのキノコを試して二度と考えずに次に進んだすべての人々の集団全体から生まれるわけではない。

穏当な体験こそ書かれないもの

オンラインレビュー全般には、ここに直接当てはまるよく文書化されたパターンがある。評価やレビューの分布はJ字型または二峰型になる傾向があり、中間ではなく両極端に集中する。極めて肯定的または極めて否定的な体験をした人はそれについて書く動機を感じるが、穏当で特筆すべきことのない体験をした人はたいてい書く手間をかけないからだ(「なぜオンライン製品レビューはJ字型分布を示すのか」過少報告バイアスに関する研究)。研究者はこれを特に過少報告バイアスと呼んでいる——穏当な報告の抑制であり、穏当な体験は共有する動機が少ないためで、研究対象となった製品カテゴリーの大多数で見られる。

Amanitaのコミュニティ議論に当てはめると、同じ力学は、目に見える投稿がドラマチックな記述——強く肯定的な体験、または恐ろしく否定的な体験のいずれか——に偏ることを予測し、より一般的で特筆すべきことのない中間層は、実際に投稿され読まれるものの中で大部分が過小評価されたままになる。最も議論されたスレッドから構築された「コミュニティの視点」の要約は、この同じメカニズムによって、典型的な体験を描写する可能性が最も低い結果を過剰にサンプリングしている。

「コミュニティの視点」コンテンツが実際に示せること

これらはいずれもフォーラムの議論を無価値にするものではない。それはどのような体験が起こるか、どのような実務上の問題が実際に生じるかを特定するための、正真正銘の有用な原材料であり、時には正式な症例報告文献に決して登場しない有害事象や境界事例を明るみに出すこともある。コミュニティの議論は仮説を生成するには妥当な場所だ。それができないのは、その物質を試したすべての人の中で、ある体験や意見がどれほど一般的かを示すことだ。なぜなら、目に見えるサンプルはそもそもそのより広いグループを代表するように集められたことがないからだ——これは、体験談と基準率を分ける区別と同じものだ。

「コミュニティの視点」コンテンツをより正確に読む方法

「多くのユーザーが報告している」や「一般的なコンセンサスは」といったフレーズは、特定の自己選択された空間で言われ、賛成票を得たことを表しているのであって、何かの測定された割合ではない。より正確な表現であれば、実際の情報源を明記するだろう——「この特定のフォーラムスレッドでは、複数のコメント投稿者がXについて記述した」というのは、Amanitaユーザーのより広い集団に対して調査が行われたことを示唆するのではなく、実際に境界のある主張だ。この違いが最も重要になるのは、安全性に関連する主張の場合であり、「コミュニティは安全だと言っている」は、盲検化されていない自己選択の体験談と同じ重みしか持たない——それを語った人々にとっては本物だが、実際の監視データの代替にはならない。

よくある質問

フォーラムの目に見えるコンセンサスは、大多数のユーザーの実際の意見を表しているか?

信頼できる形では表していない。エンゲージメントに基づくプラットフォームは、意見を無作為にサンプリングするのではなく、自信を持って表現された、早期の、または繰り返し投稿されたコンテンツを表面化させる。クラウドプラットフォームに関する研究は、これが意見の広い分布を反映するのではなく、声高な少数派を増幅させる可能性があることを示している。

Global Drug Surveyはすべての薬物使用者を代表しているか?

いいえ、そしてそれは直接そう述べている——その方法論ページ自体が、自己選択され、インターネットに精通し、若年層に偏ったサンプルは「一般集団を代表するとは言えない」と述べている。これはその種の調査として最大級のものであるにもかかわらずだ。

なぜAmanita特化型コミュニティは一般的な体験からさらに逸脱するのか?

専門フォーラムに参加する人々は、すでに関心を持つグループへと自己選択している。これは熱心なファンや頻繁な利用者に偏り、一度試して二度と投稿しなかった人々を過小評価する。

ではコミュニティの議論は情報源として無価値なのか?

いいえ——どのような体験が起こるかを特定し、境界事例を明るみに出すのには有用で、症例報告資料と同様の機能を果たす。ただし、より広いユーザー集団の中である体験がどれほど一般的かを示すことはできない。

フォーラム由来の主張をより正確に表現する方法は?

実際の境界のある情報源を名指しすること——「このスレッドの複数のコメント投稿者がXについて記述した」——であり、「コミュニティは概ね同意している」は、実際には行われたことのない代表的な測定を示唆する。

これは肯定的な体験にも否定的な体験にも同じように当てはまるか?

はい。継続的に関与するユーザーへの選択は両方向に影響する——熱心な体験談も苦情スレッドも、投稿を選んだ人々から生まれるのであり、その物質を試したすべての人の無作為な断面から生まれるわけではない。

なぜフォーラムは主に極端な体験を提示しているように見えるのか?

これは、オンラインレビュー全般で文書化されている過少報告バイアスと呼ばれるパターンと一致する。極めて肯定的または否定的な体験をした人は、穏当で特筆すべきことのない体験をした人よりもはるかに投稿する動機が強く、両極端を過剰にサンプリングするJ字型分布を生み出す。

結論

「コミュニティの視点」コンテンツは、特定の物質について公に投稿する動機を持つ人々の、自己選択され、エンゲージメントに偏ったサンプルから生まれる——これは、最大級のプロフェッショナルな薬物使用調査でさえ一般集団を代表するとは明示的に呼ぶことを拒む集団だ。フォーラムの議論は実際の体験や境界事例を発見するための正真正銘の原材料であるが、目に見える「コンセンサス」がどれほど自信を持って聞こえようとも、実際に測定された基準率の代替にはならない。

個々の体験談の選択バイアスに関する当社の分析は、単一の物語レベルで同じ問題を扱っている——この記事はその同じギャップのコミュニティ全体版だ。

執筆者:Amanita StoreのViktor。本記事は教育目的であり、医療アドバイスではありません。Amanita muscariaは米国で承認された食品原料ではなく、いかなる医学的状態の治療法でもありません。法的地位は管轄区域によって異なります——お住まいの地域の規制をご確認ください。