Last Updated on 2025年2月18日 by 成田滋

大学や研究機関などで関わる人々にとっての統計上の話題です。特に若手の研究者にとって採用されるか否か、正規職か非正規職か、ということは極めて関心のある事柄です。若手の研究者には、よく言われるフレーズがあります。それは｢出版か、さもなくば死か｣(Publish or Perish) ということです。それは大学や研究機関の多くは、論文の出版実績を見て、採用とか昇進とか研究費採択を決める材料とするのが一般的です。ですから、なんとかして、｢査読｣のある学術雑誌に論文を投稿し、採用されてそれを大事な業績としたいのです。本の出版も大事な行為となります。出版社が内容を調べ、売れると判断するといういわば｢査読｣という関門を経て出版にこぎつけれれば、業績になるからです。

　論文の多くには、興味深い実験結果が出版されるという一種の暗黙ともいえるバイアスがあります。同時に、否定的な結果が出た研究は、肯定的な結果が出た研究に比べて公表されにくいというバイアスもあります。このバイアスは、通常｢出版バイアス｣（publication bias）とか｢公表バイアス｣と呼ばれています。

　例として薬品とかサプリメントの開発があります。人体への影響などは重大なことですが、効果がないということが分かれば、その結果は表には出しません。公表したくないのです。コマーショルでよく見かけることですが、あるサプリメントが特定の人に効果が表れたとすれば、当然ながらその事実を大げさに宣伝するでしょう。逆に、「紅麹」の成分を含む健康食品を摂取した人が腎臓の病気などを発症した問題のようなこともあります。たまたま出るような結果は、真実の発見以上に耳目を集める可能性が高いのです。

　興味深い発見は論文として出版されますが、新たな発見がないとか、それまでの発見が再現出来ないといったことを指摘する論文は出版へのハードルが高くなるのです。つまり権威ある学術雑誌は、再現研究とか追跡研究にあまり関心を示さないものです。判断のあやしいグレーソーンのような論文の出版の問題は、個々の研究室にも存在します。たとえば、ある研究者がちょっとした実験をやってみたとします。目覚ましい結果が出たら、ぜひ論文として出版しなければと考えるのは当然です。ですがたいした成果がでなければ、この実験は学習体験だったとして、別の研究に励むことになります。このような姿勢は決しておかしくはありません。ですが、これも一種の出版バイアスであることは間違いありません。まぐれでも面白い結果がでたとすれば、その論文は出版されやすくなるのですから。

　他の例を考えてみます。研究者が実験し、なんらかの見込みがある結果がでたとして、論文として発表できるほど統計的に十分に確かとは言いがたいものだったとします。それなら研究を続け、被験者を増やし、データをさらに集め、結果が確実かどうか追求するとします。これも不自然な行動とはいえないのですが、果たしてデータを増やすことに何の問題もないといえるでしょうか。大規模な実験をすることが悪いわけはありませんが。

　一般的には、データが多ければ多いほどよいはずです。ですがデータを少しずつ集め、そのつど実験をするのなら、それは標準的な統計的検定として適正とは認められないのです。標準的な統計的検定とは、データを集め、そこから実験することを想定しているのです。データを集め実験し、そのあとでデータを増やしたりすることは統計上では違反なのです。

　研究者が一回しか実験をしなかったとします。先にデータを集めてなんらかのヒントを得て、その後さらに実験を行ったとすれば、やはりまぐれが紛れ込んで来る可能性が高いといえます。これも一種の出版バイアスにつながる行動です。あるデータ分析で結果が出ず、別の分析で面白い結果が出ていたら、当然ながら興味深いほうで実験を奨め、論文として出版することになるからです。

　以上のような行動は、通常ハーキング(HARKing)と呼ばれています。HARK(Hypothesising After Results Known)とは、結果を知った後に仮説を立てることというフレーズの頭文字です。データを集め、それをあれこれと考察しパタンを発見したとします。それから仮説を立てること自体は問題ありません。科学とは試行錯誤の連続の行動です。しかし、データを集めた後に仮説を立てたなら、その仮説を検証するためには新たなデータを集めなくてはなりません。最初に仮説を思いついたときのデータをそのまま使って仮説を検証しようとする行為は間違いであり、許されないのです。

　治療法に関して、否定的な試験結果が存在するのにもかかわらず、肯定的な結果が出た試験が医学誌などで公表されることが繰り返されるとします。するとその治療法に関する研究は有効であるという結果が多い、という印象を形成してしまうのです。標準的な統計手法は、偶然の結果を最大限に排除するように設計されています。しかし、出版バイアスと手続きが不備な研究の慣行が組み合わされると、偶然の結果が本当の発見と混在し、誤った理解を招いてしまうので要注意です。

　意外な結果の出た研究を掲載する傾向が学術誌のほうにあります。｢出版か、さもなくば死か｣という問題を抱えた研究者のほうにも、審査のハードルが低くなると思われる意外性のある実験結果の研究ばかりを応募する傾向があるのです。研究者を一概に非難するのは避けるべきですが、科学研究の方法としては問題として指摘すべきことでしょう。