主要査読誌3誌掲載の心理学の実験結果、追試で同じ結果が得られたのは39パーセントのみ 31
ストーリー by hylom
心理学は当てにならない？ 部門より
心理学は当てにならない？ 部門より
あるAnonymous Coward 曰く、
主要査読誌3誌に掲載された心理学の実験結果を再現する追試を行ったところ、元研究と同じ実験結果が得られたのはそのうちの39パーセントのみだったという（AFP、Science、Science誌掲載の論文概要）。
2008年に主要学術誌3誌に発表された心理学と社会科学の研究論文100件について追試を行ったところ、このような結果が得られたという。追試論文の執筆者の1人であるノセック氏は、研究者が研究成果を発表するプレッシャーに常にさらされていることが実態の歪曲に寄与している可能性を指摘しているとし、次の様に述べている。「研究していることすべてが発表に至るわけではない。新規性があり、肯定的で、整然とした結果が査読を通過する可能性が高く、これは、自説にそぐわない否定的な結果や研究を除外するという発表の偏向につながる恐れがある。」
もともと心理学分野の研究成果にはその解釈や結果の妥当性について批判も少なくない。しかしタレこんだ私は心理学のみならず現在の科学一般の抱える問題のもっとも顕著で失望させる一例であるように見える。理路整然としてよくまとまった研究結果は価値が高いが、その一方で研究としてまとめられない「見捨てられた」実験結果についても何らかの価値はあるはずだが、それは発表の機会を通常得られず、インセンティブの観点からは研究者は研究していなかったのと同様に扱われる。
関連 (スコア:2)
結論が同じででちょうど一年前の記事だから何か関係あるのかと思ったが、こちらはnature newsがソースなので偶然か。
http://srad.jp/~bghtyu67/journal/584860/ [srad.jp]
今回は再現性について実際に検証しているので更に問題に踏み込んでいるといえる。
それにしても自分の古い日記を読み返すのはやはり恥ずかしい。
テレビに出てる心理学者が予想をことごとく外すのはこのせいか (スコア:0)
たいとるおんり
Re:テレビに出てる心理学者が予想をことごとく外すのはこのせいか (スコア:1)
テレビに出ているの、心理学者なんでしょうかね？
よく見たら心理学評論家とか、なんじゃそりゃ？な肩書きの方も多いので
少なくとも学会で認知されている学者とは遠そうな方のような気がする
脳科学評論家とかも大概だけど、我らが武田くんは環境評論家だっけ？
Re:テレビに出てる心理学者が予想をことごとく外すのはこのせいか (スコア:2)
そういう例は多いですよね。テレビではなんでも断言する方がウケるし、そういう専門家を求めているんだろうけど、専門家ほどちゃんと言葉を選ぶのでテレビ受けは悪いというジレンマがありそうです。結果として、怪しげな自説を断言する評論家みたいなのがテレビでコメントするようになる、と。
LIVE-GON(リベゴン)
Re: (スコア:0)
脳科学者を自称してる奴らは全部それでいいんじゃないの？
いわゆる神経科学ではない俗名での脳科学者の言うことは
基本的に心理学としか思えん。
Re: (スコア:0)
弁護士資格を持ってる本物の弁護士だけど、法廷闘争は全く（？）やらずにテレビ出演が本業になってて、
しまいにゃトラブル起こして弁護士資格剥奪されそうになったら政治家に転向して、あちこち
引っかき回したタレント弁護士だっているわけですし。
資格を持ってる本物だからと言って、経験豊富な専門家とは限らんのやで。
まして「心理学者」とかって、そういう資格があるわけじゃないんでしょ？
（オフトピ） (スコア:0)
× あちこち引っかき回したタレント弁護士
○ あちこち引っかき回してるタレント弁護士
怖ろしいことに、引退宣言後の今も絶賛進行中なんですよ…
一体いつになったら終わるんでしょう。
Re: (スコア:0)
心理学にも種類があるんですよね？
よく聞くのは行動心理学と社会心理学ですが。
Re: (スコア:0)
認知心理学と臨床心理学と歴史心理学かな
Re: (スコア:0)
>歴史心理学
そういう用語もあるようだけど、言いたかったのは心理歴史学 [wikipedia.org]の方かなきっと
Re: (スコア:0)
Re: (スコア:0)
神経心理学 [wikipedia.org]とか、まさに科学でしょう。
Re:テレビに出てる心理学者が予想をことごとく外すのはこのせいか (スコア:1)
「その＜脳科学＞にご用心」 [kinokuniya.co.jp]を読むと「まさに科学」というのは言い過ぎに感じる。
fMRIで得られた画像が「心」を写してると勘違いするとか。
Re: (スコア:0)
テレビ（特に健康/情報バラエティ系）に出てる学者って、基本的にアレな人が多いと思う。心理学に限らず
特に脳科学、医学あたり
動物学者に研究させたほうがいいかもしれんね (スコア:0)
人間を人間と見ずに動物や機械として見ないと主観を取り除けないような
Re: (スコア:0)
#2874623 のとおり派閥はいろいろあるみたい。
この場合は行動主義心理学、かな。
https://ja.wikipedia.org/wiki/%E8%A1%8C%E5%8B%95%E4%B8%BB%E7%BE%A9%E5%... [wikipedia.org]
よく知らないけどスキナー箱に入れるのはたぶん動物だと思われますね。
結果がでなければ（オフトピ） (スコア:0)
>>その一方で研究としてまとめられない「見捨てられた」実験結果についても何らかの価値はあるはずだが、
これは、研究に限らず「仕事」と呼ばれるもの全ての宿命では？
結果がでなければ、その努力はなかったも同然。その屍を乗り越えてこそ、数少ない成功があるのでしょう。
Re: (スコア:0)
要点がずれてるよ。情報としての価値ってことだよ
Re:結果がでなければ（オフトピ） (スコア:1)
ってな情報が論文としてまとまっていたら、研究の方針を決定する時に非常に役立つだろうし、研究の進み方も大きく加速するだろうって思うんですよね、世界的に。まあでも成功しなければ論文にならないからなぁ。車輪の再発明ならぬ、車輪の再発明失敗を何度も繰り返している気分。
Re: (スコア:0)
組成比率を微妙に変えながら片っ端から調べるという手法をとったりすることもあるわけで、世界中で同じ比率の実験をひたすらやるという無駄なことをしていたりする。
データベース化すればある程度の数の研究グループが手をつけて失敗したところはパスできるので、分野トータルとしては研究が捗るはずだが、研究成果には名誉と研究資金がついてまわるので、わざわざ他人に塩を送るようなこの手のデータベースは難しい。
データベースから情報は貰うが、自分が失敗したデータは登録しないっていう研究者が増えると破綻する。
東工大、超伝導材料開発の際に失敗した材料のデータベースを公開 (http://science.srad.jp/story/14/07/24/0352223/) はその後どうなったんだろう。
どこに置いてあるのか判らなかった。
Re: (スコア:0)
つ 出版バイアス [wikipedia.org]
再現性 (スコア:0)
追試して同じ結果が出ないような論文が引用とかもされてたら恐いですな
有意差があるか (スコア:0)
http://psychoterm.jp/approach/statistics/03.html [psychoterm.jp]
論文再現率39パーセントだと、「論文の反対の結論が正しい」と考えてしまいそうだが、恐らくもうちょっとややこしい。
心理学だと統計の有意水準は大体5パーセントであり、論文の著者はそれを満たしたのを錦の御旗にして
主要雑誌に論文を載せていたのだが、それが第三者検証という因子だけで吹っ飛ぶ程度の
信頼性しかなかったという事だと思われる。
自然科学と違い、心理学・社会科学だと、第三者検証も考えて
もう少し論文のハードルを上げないとまずいのだろう。
Re:有意差があるか (スコア:1)
母集団の大きさはどれくらいだったんだろう。
20人調べました、ひとりを除いてほぼ同一の値が取れました、ではどうしたって信頼性に欠けてしまう。では1000なら十分だったのか？それとも100万調べないと意味がないのか？
と悩んでしまう。
わたしはCMで10人未満の小集団をサンプルとして効果をうたうもの（しかも効果の出た２～３人の声だけ強調）を見すぎて疑心暗鬼に陥っているんだろうか。
Re: (スコア:0)
人数も問題ですし、集めた集団が偏ってないかも要確認なので、なかなか難しい。
例えば「大学生を100人集めた」としても、「同じ大学の学生100人」と「全国からランダムに集めた大学生100人」では全然違いますもんね。
サンプリングがある程度ランダムなら、たいていの問題は2000人集めたら統計的にアリ、みたいな試算があったと思うけど、どうだったかな。
#臨床医学の分野だとそれこそ1～数例からでも情報として価値があったりするんで、再現性とか統計的意義とか抜きで「3例やって1例成功した」みたいな論文が出たりするけども
既視感？ (スコア:0)
>新規性があり、肯定的で、整然とした結果が査読を通過する可能性が高く、これは、自説にそぐわない否定的な結果や研究を除外するという発表の偏向につながる恐れがある。
思い当たった。
これは心理学が、官公庁が募集するパブリックコメントに追いついてきたということだ。
そりゃそうよ (スコア:0)
大学で社会心理学やってましたが、「自分の望ましい結果が得られる統計分析手法」を用いるのが当たり前の世界でした。
かつ、相関係数0.2で相関あり、0.4もでれば強い相関あり、と言ってしまうエセ科学。
この39%ってのも、動物実験やほぼ脳生理学に近い研究が押し上げてくれてやっとこさ、じゃないですかね。
Re: (スコア:0)
それでもまだ何か統計分析手法を使ってるだけマシなんじゃないの？
Re: (スコア:0)
いや、この場合は統計を権威付けに悪用しているでしょ。
科学じゃないのに科学を装う、似非科学の類。
Re: (スコア:0)
心理学に限ったこっちゃない。
経済学はそうだったし、別の分野だって似たようなもんだろう。
一つだけわかってることは信じられることなんか何もないってことだけ。
追試 (スコア:0)
この「追試実験」を追試した「再追試」の結果が気になります。
「追試実験」の著者は、「追試結果が悪い」と論文のネタになるので、そのようなバイアスがかかった実験をしてしまうかも知れません。
そうすると、「追試」の結果が悪くなる。
「再追試」をしたとすると、その著者は、「追試実験が正しくない」と論文のネタになるので、そのようなバイアスがかかった実験を
してしまうかも知れません。
そうすると、「追試」の結果が良くなる。