アカウント名:
パスワード:
これから実験台が増えるので、統計精度も改善するでしょう
統計的有意差が無いってことは、「効果がないか、あまり効かない」なんじゃなかろうか。実験のデザイン次第だけど。その場合、統計精度が改善しても「あまり効かない」と「効果がない」の区別が付くようになるだけで、薬として使い物にならないのでは。つまり、統計精度を改善するため追加実験しても無駄なのでは。
統計的有意差が無いってことは(今回の試験だけでは)「効果があるとは言えない」であって、「効果が無い」「効果が薄い」ではないんですけどね…。
単純に運が悪い人ばかりをサンプルに選んじゃった可能性というのもあれば、見えてない強い因子を見逃してる(
統計精度、というのをどういうつもりで使ってるかも分かりませんが、例えばサンプル数を増やせばより”間違う”可能性が減らせます。でも、『効果があるか否か』の検定で有意差で区別されるのはあくまで「『効果が無い』を否定できるかどうか」であって、効果の大きさではないです。それは『効果が○○より大きいか否か』という別の検定手法を用いて判断されるべきものです。「統計的」という言葉を用いる限り、ここを混ぜて話してはいけません。(逆に言うと、「効果の有無」で有意差が出てもその有効性は臨床的には微々たるもの、というケースもあり得るのです)
単に「効果がないか薄いから有意差出てないんじゃないの」という話だけならおかしくないんですけどね。(上記とこの文との違いは理解されづらい
おっしゃることは正しいと思います。ただ、この手の試験をする場合は試験結果が無駄にならないよう、十分な有意差が出るだけのサンプル数を用意すると思うんですよ。3月に試験開始ということは必要なサンプル数を見積もるのに必要な情報は集まっていそうですし。なのに統計的有意差が出なかったということは、ばらつきの中に埋もれてしまう程度の差しか無いのかな、と思った次第です。もっとも、「ダメ元でやってみよう」というのもありえるわけで。それで自分の元コメント中で「実験のデザイン次第」と書いていました。
より多くのコメントがこの議論にあるかもしれませんが、JavaScriptが有効ではない環境を使用している場合、クラシックなコメントシステム(D1)に設定を変更する必要があります。
「科学者は100%安全だと保証できないものは動かしてはならない」、科学者「えっ」、プログラマ「えっ」
精度向上 (スコア:0)
これから実験台が増えるので、統計精度も改善するでしょう
Re: (スコア:1)
統計的有意差が無いってことは、「効果がないか、あまり効かない」なんじゃなかろうか。実験のデザイン次第だけど。その場合、統計精度が改善しても「あまり効かない」と「効果がない」の区別が付くようになるだけで、薬として使い物にならないのでは。つまり、統計精度を改善するため追加実験しても無駄なのでは。
Re: (スコア:1)
統計的有意差が無いってことは(今回の試験だけでは)「効果があるとは言えない」であって、「効果が無い」「効果が薄い」ではないんですけどね…。
単純に運が悪い人ばかりをサンプルに選んじゃった可能性というのもあれば、見えてない強い因子を見逃してる(
統計精度、というのをどういうつもりで使ってるかも分かりませんが、例えばサンプル数を増やせばより”間違う”可能性が減らせます。
でも、『効果があるか否か』の検定で有意差で区別されるのはあくまで「『効果が無い』を否定できるかどうか」であって、効果の大きさではないです。
それは『効果が○○より大きいか否か』という別の検定手法を用いて判断されるべきものです。
「統計的」という言葉を用いる限り、ここを混ぜて話してはいけません。
(逆に言うと、「効果の有無」で有意差が出てもその有効性は臨床的には微々たるもの、というケースもあり得るのです)
単に「効果がないか薄いから有意差出てないんじゃないの」という話だけならおかしくないんですけどね。(上記とこの文との違いは理解されづらい
Re:精度向上 (スコア:1)
おっしゃることは正しいと思います。
ただ、この手の試験をする場合は試験結果が無駄にならないよう、十分な有意差が出るだけのサンプル数を用意すると思うんですよ。3月に試験開始ということは必要なサンプル数を見積もるのに必要な情報は集まっていそうですし。なのに統計的有意差が出なかったということは、ばらつきの中に埋もれてしまう程度の差しか無いのかな、と思った次第です。
もっとも、「ダメ元でやってみよう」というのもありえるわけで。それで自分の元コメント中で「実験のデザイン次第」と書いていました。