ある状態Aで行った試行と、別の状態Bで行った試行の信頼区間が重なってい るかどうかで、AとBの結果の違いが誤差なのかどうかわかる。
このへん。
なんとなく、95%信頼区間での、試行回数と起こる確率と誤差の関係を グラフにしてみた。
横軸が確率(%)、縦軸が試行回数(対数)、曲線が誤差。 一番上の曲線が+-0.5%のライン、一番下のが+-5%のラインね。
たとえば、50%で起こる現象を500回試行すると、だいたい下から2番目の曲線 ＝誤差4.5%ぐらいになる。これは95%信頼区間での計算なので、500回試行を100 回行うと、そのうち95回は45.5%〜55.5%(=227.5回〜277.5回)の範囲に収まると 思われる、ということ。
+-1%の誤差で確率を求めようとすると、50%ぐらいのモノなら10000回程度、 20%や80%だと6000回程度、10%や90%でも4000回程度は欲しい、ちうわけだ。 たいへんだぁね。
認識間違ってたら検証スレででもつっこんでくださいな。