# 请问标准偏差在什么范围才是正常的?

HarperEdge 1997 pp320 \$25

“---这本书，听说2013年7月份才有中文版）

Radin points out that there were 186 publications on ESP card tests worldwide from 1882 to 1939. "The combined results of this four-million trial database [taken at face value]," he says, "translate into tremendous odds against chance--more than a billion trillion to one." (A 'trial' is the guess of one card) He means that the P value is about 10^-21--he is not writing only for the scientific establishment. This P value corresponds to a bulge above 'chance' expectation of 9.5 sigma, where sigma is the standard deviation. (I call that a 'sigmage' of 9.5.)

Given the null hypothesis ('chance'), the bulge would be unaffected so the sigmage would be divided by sqrt (16 ) = 4 and would become 9.5/4 = 2.4 with a P value of about 1/100.

2 個已更新項目:

### 2 個解答

• 7 年前
最佳解答

9.5 不是 sigma (σ) 的值.

" ... P value is about 10^-21",

"This P value corresponds to a bulge above 'chance' expectation

of 9.5 sigma"

先有個 p-value 是 10^{-21}, 即 0.000000000000000000001.

而這個 p-value 相當於離差是 9.5 倍標準差.

上述 "9.5倍標準差" 這個 "標準差", 也不是某個抽樣群體的標準差,

而是某個統計量的標準差. 也就是說, 某個被考慮的檢定統計量,

與 "預期的值" (在 H0 之下) 的差距達該統計量標準差的 9.5 倍.

不過, 上述那麼小的 p-value 看來並不是某個單次抽樣而得的樣本

的結果, 而是合併全世界 186 篇發表的 ESP card tests 的資料的

結果.

2013-07-03 21:02:33 補充：

在你所謂 "因為考慮到約3300篇未發表文章" 那一段文字, 是這樣的:

to "nullify" the statistical significance, the file drawer would have to contain "more than 3,300 unpublished, unsuccessful reports for each published report". That number 3,300 is a gross overestimate. It should be reduced at least to about 15 (or even to 8).

2013-07-03 21:02:43 補充：

大意是說:

Radin 認為, 若要依統計的方法把上述結果變成 "不棄卻 H0", 大概每一

篇被發表的 "成功" 報告, 要伴隨3300篇以上未發表的, "不成功"的報告.

然而, 寫這篇評論的統計學家 I. J. Good 說: 沒那麼誇張, 大概可以把這

數字降到 15, 甚至到 8.

2013-07-03 21:20:19 補充：

接下來你補充提到的這段, 是假設一篇發表的報告對應15篇沒發表的,

也就是實際樣本數應是 16 倍.

已發表的 t1 ≒ θ0 + 9.5*se(T1) 　(即 (t1- θ0)/se(T1) = 9.5)

未發表的, 假設 t2 ≒ θ0 + 0*se(T2) (即 (t2- θ0)/se(T2) = 0)

合併已發表、未發表的, 統計量 T 的值是

t = (1*t1+15*t2)/16 = θ0 + (9.5*se(T1)+15*0*se(T2))/16

而合併的標準誤是

se(T) = {(se(T1))^2+15*(se(T2))^2)/16}/16

2013-07-03 21:20:36 補充：

假設已發表的, 未發表的, 其每篇報告之樣本大小相同, se(T1)≒se(T2)=s,

則 se(T) = s/√16.

故合併已發表、未發表資料的檢定統計量是

(t-θ0)/se(T) = [(9.5*s)/16] /(s/√16) = 9.5/4 ≒ 2.4

對應 p-value 大約是 0.01 (單尾).

2013-07-03 21:25:40 補充：

從 I. J. Good 這篇 review 來看, Radin 的書看來是很有問題的.

作者的書可能試圖說服讀者 "超能力是存在的". 然而, 其中對於

統計的運用, 問題看來是很多的?

2013-07-03 21:33:04 補充：

這篇評論第一段:

Christopher R. Evans ...He had travelled from London in a Boeing 727. The licence number of my car happened to be CRE 727. The probability of that coincidence was about

(1/26)^3 x 1,000 = 1/17,000,000.

很有意思...(不過式子不對, 可能是排版問題! 1/17000000000 不是 (1/26)^3 × 1000,

而是 1/(26^3 × 1000) 的近似值.)

2013-07-03 21:40:47 補充：

這指出什麼? 從機率上來看,

(人: C.R.E. + 機 727) 與 (車牌 CRE727)

似乎太巧合了吧? 其機率是 17百萬次之中才一次的啊!

然而, 這種巧合卻時常發生!

這種巧合真的是 "心有靈犀"?

2013-07-03 21:41:14 補充：

不! 其實這都是 "事後解釋" 造成的巧合.

2013-07-03 21:42:41 補充：

寫不下了!

2013-07-03 21:51:21 補充：

不要因為他用 9.5/√16 = 2.4 這樣的算式就是為 9,5 是標準差.

2013-07-03 22:26:21 補充：

補充回答中有點小錯. 修正重貼如下:

已發表的 (t1- θ0)/se(T1) = 9.5, 即 t1 ≒ θ0 + 9.5*se(T1) ;

未發表的, 假設 (t2- θ0)/se(T2) = 0, 即 t2 ≒ θ0 + 0*se(T2) = θ0.

合併已發表、未發表的, 假設其平均樣本數相同, 則

統計量 T 的值是

t = (1*t1+15*t2)/16 = θ0 + (9.5*se(T1)+15*0*se(T2))/16

= θ0 + (9.5/16)se(T1)

2013-07-03 22:26:34 補充：

設 se(T1) 是總樣本數 n 之已發表報告 T1 統計量的標準誤;

而 se(T2) 是總樣本數 15n 之未發表報告 T2 統計量之標準誤.

設 se(T1) ≒ s/√n, se(T2) ≒ s/√(15n) ≒ se(T1)/√15,

而 se(T) 應是 s/√(16n) = se(T1)/√16, 故

(t-θ0)/se(T) = (9.5/16)se(T1)/(se(T1)/√16)

= 9.5/√16 = 9.5/4

2013-07-03 22:34:00 補充：

I. J. Good 的計算明確地顯示: 若已發表的報告與未發表的報告是

1:15, 若未發表的報告平均而言 effect 是 0 (事實上應是小於 0),

則所謂合併樣本之 z 值 9.5, 把包含未發表資料算進去, 事實上

z 值值約 2.4.

因為, 在 H0 之下平均 effect 是 0. 而已發表的切是 positive,

事實上必是 significant positive result, 因此未發表的平均應是

negative.

2013-07-03 22:43:02 補充：

如果所有報告, 不論已發表、未發表, 其樣本大小都一樣.

設所有報告平均值是 0, 只有顯著的 (至少 z>1.645) 才會

被期刊接受而發表, 其比例是 5%. 也就是發表與未發表的

報告是 1:19. 因此, 1:15 已經是偏高了, 這等於假設平均而

言 z 值略大於 0.

Radin 的 1:3300 比例是怎麼來的不得而知, 但 I. J. Good

的計算顯示: 即使沒有 ESP, 從那些宣稱有 ESP 證據的

報告整合出 p-value 10^{-21} 並不稀奇!

2013-07-04 00:01:34 補充：

不知他如何算出這p值的.

如果 p值確實那麼低, 對應 z 值大約是 96,

的確需要約 1: 3400 的發表/未發表比才能把它拉高到 0.05;

約 1:1700 才能把 p 值提高至 0.01.

186篇報告總共400萬的 trials? 每篇報告都要超過10000 trials...

就算是最簡單的丟銅板實驗都是大工程!

2013-07-04 00:06:03 補充：

以 400萬 Bernoulli trials, 要多少 positive results 才能達到 z=96?

(x-2000000)/√[4000000*(1/2)^2] = 96 則

x = 200萬+96*1000 = 209.6萬

也就是說, 猜對比例是 209.6/400 = 0.524

看起來 ESP 也不怎麼樣啊!

99.9% 信心之下, 猜對率在

0.524±3.29√[(1/2)^2/4000000] = 0.524±0.0008

充其量猜對率不高於 0.525.

2013-07-04 00:07:17 補充：

離題了!

原問題涉及的是 I. J. Good 書評中的 9.5 是什麼東西,

而不是關於 ESP 是否存在的問題.

2013-07-09 19:56:16 補充：

∫e^(- 0.5t^2)dt

不定積分沒有 closed form, 也就是沒有辦法用初等函數來表示.

一般定積分只能數值計算.

只有 [0,∞) 或 (-∞,∞) 可2算. 這在一般微積分教本就有了, 另外

在這個 "知識+" 我也回答過.

找到了...

tw.knowledge.yahoo.com/question/question?qid=1613052703086

2013-07-09 20:08:23 補充：

z=9.5 時 I. J. Good 算出只要 15:1 的未發表:發表比例, 是因為他

覺得用 0.01 的顯著水準適當. 不過, 即使用 0.05 的顯著水準, 其

修正也是很有限的. 因 0.01 的單尾 z 臨界值是 2.33, 如果依我前

面說的 I. J. Good 計算方式, 是 (9.5/2.33)^2 大約是 16 倍樣本;

如果取顯著水準 0.05, 單尾臨界值是 1.645, (9.5/1.645)^2 = 33倍,

需要 32:1.

2013-07-09 20:08:36 補充：

至於原作者的書所以說需要 3300:1, 據他的抗辯是說真正的 p 值

不是 10^{-21} 而是 10^{-2000}, 這樣的 p 值, 再加上取 0.05 顯著

水準, 前面我算過, 大約要提升樣本 3400倍, 也就是一篇發表的要

對應約3400篇未發表的.

2013-07-09 20:21:26 補充：

關於大的 z 值對應的常態分布尾巴機率近似值, 一般機率學教本可能有.

網路搜尋我日前嘗試過, 沒有成功找到. 不過, 其實不難. 我回答你的被

移除, 我也沒留底, 就重新寫一下好了:

標準常態 p.d.f. φ(z) = (1/√(2π))e^{-z^2/2}

做微分: φ'(z) = (-z)φ(z).

2013-07-09 20:24:43 補充：

因此,

∫_[z,∞) φ(t) dt = ∫_[z,∞) (-1/t)(-t)φ(t) dt (把 (-t)φ(t) 當 φ'(t), 先積分.)

= (-1/t)φ(t)|_[z,∞) - ∫_[z,∞) (1/t^2) φ(t) dt

= (1/z)φ(z) - ∫_[z,∞)(-1/t^3)(-t)φ(t) dt

= (1/z-1/z^3)φ(z) + ∫_[z,∞) (3/t^4)φ(t) dt

= (1/z-1/z^3+3/z^5)φ(z) - ∫_[z,∞) (15/t^6)φ(t) dt

所以

P[Z>z] ≒ (1/z-1/z^3+1/z^5)φ(z)

2013-07-09 20:33:51 補充：

P[Z>z] ≒ (1/z-1/z^3+3/z^5-15/z^7)φ(z)

z 很大時就用 P[Z>z] ≒ (1/z)φ(z).

給予 p 值很小, 單尾的話就解 p = (1/z)e^{-z^2/2}/√(2π) 可得對

應 z 值. 雙尾的話把 p 值減半去解.

若 p 值不算很小, z 值不算很大, 上述右尾機率近似公式就多取

幾項應該也可以. 如 z=3 時, P[Z>3] = 0.00135, 而近似公式得

(取1項) 0.001477283(取2項) 0.00131314(取3項)0.001367854

(取4項) 0.001337458

2013-07-09 20:45:43 補充：

z　(1/z)φ(z)　(1/z-1/z^3)φ(z)　(1/z-1/z^3+3/z^5)φ(z)　(1/z-…-15/z^7)φ(z)

1-normsdist(z)

4　3.345756E-05　3.136646E-05　3.175854E-05　3.163601E-05

3.167124E-05

5　2.973439E-07　2.854501E-07　2.868774E-07　2.865919E-07

2.866516E-07

6　1.012647E-09　9.845181E-10　9.868621E-10　9.865366E-10

9.865877E-10

2013-07-09 20:46:12 補充：

z　(1/z)φ(z)　(1/z-1/z^3)φ(z)　(1/z-1/z^3+3/z^5)φ(z)　(1/z-…-15/z^7)φ(z)

1-normsdist(z)

6　1.012647E-09　9.845181E-10　9.868621E-10　9.865366E-10

9.865877E-10

7　1.304960E-12　1.278328E-12　1.279959E-12　1.279792E-12

1.279865E-12

8　6.315339E-16　6.216662E-16　6.221287E-16　6.220926E-16

0.000000E+00

• 匿名使用者
7 年前

後面還有幾句這樣的：

Given the null hypothesis ('chance'), the bulge would be unaffected so the sigmage would be divided by sqrt (16 ) = 4 and would become 9.5/4 = 2.4 with a P value of about 1/100.

所以这里的标准偏差（sigma）是9.5。見：http://www2.cruzio.com/~quanta/review.html

2013-07-03 22:11:44 補充：

2013-07-08 09:24:30 補充：

另外一個關於z值的問題，因為我添加較多鏈接(不是廣告)，被刪除問題了，心都碎了，遲點再向你請教。不知有沒有其他的溝通方式，可以寫信告訴我或我寫給你？在你的自我介紹裡的提供的bbs鏈接不知為什麼進不去。不敢在這裡寫鏈接和其他郵箱之類了，這個問題被刪了，就又麻煩了。今天我只能寫3個意見。。。

2013-07-08 09:54:11 補充：

能進去你的部落格，但是不能留言，也不能啟動我的部落格，雅虎太不包容了吧。。。關於z值表應該會看了，用軟件的NORMDIST()等函數也能求，不過p值太小了，求不到，麻煩再寫一下通過很小的p值求z值的公式，麻煩最好給一下這些知識的相關參考資料，鏈接之類的。thank u again! 在這裡的sigma是不是1來的？拒接或接受无效假设（null hypothesis）H0的主要根據指標是p值（或者從p值而來的z值？----亦只是一個指標？）？z值大於1.645（相當於p值<0.05)時，拒絕H0？理論上，z值可以無限大？

2013-07-08 11:12:17 補充：

又，關於未發表文章的數量的統計，Dean應該是根據論文（the "file drawer problem" and tolerance for null results）的公式算出來的，我用z=9.5算出的數是6202.4368，即【6202篇未發表文章：1篇發表的】，比3300：1還要大。不知是否算錯了。。。而Good估算為15：1，沒有給出參考文獻，而且說甚至可以是8：1，覺得他沒有認真計算過。Dean也反駁他沒成功估算這個比例。綜合看來，Dean說的比較有道理。有興趣的話，可以查閱相關資料或者我傳送給你。還有這裡指的不是丢銅板實驗，是五選一實驗，那個0.524算錯了。