匿名使用者
匿名使用者 發問時間: 科學數學 · 7 年前

请问标准偏差在什么范围才是正常的?

请问是不是在不同的情况,标准偏差的正常范围是不同的?

在下文的情况下,标准偏差在什么范围才是正常的?(该文针对“The Conscious Universe: The Scientific Truth of Psychic Phenomena

by Dean Radin

HarperEdge 1997 pp320 $25

“---这本书,听说2013年7月份才有中文版)

这里的标准偏差(sigma)是9.5,算不算高,作者(Dean Radin)說是因為考慮到約3300篇未發表文章的才這麼高的。

Radin points out that there were 186 publications on ESP card tests worldwide from 1882 to 1939. "The combined results of this four-million trial database [taken at face value]," he says, "translate into tremendous odds against chance--more than a billion trillion to one." (A 'trial' is the guess of one card) He means that the P value is about 10^-21--he is not writing only for the scientific establishment. This P value corresponds to a bulge above 'chance' expectation of 9.5 sigma, where sigma is the standard deviation. (I call that a 'sigmage' of 9.5.)

已更新項目:

後面還有幾句這樣的:

Given the null hypothesis ('chance'), the bulge would be unaffected so the sigmage would be divided by sqrt (16 ) = 4 and would become 9.5/4 = 2.4 with a P value of about 1/100.

所以这里的标准偏差(sigma)是9.5。見:http://www2.cruzio.com/~quanta/review.html

2 個已更新項目:

2 個解答

評分
  • 7 年前
    最佳解答

    9.5 不是 sigma (σ) 的值.

    " ... P value is about 10^-21",

    "This P value corresponds to a bulge above 'chance' expectation

    of 9.5 sigma"

    先有個 p-value 是 10^{-21}, 即 0.000000000000000000001.

    而這個 p-value 相當於離差是 9.5 倍標準差.

    上述 "9.5倍標準差" 這個 "標準差", 也不是某個抽樣群體的標準差,

    而是某個統計量的標準差. 也就是說, 某個被考慮的檢定統計量,

    與 "預期的值" (在 H0 之下) 的差距達該統計量標準差的 9.5 倍.

    不過, 上述那麼小的 p-value 看來並不是某個單次抽樣而得的樣本

    的結果, 而是合併全世界 186 篇發表的 ESP card tests 的資料的

    結果.

    2013-07-03 21:02:33 補充:

    在你所謂 "因為考慮到約3300篇未發表文章" 那一段文字, 是這樣的:

    to "nullify" the statistical significance, the file drawer would have to contain "more than 3,300 unpublished, unsuccessful reports for each published report". That number 3,300 is a gross overestimate. It should be reduced at least to about 15 (or even to 8).

    2013-07-03 21:02:43 補充:

    大意是說:

    Radin 認為, 若要依統計的方法把上述結果變成 "不棄卻 H0", 大概每一

    篇被發表的 "成功" 報告, 要伴隨3300篇以上未發表的, "不成功"的報告.

    然而, 寫這篇評論的統計學家 I. J. Good 說: 沒那麼誇張, 大概可以把這

    數字降到 15, 甚至到 8.

    2013-07-03 21:20:19 補充:

    接下來你補充提到的這段, 是假設一篇發表的報告對應15篇沒發表的,

    也就是實際樣本數應是 16 倍.

    已發表的 t1 ≒ θ0 + 9.5*se(T1)  (即 (t1- θ0)/se(T1) = 9.5)

    未發表的, 假設 t2 ≒ θ0 + 0*se(T2) (即 (t2- θ0)/se(T2) = 0)

    合併已發表、未發表的, 統計量 T 的值是

    t = (1*t1+15*t2)/16 = θ0 + (9.5*se(T1)+15*0*se(T2))/16

    而合併的標準誤是

    se(T) = {(se(T1))^2+15*(se(T2))^2)/16}/16

    2013-07-03 21:20:36 補充:

    假設已發表的, 未發表的, 其每篇報告之樣本大小相同, se(T1)≒se(T2)=s,

    則 se(T) = s/√16.

    故合併已發表、未發表資料的檢定統計量是

    (t-θ0)/se(T) = [(9.5*s)/16] /(s/√16) = 9.5/4 ≒ 2.4

    對應 p-value 大約是 0.01 (單尾).

    2013-07-03 21:25:40 補充:

    從 I. J. Good 這篇 review 來看, Radin 的書看來是很有問題的.

    作者的書可能試圖說服讀者 "超能力是存在的". 然而, 其中對於

    統計的運用, 問題看來是很多的?

    2013-07-03 21:33:04 補充:

    這篇評論第一段:

    Christopher R. Evans ...He had travelled from London in a Boeing 727. The licence number of my car happened to be CRE 727. The probability of that coincidence was about

    (1/26)^3 x 1,000 = 1/17,000,000.

    很有意思...(不過式子不對, 可能是排版問題! 1/17000000000 不是 (1/26)^3 × 1000,

    而是 1/(26^3 × 1000) 的近似值.)

    2013-07-03 21:40:47 補充:

    這指出什麼? 從機率上來看,

    (人: C.R.E. + 機 727) 與 (車牌 CRE727)

    似乎太巧合了吧? 其機率是 17百萬次之中才一次的啊!

    然而, 這種巧合卻時常發生!

    這種巧合真的是 "心有靈犀"?

    2013-07-03 21:41:14 補充:

    不! 其實這都是 "事後解釋" 造成的巧合.

    2013-07-03 21:42:41 補充:

    寫不下了!

    2013-07-03 21:51:21 補充:

    不要因為他用 9.5/√16 = 2.4 這樣的算式就是為 9,5 是標準差.

    2013-07-03 22:26:21 補充:

    補充回答中有點小錯. 修正重貼如下:

    已發表的 (t1- θ0)/se(T1) = 9.5, 即 t1 ≒ θ0 + 9.5*se(T1) ;

    未發表的, 假設 (t2- θ0)/se(T2) = 0, 即 t2 ≒ θ0 + 0*se(T2) = θ0.

    合併已發表、未發表的, 假設其平均樣本數相同, 則

    統計量 T 的值是

    t = (1*t1+15*t2)/16 = θ0 + (9.5*se(T1)+15*0*se(T2))/16

     = θ0 + (9.5/16)se(T1)

    2013-07-03 22:26:34 補充:

    設 se(T1) 是總樣本數 n 之已發表報告 T1 統計量的標準誤;

    而 se(T2) 是總樣本數 15n 之未發表報告 T2 統計量之標準誤.

    設 se(T1) ≒ s/√n, se(T2) ≒ s/√(15n) ≒ se(T1)/√15,

    而 se(T) 應是 s/√(16n) = se(T1)/√16, 故

    (t-θ0)/se(T) = (9.5/16)se(T1)/(se(T1)/√16)

        = 9.5/√16 = 9.5/4

    2013-07-03 22:34:00 補充:

    I. J. Good 的計算明確地顯示: 若已發表的報告與未發表的報告是

    1:15, 若未發表的報告平均而言 effect 是 0 (事實上應是小於 0),

    則所謂合併樣本之 z 值 9.5, 把包含未發表資料算進去, 事實上

    z 值值約 2.4.

    因為, 在 H0 之下平均 effect 是 0. 而已發表的切是 positive,

    事實上必是 significant positive result, 因此未發表的平均應是

    negative.

    2013-07-03 22:43:02 補充:

    如果所有報告, 不論已發表、未發表, 其樣本大小都一樣.

    設所有報告平均值是 0, 只有顯著的 (至少 z>1.645) 才會

    被期刊接受而發表, 其比例是 5%. 也就是發表與未發表的

    報告是 1:19. 因此, 1:15 已經是偏高了, 這等於假設平均而

    言 z 值略大於 0.

    Radin 的 1:3300 比例是怎麼來的不得而知, 但 I. J. Good

    的計算顯示: 即使沒有 ESP, 從那些宣稱有 ESP 證據的

    報告整合出 p-value 10^{-21} 並不稀奇!

    2013-07-04 00:01:34 補充:

    Radin 的反駁說其實際 p-value 是 10^{-2000}.

    不知他如何算出這p值的.

    如果 p值確實那麼低, 對應 z 值大約是 96,

    的確需要約 1: 3400 的發表/未發表比才能把它拉高到 0.05;

    約 1:1700 才能把 p 值提高至 0.01.

    186篇報告總共400萬的 trials? 每篇報告都要超過10000 trials...

    就算是最簡單的丟銅板實驗都是大工程!

    2013-07-04 00:06:03 補充:

    以 400萬 Bernoulli trials, 要多少 positive results 才能達到 z=96?

    (x-2000000)/√[4000000*(1/2)^2] = 96 則

    x = 200萬+96*1000 = 209.6萬

    也就是說, 猜對比例是 209.6/400 = 0.524

    看起來 ESP 也不怎麼樣啊!

    99.9% 信心之下, 猜對率在

    0.524±3.29√[(1/2)^2/4000000] = 0.524±0.0008

    充其量猜對率不高於 0.525.

    2013-07-04 00:07:17 補充:

    離題了!

    原問題涉及的是 I. J. Good 書評中的 9.5 是什麼東西,

    而不是關於 ESP 是否存在的問題.

    2013-07-09 19:56:16 補充:

    ∫e^(- 0.5t^2)dt

    不定積分沒有 closed form, 也就是沒有辦法用初等函數來表示.

    一般定積分只能數值計算.

    只有 [0,∞) 或 (-∞,∞) 可2算. 這在一般微積分教本就有了, 另外

    在這個 "知識+" 我也回答過.

    找到了...

    tw.knowledge.yahoo.com/question/question?qid=1613052703086

    2013-07-09 20:08:23 補充:

    z=9.5 時 I. J. Good 算出只要 15:1 的未發表:發表比例, 是因為他

    覺得用 0.01 的顯著水準適當. 不過, 即使用 0.05 的顯著水準, 其

    修正也是很有限的. 因 0.01 的單尾 z 臨界值是 2.33, 如果依我前

    面說的 I. J. Good 計算方式, 是 (9.5/2.33)^2 大約是 16 倍樣本;

    如果取顯著水準 0.05, 單尾臨界值是 1.645, (9.5/1.645)^2 = 33倍,

    需要 32:1.

    2013-07-09 20:08:36 補充:

    至於原作者的書所以說需要 3300:1, 據他的抗辯是說真正的 p 值

    不是 10^{-21} 而是 10^{-2000}, 這樣的 p 值, 再加上取 0.05 顯著

    水準, 前面我算過, 大約要提升樣本 3400倍, 也就是一篇發表的要

    對應約3400篇未發表的.

    2013-07-09 20:21:26 補充:

    關於大的 z 值對應的常態分布尾巴機率近似值, 一般機率學教本可能有.

    網路搜尋我日前嘗試過, 沒有成功找到. 不過, 其實不難. 我回答你的被

    移除, 我也沒留底, 就重新寫一下好了:

    標準常態 p.d.f. φ(z) = (1/√(2π))e^{-z^2/2}

    做微分: φ'(z) = (-z)φ(z).

    2013-07-09 20:24:43 補充:

    因此,

    ∫_[z,∞) φ(t) dt = ∫_[z,∞) (-1/t)(-t)φ(t) dt (把 (-t)φ(t) 當 φ'(t), 先積分.)

    = (-1/t)φ(t)|_[z,∞) - ∫_[z,∞) (1/t^2) φ(t) dt

    = (1/z)φ(z) - ∫_[z,∞)(-1/t^3)(-t)φ(t) dt

    = (1/z-1/z^3)φ(z) + ∫_[z,∞) (3/t^4)φ(t) dt

    = (1/z-1/z^3+3/z^5)φ(z) - ∫_[z,∞) (15/t^6)φ(t) dt

    所以

    P[Z>z] ≒ (1/z-1/z^3+1/z^5)φ(z)

    2013-07-09 20:33:51 補充:

    P[Z>z] ≒ (1/z-1/z^3+3/z^5-15/z^7)φ(z)

    z 很大時就用 P[Z>z] ≒ (1/z)φ(z).

    給予 p 值很小, 單尾的話就解 p = (1/z)e^{-z^2/2}/√(2π) 可得對

    應 z 值. 雙尾的話把 p 值減半去解.

    若 p 值不算很小, z 值不算很大, 上述右尾機率近似公式就多取

    幾項應該也可以. 如 z=3 時, P[Z>3] = 0.00135, 而近似公式得

    (取1項) 0.001477283(取2項) 0.00131314(取3項)0.001367854

    (取4項) 0.001337458

    2013-07-09 20:45:43 補充:

    z (1/z)φ(z) (1/z-1/z^3)φ(z) (1/z-1/z^3+3/z^5)φ(z) (1/z-…-15/z^7)φ(z)

       1-normsdist(z)

    4 3.345756E-05 3.136646E-05 3.175854E-05 3.163601E-05

       3.167124E-05

    5 2.973439E-07 2.854501E-07 2.868774E-07 2.865919E-07

       2.866516E-07

    6 1.012647E-09 9.845181E-10 9.868621E-10 9.865366E-10

       9.865877E-10

    2013-07-09 20:46:12 補充:

    z (1/z)φ(z) (1/z-1/z^3)φ(z) (1/z-1/z^3+3/z^5)φ(z) (1/z-…-15/z^7)φ(z)

       1-normsdist(z)

    6 1.012647E-09 9.845181E-10 9.868621E-10 9.865366E-10

       9.865877E-10

    7 1.304960E-12 1.278328E-12 1.279959E-12 1.279792E-12

       1.279865E-12

    8 6.315339E-16 6.216662E-16 6.221287E-16 6.220926E-16

       0.000000E+00

  • 匿名使用者
    7 年前

    後面還有幾句這樣的:

    Given the null hypothesis ('chance'), the bulge would be unaffected so the sigmage would be divided by sqrt (16 ) = 4 and would become 9.5/4 = 2.4 with a P value of about 1/100.

    所以这里的标准偏差(sigma)是9.5。見:http://www2.cruzio.com/~quanta/review.html

    2013-07-03 22:11:44 補充:

    这里是反驳意见:http://www.tcm.phy.cam.ac.uk/~bdj10/psi/doubtsrego...

    2013-07-08 09:24:30 補充:

    另外一個關於z值的問題,因為我添加較多鏈接(不是廣告),被刪除問題了,心都碎了,遲點再向你請教。不知有沒有其他的溝通方式,可以寫信告訴我或我寫給你?在你的自我介紹裡的提供的bbs鏈接不知為什麼進不去。不敢在這裡寫鏈接和其他郵箱之類了,這個問題被刪了,就又麻煩了。今天我只能寫3個意見。。。

    2013-07-08 09:54:11 補充:

    能進去你的部落格,但是不能留言,也不能啟動我的部落格,雅虎太不包容了吧。。。關於z值表應該會看了,用軟件的NORMDIST()等函數也能求,不過p值太小了,求不到,麻煩再寫一下通過很小的p值求z值的公式,麻煩最好給一下這些知識的相關參考資料,鏈接之類的。thank u again! 在這裡的sigma是不是1來的?拒接或接受无效假设(null hypothesis)H0的主要根據指標是p值(或者從p值而來的z值?----亦只是一個指標?)?z值大於1.645(相當於p值<0.05)時,拒絕H0?理論上,z值可以無限大?

    2013-07-08 11:12:17 補充:

    又,關於未發表文章的數量的統計,Dean應該是根據論文(the "file drawer problem" and tolerance for null results)的公式算出來的,我用z=9.5算出的數是6202.4368,即【6202篇未發表文章:1篇發表的】,比3300:1還要大。不知是否算錯了。。。而Good估算為15:1,沒有給出參考文獻,而且說甚至可以是8:1,覺得他沒有認真計算過。Dean也反駁他沒成功估算這個比例。綜合看來,Dean說的比較有道理。有興趣的話,可以查閱相關資料或者我傳送給你。還有這裡指的不是丢銅板實驗,是五選一實驗,那個0.524算錯了。

還有問題?馬上發問,尋求解答。