看穿統計 naked statistics -抽樣與推論

統計中，抽樣是很大的學問，有兩個理論必須了解：
（1）中央極限定理(Central Limit Theorem) ，他的觀念是，如果我們要研究某個母體（假設馬拉松選手與相撲選手，前者體重平均值 167磅，變異數36磅）；當我們要用抽樣來調查，第一次在某輛公車上， 第二次在某次市民運動會，接著進行到62次的抽樣，每個樣本的平均值分別記錄，也可以計算標準誤差 SE （累計每個平均值和整體平均值的誤差平方和再開根號除以62次）， SE＝ 36/根號62 ＝4.6，表示這62次調查的平均值，會很緊密的靠近 167磅這個中央值。這62次也會呈現常態分佈。做的次數越多，SE會越小，表示樣本平均值更集中。
（2）推論檢定的做法（statistical inference tool: hypothesis testing)：  會先假設null hypothesis （例這公車的人非馬拉松選手，平均體重遠大於167磅）, 再假設反義的 alternative hypothesis（這公車的人是馬拉松選手，體重落在167附近）， 然後抽樣找出資料，去檢定 null hypothesis 是真是假的。如果是真的（例如250磅），就推翻馬拉松選手的假說；反之,  如果體重落在合理區間（167+ 2 SE）內表示這些人可能就是馬拉松選手。
（3）信賴區間confidence interval與顯著程度 significant level:  抽樣調查的樣本計算後，看樣本平均值落在常態分佈的那個地方？

信賴區間 95%，表示在2個標準差之內， 顯著程度就可以用0.05 （1-95%）表示；
有些時候，信賴區間要求到 5.7個標準差，則顯著程度來到 0.0001 （1-99.99%）又叫p值。

誤差分兩種：type 1 & type 2 error:
type 1: low threshold, 信賴區間 1.5標準差， 抽樣結果很容易拒絕 null hypo,  超過1.5 SE 就不被當作合理的區間。 false positive
type 2: high threshold, 信賴區間 5.7標準差，抽樣結果很大空間接受 null hypo,  超過 2 SE 到 5.7 SE 這麼大的空間抽樣 也被接受為合理的區間。 false negative

這些統計檢定，有些困難，但常在市場調查報告中看到，必須有基本概念。

（4）POLLING （民調）是採用比率計算，而不是計算平均數，例如計算美國總統候選人的當選機率，我們抽取500個樣本，53%認為A會當選，47認為其他人會當選，因此我們計算A會當選的標準差SE＝（p x（1-p）／ n）的根號＝ （53％ x 47% ／500）的根號 ＝ 2%， 因此我們估計A會當選的機率落在 53% ＋2%與 －2%的區間。