Quasi Maximum Likelihood (QMLE) and Normality

        每次的數理統計課或者財金/經濟相關課程絕對都少不了「常態分配」這個假設。雖然我先前已經有說明真實世界的數據其實不一定是常態分配，不過對於統計學家以及許多財金研究而言常態分配仍然是個不可或缺的工具，其中一些原因已經有這篇國外的文章簡單介紹過了，主要是因為中央極限定理(Central Limit Theorem，數學王國的這篇網誌也有介紹)以及大數法則(Law of Large Numbers)。本篇要透過一些概念進一步敘述何以常態分配會如此受到青睞。

估計方法---最小平方法(Least Square)

         每當我們要處理模型，基本上會用真實資料確認模型能夠用在真實世界上，所以我們會校正模型。計量經濟學常用的方法是估計參數，而數理統計學也一定會帶到一些常用的估計方式，其中這個就是入門款，高中數學甚至已經簡單教過一點點了。最小平方法根據殘差項(Error term)的變異數是否固定，又分成普通最小平方法(Ordinary LS, OLS)以及廣義最小平方法(Generalized LS, GLS)，而最小平方法又有以下幾點假設:

1) 模型為線性函數

2) 沒有共線性問題(參數矩陣要Full rank)

3) 自變數跟殘差項要獨立(即沒有內生性問題)

4) 殘差項要服從常態分配

         基本上數理統計學或者計量經濟學的入門課都會這樣教最小平方法的假設。這邊之所以要提到常態分配，主要是希望我們找到的估計量是有效(Efficiency)的，意思是估計量的變異數要愈小愈好。如果2)跟3)成立，則推導出來的估計量變異數，可以找到所有可能性的最小值，也就是Cramer-Rao Lower Bound (CRLB)。

估計方法---最大概似估計(Maximum Likelihood Estimation, MLE)

    我們透過這個方法找到一組參數，使得估計出來的模型最有可能是真實模型，因此簡單來講目標函數(Objective function)為

    在此L為概似函數，f則是每個觀察值的機率密度函數。在時間數列中，通常函數之間彼此不獨立，所以概似函數會拆解成條件機率分配的乘積。如果殘差項是常態分配，而且所有最小平方法的假設皆符合，則最小平方法得到的估計量會等價於最大概似估計量，尤其如果我們要處理非線性函數，使用最大概似估計量將可以簡化成極小化殘差項的平方和，如同以下圖片中(來自我自己的上課筆記)的非線性最小平方法(Nonlinear Least Square)估計量:  

估計方法---準最大概似估計(Quasi Maximum Likelihood Estimation, QMLE)

      我們處在一個不是常態分配的世界，但常態分配在計量經濟學中其實扮演了很重要的角色，其中一個應用就是這個QMLE。這是MLE的一種推廣，在資料不一定服從常態的情況下，如果我們假設它是常態分配，那麼QMLE可以保障資料具有一致性(註1)。雖然估計量並一定有效(因為真實分配不一定是常態)，但起碼我們有方法保障樣本數量夠大時，做出來的結果夠精確。然而如果我們假設真實數據呈現卡方分配，則如果真實數據不是卡方分配，使用QMLE將無法找到一致性估計量。

            假設我們要估計股價報酬參數，並且假定殘差項的條件機率分配為

而殘差項的變異數又服從GARCH(1,1)模型

則波動度的時間數列模型可以寫成以下的概似函數，並且藉由一階條件(First Order Condition, FOC)找出參數最佳解:

而如果我們不假設報酬呈現常態分配(更貼近真實世界)，改用某個特定的形狀參數表示機率分配，則概似函數可以改寫為

尤其如果我們要估計的是風險值(Value at Risk VaR)，峰態(Kurtosis)等等的，形狀參數的選擇會更重要。儘管如果我們只想看條件變異數的話可以直接使用QMLE，並且假設真實的分配是常態，這樣就算它其實是很奇怪的分配，也可以導出一致性估計量，但如果是要看更高階的動差，則最好不要使用QMLE的手法，因為有很高的機率我們找到的估計量沒有一致性。

        因此經濟學家們更常用的手段是廣義動差法(Generalized Method of Moments)。這個方法我們既不用假設機率分配，又可以確定估計量具有一致性與有效性，它更具有常態的漸近分配。比起需要知道完整機率分配的概似估計法使用上更加方便。

經濟研究與常態分配

       有許多經濟學或財金相關理論都有常態分配的相關假設，例如Harry Markowitz的現代投資組合理論(Modern Portfolio Theory),William Sharpe以及John Lintner的資本資產訂價模型(Capital Asset Pricing Model, CAPM)(註2)，以及Fischer Black, Myron Scholes以及 Robert Merton的選擇權訂價模型。這些模型分析了資本市場中價格報酬的行為，到最後也導到了商品價格的合理模型。從數理統計學的角度來講，假設常態確實有學理依據，也替往後的財金研究提供了一個很重要的起點，大部分的研究我們都有辦法拿到足夠多的樣本，可以使參數漸近分配呈現常態。但是在小樣本的情況下使用概似估計法，我們不假設常態分配就無法找到不偏估計量(Unbiased estimator)(註3)。

(註1) 一致性(Consistency)簡單來講指的是如果我手上有很多很多筆資料，則我估計的參數儘管只是個估計值，但可以視為真實參數。從實分析上來講某個可測函數(Measurable function)的數列X依測度收斂(Converge in measure)若:

機率論當中的隨機變數(Random variable)也是一種可測函數，機率測度也是一種測度，所以依側度收斂可以推廣到依機率收斂(Converge in probability):

(註2) 在這裡假設商品報酬呈現常態還有一個理論依據。選擇投資組合通常藉由兩種方式，即報酬變異數極小化，以及預期報酬效用極大化。如果我們願意假設商品報酬呈現常態分配，則使用這兩種方式找到的投資組合會等價。然而真實世界中，選擇預期報酬效用極大化的投資人不一定會極小化變異數。

(註3) 不偏性指的是我儘管持有的資料量不夠大，但是我重複實驗很多遍，仍然可以確定平均而言參數的估計值就是真的參數

最小平方法具有這種性質，但如果我們不假設殘差項服從常態，通常概似估計法不會有，因為最小平方法等於概似估計法的必要條件就是常態分配。

參考資料

[1] Why Data Scientists love Gaussian?
[2] LSE FM437 Lent Term Course Pack (taught by Christian Julliard)
[3] LSE FM437 Machaelmas Term Course Pack (taught by Thummim Cho)