本文作為學習筆記，翻譯自Nassim Nicholas Taleb，et al所著論文《Branching epistemic uncertainty and thickness of tails》
誤差的誤差
有
一種傳統的機率哲學方法，其中有最著名的
Laplace, Ramsey, Keynes, De Finetti, von Mises, Jeffreys
，以及最近
Levi
的權威的《Gambling and Truth》，雖然這些方法和問題影響了貝葉斯推理的某些分支，但卻尚未完全進入定量風險管理領域。
而作為一個學科領域，認識論是統計推斷和風險管理的核心要素。從根本上說，哲學探究是關於處理關於任何推理的中心問題，比如你如何知道你知道什麼？你對此有多肯定？等等。
現在讓我們考慮估計問題。所有的估算，無論是統計獲得的還是透過其他方法獲得的，根據定義都是不精確的（即“
估算
”的字面意思）。一個估計值必須重複地有一個
錯誤率
——否則它將不是一個估計，而是一個確定性或與完美相關的東西。如果我們遵循同樣的邏輯，錯誤率本身也是一個估計值——用於估計此類錯誤的方法本身並不精確。估計錯誤率沒有完美的方法。
這一過程可以無限迴圈走下去：錯誤率的錯誤率，錯誤率的錯誤率的錯誤率。。。在現實中，這一過程無法無限地持續下去。標準文獻中無法考慮到由此帶來的額外的模型不確定性和不可靠性。
在實際應用中，在啟發式確定的情況下停止遞迴迴圈是沒有問題的——在這些情況下，所有誤差都是透過時間和生存測試確定的。然而，不關心“誤差的誤差”應該被明確地宣佈為一種主觀的先驗決定，從而逃避定量和統計方法——我們必須陳述並接受選擇的主觀性以及對整體模型不確定性的必要影響。
正如
艾薩克·以色列本·所羅門
所說：
Veritas est adequatio intellectus et rei
。
真理就是智慧和理性。
在下面的內容中，我們將展示如何將誤差論中的誤差限制到極限，從不確定性的分層中產生肥尾。從一個完全非肥尾的低風險世界（以正態分佈為代表）開始，我們透過擾動其標準差，對“真實”值引入誤差和懷疑，來增加尾部風險生成肥尾。
我們從分析上展示了不確定性是如何導致肥尾的，而現實生活實際上只會更極端。
⚠️
這裡的肥尾指的是比高斯分佈更肥的任何分佈，但不一定是冪律分佈——這通常包含了次指數分佈和冪律分佈，以及任何四階矩峰度Kurtosis大於3的任何分佈型別。
備註1。本文的貢獻之一是“反事實”的精簡。
反事實分析
Counterfactual Analysis
，或商學院版本的“
情景分析
”，以“爆炸性“的方式不可控地製造大量事件分支，阻礙了對未來許多步驟的預測——通常以2^n的速度擴充套件，其中n是步驟數。我們在本文中表明，它們可以以一種產生結果的單一分佈表達，並允許可變性的方式進行結構性分析——我們之所以能夠做到這一點，是因為“誤差的誤差”的比率可以引數化，並因此允許進行擾動和靈敏度分析。
⚠️
反事實分析使評估人員能夠將干預和結果之間的因果關係歸為一個因素。“反事實”衡量在沒有干預的情況下受益人會發生什麼，透過將反事實結果與干預下觀察到的結果進行比較來估計影響
。在Judea Pearl看來，反事實分析實質上是動用了想象力（即現實世界裡並不存在）——假如我做了…會怎樣？為什麼？
備註2。機率的不確定性（透過增加尾部事件的機率）使尾部變肥的機制如下：
假設有人告訴你發生事件的機率為零。
你問：“你怎麼知道的？”
他回答：“我估計出來的。”
很明顯，如果他做了估計，並帶有1%的誤差（對稱分佈），則機率的下限為1%。這種不確定性增加了機率——這個事件發生的機率就不可能為零，而是高於1%的某個數字。
分層的不確定性
取
一個相當標準的機率分佈，比如說正態分佈。假設對其標準偏差σ，將按照某種統計程式進行估計，以獲得σˆ。
必然，這樣的估計會有一定的誤差，即認知不確定性的比率，可以用另一種離散度度量來表示：
離散度的離散度
——在金融市場裡，期權操作員也稱其為“
波動率的波動率
”。
這在現實世界中特別有意義，因為在現實世界中，漸近假設通常在數理統計中不成立，每個模型和估計方法都包含在人類的主觀選擇中。
設φ（x；μ，σ）為隨機變數X具有已知平均值μ和未知的標準偏差σ的正態分佈機率密度函式。為了解釋誤差，在估計σ時，我們可以在正實數域中引入密度f1（σˆ；σ̄，σ1），其中σ1表示f1下σˆ的比例引數，σ̄=σ它的期望值。
我們假設σˆ是σ的無偏估計量（我們的處理也適用於一致性較弱的情況）。換句話說，估計的波動率σˆ是隨機量的實現，用誤差項表示σ的真實值。
因此，X的無條件定律不再是簡單的正態分佈，而是對應於φ（X；μ，σ）的積分，根據f1（σ；σ̄1，σ1），σ被σˆ取代。這被稱為正態分佈的比例混合，表達為：
根據f1的選擇——即用貝葉斯術語定義的“
先驗
”，g1（x）可以採用不同的函式形式。
現在，如果如果σ1本身存在誤差呢？
正如前面所觀察到的，並沒有義務停留在在這個方程裡——人們可以透過遞迴（比如離散度的離散度的離散度），不斷地將不確定性巢狀到更高的階中。在這個過程中，沒有理由有任何的確定性。
對於i=1，…，n，設定σ̄，i=E［σˆi］，其中σ̄1=σ，對於每一層不確定性，都定義了密度fi（σˆi；σ̄i，σi），其中σˆ1=σˆ。將其推廣到n個不確定性層，就可以得到X的無條件定律：
這種方法顯然是引數密集型的，並且是計算密集型的——因為它需要為不同的不確定性層指定所有從屬密度fi，並且可能需要非常複雜的積分運算解析度。
不如讓我們考慮一個問題簡單的版本，透過使用一個基本的乘法過程［
à la Gibrat
］，其中估計的σ在每一個不確定層i中受到二分法替代物的擾動：
高估
或
低估
。
我們認為高估的機率為pi，而低估的機率為qi=1−pi。
讓我們從真實引數σ開始，假設其估計值等於：
式中ε1∈ ［0，1）是一個錯誤率（例如，它可以表示比例平均絕對偏差）。
這樣一來，第一個方程式就變為
為了簡化符號——但不損失任何普遍性——假設，對於i=1，…，n，高估和低估的可能性相同，即pi=qi=1/2：
現在假設相同型別的不確定性影響誤差率ε1，因此我們可以引入ε2∈ ［0，1）並定義元素（1±ε1）（1±ε2）——下圖給出了兩層不確定性的樹表示。
⚠️具有二分法等機率狀態的不確定性層的樹表示：高估和低估。可以看到分支反事實的相似性。
有了兩層不確定性，X定律就變成了
在第n層，可以遞迴地得到
其中Mi是向量的第i項：
Tij是集合的所有n元組的窮舉組合的矩陣第（i，j）項{−1，1}，即表示所有1和−1組合的長度為n的序列。例如，對於n=3，我們有：
再次強調，各種誤差率εi不是抽樣誤差，而是對未來誤差率的預測，這一點很重要。再說一遍，
它們是認知性質的，不是觀察性質的。
有趣的是，以上方程可以從不同的角度進行分析。在下文中，我們將討論關於誤差率εi的兩個相關假設：一個基於中心極限定理的極限引數和一個有趣的近似。
恆定錯誤率
假
設ε1=ε2=…=εn=ε，即我們在不確定性的每一層都有一個恆定的誤差率。我們可以立即觀察到的是，矩陣M在n級的離散度下崩潰成一個標準的二叉樹，即：
由於和的線性性質，當ε為常數時，我們可以使用二項式分佈來加權X的矩，當取n層認知不確定性時。可以很容易地確認前四個原始矩為：
更具體地得到：
首先是一階矩，注意X的平均值與ε和n無關：這是構造的明顯結果，假定μ已知。
其次看二階矩，對於我們關注的方差，則相反——不確定性越高（n增長），X就越分散。當n→ ∞時， 方差就“爆炸”了。
繼續看三階矩偏度，它不受不確定性的影響，X的分佈始終保持對稱。
最後的四階矩，峰度是不確定性的一個明確函式，因此隨著不確定性層次的增加，X的分佈變得越來越細，表明尾部顯著增厚，因此風險顯著增加。
需要注意的是，即使ε∈ ［0，1）的值很小，高於一階矩的矩也會“
爆炸
”，當n增長到無窮大時。即使誤差率小到0。00001%，也會導致使用二階範數研究X分佈的無效性。
再次，儘管誤差率較高，但不確定性的增長會增加尾部風險，當ε1≤ ε2 ≤ 。。。 ≤ εn時，這樣的結果也會發生。
⚠️
當μ=0，σ=1，ε=0.1時，對於n=0，5，10。n越大，尾巴越肥。
上圖顯示了X的尾部是如何隨著n的增加而變肥的，這與矩的“爆炸”是一致的。n越大，X的峰度越高——峰值越大就意味著尾部越大。
正如影象觀察到的，在應用中，不需要n取到很大的值，將不確定性層的截止值放在某個層級是完全理性的——而從哲學意義上講，這樣的決定應該是先驗的和有動機的。
⚠️
ε=0.1和不同n值的X密度Logplot圖。n越大，密度越傾向於在兩個尾部都表現為冪律。
上圖顯示了當ε=0。1時，對於不同的n值，X的密度的對數圖。正如預期的那樣，隨著n的增長，X的尾部張開，趨向於冪律行為，其方式類似於具有增長標度引數的風險對數正態分佈。
然而，回想一下，X的第一矩總是有限的，這表明純冪律行為導致無限均值現象的情況永遠不會發生。使用其他圖形工具（比如Zipf Plot，Mean Excess Plot等）也可以確認這一結果。
現在，納入考慮X上的閾值K的超越機率，當ε為常數時，顯然有：
這裡的erfc是互補誤差函式。
⚠️
當ε=0.1時，對於不同的K和n值，X的超越機率與均值為μ且方差為σ2的正態隨機變數的超越機率之比。
⚠️
當ε=0.01時，對於不同的K和n值，X的超越機率與均值為μ且方差為σ2的正態隨機變數的超越機率之比。
對於基準K和n的不同值的X，由平均值μ和方差σ2的簡單正態表示，表一和表二顯示了超越機率的比率。我們的起點是n=0的情況——即σ沒有不確定性。
兩個表的ε值是不同的，前者等於0。1，後者等於0。01。很明顯，隨著n的增長，不確定性的分層，是如何使相同的尾部機率急劇增長的。例如，機率P（X≥10）比正態（μ，σ2）的相應機率大3。62×10^18倍（18個數量級！）——當n=25且ε僅為0。01時。
遞減錯誤率
正
如之前所觀察到的，一個人可能（實際上需要）有一個先驗的理由來停止遞迴論證，並認定n是有限的。
例如，我們可以假設錯誤率隨著層數的增加而消失，即對於i
取值κ∈ ［0，1），並固定ε1，對於i=2。。。n，假設εi=κ*ε（i-1），得到：εn=κ^nε1。對於我們關心的X，不失一般性，設定μ=0，n=2時，X的方差變為：
n=3時方程變為：
對於一般n，方差為：
在這裡，［a；q］n是q-Pochhammer函式：
繼續計算矩，對於X的第四矩，我們得到：
如果κ=0。9和ε1=0。2，得到的方差為：1。23σ^2——這是具有顯著但相對良性的凸性偏差。極限第四階中心矩為9。88σ^4，是正態分佈3σ^4的3倍多。這樣一個數字，即使是有限的——相應的情況並不像以前那麼極端——但其尾部風險也不容忽視。
當κ值在1和ε↓ 0附近時，X的第四矩將向正態分佈的矩收斂，如預期的那樣，將會閉合尾部。
中心極限定理論證
我
們現在討論一箇中心極限定理論點，它是作為肥尾和風險發生器的認知不確定性。為此，我們引入了一種更方便的正態分佈表示法，這在下一節中也將被證明是有用的。
再考慮實值正態隨機變數X，均值μ和標準偏差σ。其密度函式為：
在不失一般性的情況下，將μ設為0。而且讓λ=1/σ^2，這個新引數對方程重新引數化——在貝葉斯統計中，λ通常稱為“精度”。
隨機變數X的精度只不過是其方差的倒數，因此，這只是看待可變性的另一種方式（實際上高斯最初用精度定義了正態分佈）。從現在開始，我們將假設X具有密度：
假設我們得到了λ的估計值，即λˆ，並使λˆ足夠接近精度引數的真實值。假設λ和λˆ實際上很接近，對於我們的推導來說，這不是必要的，但是我們希望透過考慮一種情況來保持樂觀——在這種情況下，估計λˆ的人知道她在做什麼：比如使用適當的方法，檢查統計顯著性，等等。
我們可以這樣寫：
其中ε1現在是一階隨機誤差項，使得E［ε1］=0且σ2（ε1）
現在，假設在1+ε1上定義了一個二階誤差項ε2，並再次假設它具有零均值和有限方差。與之前一樣，ε2一詞可能表示數量1+ε1獲得方式的不確定性。因此，等式可以改寫為
在誤差推理中迭代誤差，我們可以引入序列，使得E［εi］=0和σ2（εi）∈ ［c，∞）， c> 0，所以我們得到：
對於n→ ∞， 以上方程表示了我們對引數λ的瞭解——一旦我們從估計λˆ開始，就利用誤差的乘法誤差形式，思考認知的不確定性。誤差項方差的較低值c>0是為了保證每一級的認知不確定性達到最低水平，並簡化以下中心極限引數的應用。
現在方程兩邊取對數，得到：
如果我們假設，對於每個i=1，…，n，|εi |相對於1很小，我們可以引入近似：log（1+εi）≈εi，方程變為：
為了簡化處理，讓我們假設誤差項{εi}彼此獨立，對於n，直接應用拉普拉斯李亞普諾夫的中心極限定理（CLT），我們得到log（λ）是正態分佈（0，Sn^2）的估計分佈。其中：
這顯然意味著對於n→ ∞，λ～Lognormal（0，Sn^2）。注意，對於足夠大的n。我們也可以假設λˆ是一個隨機變數（具有有限的均值和方差），但的極限分佈仍然是對數正態分佈。
對於對工業動力學感興趣的讀者來說，上述公式就是所謂的為企業規模建模的
Gibrat比例效應定律
。
從現在起，我們省掉Sn當中的n——假設n足夠大，讓CLT發揮效力。
使用貝葉斯術語，由隨機誤差序列{εi}表示的不同不確定性層對應於在初始正態分佈的精度引數λ上得出的對數正態先驗分佈——這意味著，在認知不確定性的情況下，隨機變數X的實際邊際分佈不再是一個簡單的正態分佈，而是一個複合正態對數正態分佈，可以表示為
在這裡，h（λ；S） 是隨機精度引數λ的對數正態分佈密度Lognormal（0，S^2）
注意，對於對數正態分佈，λ=1/σ^2的分佈也是對數正態的。
在下一節中，使用基於X精度的引數化會帶來很多方便。
事實上，儘管方程式中的積分很簡單，但無法解析求解。這意味著我們無法獲得由g（x；λ，S）表示的複合正態-對數正態（CNL）分佈的閉合形式——即使其第一階矩可以顯式獲得。
解析近似
通
過在λ上引入對數正態分佈的近似求解，方程的不可求解性可以被忽略。我們的想法是使用伽馬分佈來模擬方程中h（λ；S）的行為。同時，觀察兩種分佈的尾部行為。
對數正態分佈和伽馬分佈，均為偏態分佈。定義在正半軸上，以一種特殊的性質為特徵：它們的變異係數CV（標準偏差與平均值的比率）是常數，不依賴於平均值和標準差。
在對數正態分佈（0，S^2）中，其CV等於：
而對於正隨機變數Y，服從密度的伽馬（α，β）分佈，具有以下密度：
它的CV形式更簡單：1/√α 。
從極值統計的角度來看，伽馬分佈和對數正態分佈都是重尾分佈，這意味著它們的右尾歸零速度比指數函式慢，但不是“真正的”肥尾分佈，即它們的尾下降速度比冪律更快。
從極值理論的角度來看，這兩種分佈都處於廣義極值分佈的Gumbel情形的最大吸引域，而不是Fréchet情形，即適當的肥尾情形。因此，這些分佈的矩總是有限的。
⚠️很多分佈的尾部都可以透過漸進擬合歸於三種類型：
Gumbel分佈：指數分佈，伽馬分佈，Logistic分佈，對數正態分佈等
Fréchet分佈：逆伽馬分佈，對數伽馬分佈，Burr分佈，Pareto分佈，廣義Pareto分佈等
Weibull分佈：均勻分佈，貝塔分佈，逆Burr分佈等
正如應用統計學家所知，從定性的角度來看，在擬合數據時，很難區分具有相同變異係數的對數正態分佈和伽馬分佈。在廣義線性模型中，使用對數正態而不是伽馬迴歸只是個人的選擇，或多或少類似於在Logit和Probit之間進行選擇。
總體而言，具有相同平均值和標準偏差（因此CV相同）的對數正態分佈和伽馬分佈實際上彼此非常接近，如下圖所示。Gamma似乎給較小的值增加了一點質量，但近似值確實很好。
⚠️帶有相同CV值的Gamma分佈和對數正態分佈對比
有趣的是，對數正態分佈和伽馬分佈也能夠透過指數運算聯絡起來。
當比較具有相同變異係數的對數正態分佈和伽馬分佈時，主要區別在於右尾。事實上，對數正態分佈顯示了稍重的尾巴，其下降速度較慢。為了解析地驗證對數正態尾部對伽馬尾部的支配作用，我們可以檢視它們的漸近失效率。
對於密度為h（x）且生存函式為H̄（x）的分佈H（x0，失效率定義為
τ=limx→∞ r（x）被稱為漸近失效率。與漸近失效率較大的分佈相比，τ較低的分佈將有較厚的尾部。相反，當兩個分佈共享相同的τ時，需要更復雜的分析來研究它們的尾部行為。
對於伽馬（α，β），很容易驗證：
而對於一般對數正態分佈（μ，σ^2），我們有：
其中erfc（·）再次是互補誤差函式。取x的極限→ ∞， 我們將看到τGamma=1/β，而τLognormal=0。因此，對數正態分佈的右尾比伽馬分佈的右尾重（實際上是所有伽馬分佈，因為τ對數正態分佈不依賴於任何引數）。
這種不同尾部行為的一個相關結果是，
對數正態必然會產生比伽馬更極端的情況
。這一點，再加上兩種分佈在整體上相當相似的事實——即使伽馬略微“
膨脹
”了較小的值——這也允許我們認為，當我們將兩種分佈集中在同一變異係數上時，可以使用伽馬作為對數正態分佈的下限。
回到第二節的CLT結果，我們可以說：在極限範圍內，精度引數λ可以取為近似為伽馬（α，β），其中α和β被選擇為獲得相同的（0，S^2）對數正態分佈變異係數：
在處理精度引數λ時，從對數正態轉移到伽馬具有很大的優勢——具有已知平均值，且伽馬分佈精度引數的正態分佈具有一個有趣的閉合形式。
讓我們回到方程表達中，用近似的伽馬（α，β）替換對數正態密度h*（λ；α，β）：
這個積分現在可以顯式求解了：
這裡，我們可以識別非標準化的具有2α自由度，零位置和尺度引數β的學生t分佈密度函式。
有趣的是，這個方程表達的學生t分佈在兩邊都有厚尾，特別是對於α的小值。假設α隨S^2減小，S^2是認知錯誤方差的總和，因此是總體不確定性的度量，我們對精度引數λ的懷疑越多，產生的學生t分佈尾部越肥，從而增加尾部風險。α的實際值肯定會很小。這一結果與第三節的計算結果一致。
因此，從一個簡單的正態分佈開始，透過考慮認知不確定性的層次，我們得到了一個具有相同平均值（μ=0）的肥尾分佈，但能夠產生更極端的情景，其尾部行為是不精確和無知的直接後果。由於我們使用伽馬分佈作為對數正態的下限，我們可以預期，對於對數正態λ，X的尾部仍然很重，並且離正態很遠。
討論
在
第二節中，我們從一個正態分佈的隨機變數X開始，推導了分層不確定性對X的標準偏差的影響。我們分析了不同的情況，所有情況下，X的尾部都比我們開始時的正態分佈肥。
認知的不確定性表現為乘法誤差，也可以用CLT進行分析——導致精度引數為1/σ^2的對數正態分佈。鑑於對於對數正態情形無法獲得閉合形式結果，我們使用伽馬近似獲得肥尾分析結果——並注意到對數正態可能會產生更極端的結果，因為它的尾部支配了伽馬的尾部。
現在的問題是：我們的結果在多大程度上依賴於正態分佈-對數正態分佈-伽馬分佈的構造？
選擇正態分佈作為起點並不相關——真正重要的是引數控制的不確定性層中湧現產生的對數正態分佈，以及這樣的對數正態分佈比具有相同變異係數的伽馬分佈風險更大的事實。
事實上，如果我們從強度引數為ν的指數分佈開始，並在該分佈上應用我們在λ上開發的相同推理，那麼我們將生成肥尾。事實上，指數分佈和伽馬（我們將其用作對數正態分佈的“下界”）的組合產生了
Lomax
或
Pareto II
分佈——這是一個眾所周知的肥尾分佈。
相反，如果我們從伽馬開始，我們就得到了複合伽馬或β素數分佈（取決於引數化）——其他兩種（可能）肥尾分佈。
最後，即使在處理離散分佈時，我們的方法也可能很容易產生極值（考慮到連續情況下使用的某些收斂結果不成立，因此用離散分佈來談論肥尾是不正確的）——例如，如果我們從強度為μ的泊松開始，應用我們的不確定性層模型，最後得到的會是負二項分佈（或類似於無伽馬近似的負二項分佈的東西），一種偏態分佈，可能具有高峰度，用於風險管理，以模擬信用風險損失。
結論
風
險管理方面的後果是明確的：對誤差的忽略，會導致對尾部風險的嚴重低估。巢狀不確定性（即引數估計誤差上的誤差）最終會導致肥尾出現。
那些預測較少的人很難想象，即使過去的資料顯示出了細尾屬性，未來的資料也必然會以更肥的表現呈現。我們還可以看到，與樣本內性質相比，樣本外性質也會表現出類似的行為——未來必然比過去更具厚尾性。
更具哲理的是，我們的方法有助於解釋《
黑天鵝
》的中心論點：
我們必須仔細地處理未來，就好像它將帶來比我們從過去的知識中收集到的更頻繁（或更具影響力）的尾部事件。
- END -
“我在黃昏的血色中踽踽獨行，
感到自己不過是這個憂鬱的黃昏大地上一粒微不足道的塵埃”
▲
跟我聊聊吧
▲ 關注SerendipityCamp