p-Hacked Earnings Beta

作者：石川
摘要：一頓操作猛如虎，全看 p-value 有沒有。

1 引言

有日子沒有用(yòng)整篇推文介紹單篇學術論文了(le)。但今天，有篇文章(zhāng)還(hái)是值得(de)拿來(lái)說道說道。近日，會計學知名期刊 Review of Accounting Studies  刊載了(le)一篇題爲 Earnings Beta 的(de)文章(zhāng)（Ellahie 2020）。衆所周知，CAPM 使用(yòng) market beta 來(lái)描述資産的(de)市場(chǎng)風險，但是 CAPM 并不好使，其中部分(fēn)原因是 market beta 并不能很好的(de)描述公司的(de)基本面風險。Ellahie (2020) 認爲 earnings beta 可(kě)以取代 market beta 的(de)作用(yòng)。Earnings beta 被定義爲公司特有的(de) earnings 相對(duì)于市場(chǎng)整體 earnings 的(de)敏感程度。

以此爲動機，該文研究了(le)基本面風險和(hé)資産預期收益的(de)關系，并以 earnings beta 作爲 factor loading，通(tōng)過常見的(de) portfolio sort test 和(hé) regression test 進行了(le)實證資産定價研究。結果表明(míng) earnings beta 的(de) risk premium 顯著大(dà)于零，在控制了(le)常見的(de)因子後依然能夠爲解釋資産預期收益率的(de)截面差異提供增量信息。然而這(zhè)樣一篇内容詳實、實證豐富、行文流暢、爲人(rén)們理(lǐ)解财務信息如何影(yǐng)響預期收益率開辟了(le)新思路的(de)論文卻沒有出現在金融學期刊，而是發表在會計學期刊。爲什(shén)麽？

因爲上面的(de)“然而”并不成立。這(zhè)篇文章(zhāng)讀下(xià)來(lái)，必須肯定和(hé)認可(kě)作者在數據處理(lǐ)和(hé)實證檢驗方面做(zuò)的(de)大(dà)量細緻的(de)工作；該文的(de)實證内容的(de)豐富性在同類論文中名列前茅，且使用(yòng)了(le)一些最新的(de)基于機器學習(xí)構造的(de)多(duō)因子模型作爲定價模型。但是，無論是其用(yòng)來(lái)計算(suàn) earnings beta 的(de)變量之多(duō)、還(hái)是實證檢驗結果的(de)不一緻性、以及作者對(duì)于矛盾結果討(tǎo)論的(de)輕描淡寫，都給人(rén)強烈的(de) p-hacking 之感，很難想象它能發表在 RAS 這(zhè)個(gè)級别的(de)期刊上。

本文就來(lái)介紹 Ellahie (2020)，隻不過這(zhè)次它不是作爲正面的(de)例子，而是作爲 p-hacking 的(de)反面教材。下(xià)文第二節将解讀該文中定義的(de)變量 —— 我将它稱作 variable zoo；第三節将闡述該文中不一緻的(de)實證結果和(hé)十分(fēn)蒼白的(de)解釋；本文第四節是由此引發的(de)思考。

頗有意思的(de)是，最近有不少 working paper 研究結果幾年前就出現了(le)，但輾轉多(duō)年後都沒能發在金融學期刊上而是搖身一變出現在會計學期刊上（比如，大(dà)名鼎鼎的(de)那啥，對(duì)吧）。相較于金融學三大(dà)頂刊的(de)影(yǐng)響因子，RAS 著(zhe)實弱了(le)不少（在會計學細分(fēn)領域，RAS 大(dà)概排在第 4 的(de)位子）。不知這(zhè)是否預示著(zhe)文章(zhāng)的(de) empirical findings 不那麽靠譜。

2 Variable Zoo

要想有足夠抓眼球的(de)結果，變量個(gè)數要保證。

Ellahie (2020) 一文中考慮了(le) 11 個(gè) earnings 變量（每個(gè)變量最終衍生出一個(gè) earnings beta） —— 總有一款是顯著的(de)。下(xià)面就來(lái)看看該文如何“合理(lǐ)地”讓變量的(de)個(gè)數翻倍、再翻倍。首先是最容易想到的(de)，即曆史的(de) earnings（realized earnings）數據，爲了(le)讓公司之間可(kě)比，該文用(yòng) book value of equity 以及 market value 做(zuò)了(le)标準化(huà)，因此得(de)到兩個(gè)變量：realized ROE 和(hé) realized earnings yield。

下(xià)面來(lái)看第一個(gè)變量翻倍的(de)方法 —— 一階差分(fēn)。前述兩個(gè)變量都是基于 earnings level 計算(suàn)的(de)；憑什(shén)麽不能基于 earnings changes，即 earnings growth？“當然可(kě)以”。爲此，該文還(hái)找出了(le)參考文獻 Penman (1991) 和(hé) Penman and Zhang (2002) 來(lái)支持 earnings level 可(kě)能并不是最好的(de)變量的(de)說法，這(zhè)讓計算(suàn)一階差分(fēn)變得(de)“名正言順”。在這(zhè)個(gè)基礎上，variable zoo 又加入了(le)三個(gè)新成員(yuán)：realized earnings growth、book-scaled realize earnings growth 和(hé) price-scaled realized earnings growth（後兩個(gè)分(fēn)别用(yòng) book value 和(hé) market value 标準化(huà) earnings growth）。到現在，一共有了(le)五個(gè)變量。（我好奇的(de)問一下(xià)：要不要考慮二階差分(fēn)？其實前不久另一個(gè)會計學頂刊 Journal of Accounting and Economics 就刊載了(le)一篇二階差分(fēn)的(de)論文。）

馬上來(lái)看第二個(gè)變量翻倍的(de)方法 —— 把 realized earnings 換成 expected earnings，然後把上面的(de)步驟重複一遍。誰說非要用(yòng)曆史 earnings，尤其考慮到曆史 earnings 包含的(de)信息不完整，爲啥不能用(yòng)未來(lái)預期 earnings？“當然可(kě)以”。

當把 realized earnings 換成分(fēn)析師一緻預期之後，如法炮制，又可(kě)以得(de)到五個(gè) earnings 變量（兩個(gè) level 變量、三個(gè) change 變量），它們是 expected ROE、expected earnings yield、earnings-scaled expectations shock、book-scaled expectations shock 以及 price-scaled expectations shock。

經過上述一番操作，一下(xià)從最初的(de) 2 個(gè)變量變成 10 個(gè)。此外，該文指出它們都是短時(shí)間尺度的(de) earnings 變量，雖然它們和(hé)預期收益更相關（話(huà)外音(yīn)就是這(zhè)些就夠了(le)），但是由于基本面的(de)估值模型需要考慮 infinite horizon 的(de) earnings，因此出于研究的(de)完整性，又加入了(le)第 11 個(gè)長(cháng)時(shí)間尺度的(de) earnings 的(de)變量。最終，variable zoo 一共包括了(le) 11 個(gè)變量。不知道你是否被這(zhè)麽多(duō)的(de)變量繞暈了(le)。好在 Ellahie (2020) 的(de) introduction 部分(fēn)還(hái)貼心的(de)爲讀者進行了(le)梳理(lǐ)（其中第四點對(duì)應那個(gè)長(cháng)時(shí)間尺度的(de)變量），隻不過我看後唯一的(de)感受就是 p-hacking。

有了(le)這(zhè) 11 個(gè)變量，Ellahie (2020) 通(tōng)過五年數據的(de)滾動時(shí)序回歸計算(suàn)每個(gè)變量的(de) earnings beta，得(de)到 11 個(gè) earnings beta 變量。在時(shí)序回歸中，作爲解釋變量的(de)是市場(chǎng)整體的(de) earnings 變量（由所有公司的(de) earnings 變量加權得(de)到）：

根據 Ellahie (2020) 提出的(de)假設，如果 earnings beta 能夠代替 market beta 來(lái)更好的(de)描述公司的(de)（基本面）風險，那麽 earnings beta 應該和(hé)公司的(de)預期收益率正相關；從實證資産定價角度來(lái)說，earnings beta 的(de) risk premium 應該顯著爲正。結果如何呢(ne)？

3 實證結果

Ellahie (2020) 這(zhè)篇文章(zhāng)中的(de)實證結果不可(kě)謂不豐富，該文同時(shí)考慮了(le) portfolio level 和(hé) firm level 的(de)實證分(fēn)析，但讓人(rén)糾結的(de)是結果的(de)不一緻性以及作者對(duì)這(zhè)些矛盾結果的(de)蒼白解釋。在 portfolio level，首先是 regression test。這(zhè)裏面又分(fēn)爲好幾組實證。第一組實證是使用(yòng) 50 個(gè)投資組合作爲 test assets，然後進行一波 cross-sectional regression test（在此處沒有采用(yòng) Fama and MacBeth 1973 regression，而是先求了(le)不同資産的(de)平均收益率，然後隻做(zuò)了(le)一次截面回歸）。這(zhè) 50 個(gè)投資組合分(fēn)别是使用(yòng) size、book-to-price、earnings-to-price、asset growth 以及 long-term return reversal 爲變量将股票(piào)排序分(fēn)成 10 組構造的(de)。回歸結果如下(xià)（下(xià)表中第一個(gè)變量爲 CAPM 中的(de) market beta，用(yòng)來(lái)和(hé)其他(tā) 11 個(gè) earnings beta 比較）。

在 11 個(gè) earnings beta 中，有三個(gè)的(de)回歸系數是負的(de)（其中兩個(gè)顯著），這(zhè)和(hé)理(lǐ)論所暗示的(de)正相關不符。作爲讀者，在閱讀到這(zhè)裏其實非常希望看到作者對(duì)結果的(de)探討(tǎo)。然而，Ellahie (2020) 僅表示這(zhè)可(kě)能和(hé) test assets 的(de)選擇有關，而且還(hái)把這(zhè)個(gè)解釋放在了(le) footnote 中。這(zhè)麽草(cǎo)率嗎？

爲了(le)解決 test assets 的(de)問題，在第二組實證中，該文使用(yòng) Giglio and Xiu (2019) 提出的(de) three-pass regression estimator（具體介紹見這(zhè)裏）。該方法從 202 個(gè)作爲 test assets 的(de)投資組合中提取出六個(gè)主成分(fēn)，然後使用(yòng)它們估計這(zhè)些 earnings beta 的(de) risk premium。結果如下(xià)。“好消息”是，這(zhè)些 earnings beta 的(de) risk premium 全都是正的(de)了(le)。

比較上面兩個(gè) regression test 結果，當使用(yòng)不同的(de) test assets 時(shí)，earnings beta 的(de) risk premium 估計時(shí)而正，時(shí)而負；時(shí)而顯著，時(shí)而不顯著。不禁讓人(rén)想起 Lewellen, Nagel, and Shanken (2010) 對(duì)使用(yòng) portfolios 作爲 test assets 進行檢驗的(de)抨擊。遺憾的(de)是，Ellahie (2020) 并沒有對(duì)上述不一緻的(de)結果進行過多(duō)討(tǎo)論。除了(le) regression test 之外，portfolio sort 自然也(yě)不能少。下(xià)圖來(lái)自 Ellahie (2020) 的(de)表 7，彙報了(le)使用(yòng)不同 earnings beta 排序構造多(duō)空對(duì)沖的(de)投資組合 —— 做(zuò)多(duō) earnings beta 高(gāo)的(de)、做(zuò)空 earnings beta 低的(de) —— 的(de)絕對(duì)收益以及相對(duì)常見基準模型的(de)超額收益。

表中，VW excess returns 是多(duō)空對(duì)沖組合的(de)絕對(duì)收益；在計算(suàn)超額收益時(shí)，被選作基準的(de)六因子模型是 Fama and French (2015) 五因子 + Carhart (1997) 的(de)動量，另一個(gè)基準是 Kelly, Pruitt, and Su (2019) 使用(yòng) IPCA 構造的(de)五因子模型。令人(rén)感到意外的(de)是，在 11 個(gè) earnings beta 中，有 7 個(gè)的(de)收益率（無論是絕對(duì)收益還(hái)是超額收益）都是負的(de)（盡管都并不顯著），和(hé)理(lǐ)論相悖；僅有 4 個(gè)的(de)收益率爲正，其中僅有 2 個(gè)是顯著的(de)。這(zhè)兩個(gè) beta 背後的(de)變量都是通(tōng)過“變量翻倍”的(de)方法得(de)到的(de)。爲什(shén)麽要用(yòng) 11 個(gè)變量？看到這(zhè)裏我們恍然大(dà)悟。

當使用(yòng) three-pass regression 時(shí)，全部 11 個(gè) earnings beta 的(de) risk premium 都是正的(de)；然而這(zhè)個(gè)結果卻輕易的(de)被 portfolio sort test 推翻了(le)。如果說單看 portfolio sort 中不顯著的(de)負收益還(hái)不能說明(míng)問題，那麽當把 portfolio sort 和(hé)前述的(de) regression test 之間的(de)不一緻性就不能不令人(rén)引起懷疑。畢竟，portfolio sort 隻是一種無參數化(huà)的(de) regression。但該文似乎把不同方法下(xià) Earnings beta 的(de) risk premium estimate 的(de)巨大(dà)差異留給讀者去體會。這(zhè)麽草(cǎo)率嗎？

除使用(yòng)投資組合檢驗外，Ellahie (2020) 也(yě)使用(yòng)個(gè)股收益率，通(tōng)過 Fama and MacBeth (1973) regression 對(duì) earnings beta 的(de) risk premium 進行了(le)檢驗。得(de)到的(de)結果嘛，同樣是有正有負，滿滿的(de)不一緻性。不一緻性并不可(kě)怕，但沒有對(duì)結果的(de)不一緻性進行深入的(de)探討(tǎo)卻很可(kě)怕。該文的(de)行爲之中傳遞給讀者這(zhè)樣一種（錯誤）信息：隻需要采納和(hé)理(lǐ)論一緻且結果最顯著的(de)變量。最終，基于大(dà)量的(de) empirical test 以及 11 個(gè)變量的(de)表現，Ellahie (2020) 得(de)出了(le)如下(xià)結論：

如果實證結果是另一番景象，大(dà)概隻需要把上述幾條中文字的(de)順序稍加改動。依照(zhào)上述四點發現，在全部 11 個(gè) earnings beta 裏面，最顯著的(de) earnings beta 是以 price-scaled expectations shock 作爲 earinngs 變量計算(suàn)的(de) beta，它是一個(gè) earnings change，屬于成長(cháng)類指标。關于 earnings change 還(hái)有一塊不得(de)不提的(de)研究就是 PEAD。

一旦加入 PEAD，是否僅剩的(de)幾個(gè) earnings beta 也(yě)無法獲得(de)顯著的(de) risk premium 呢(ne)？由《Factor War 外傳》的(de)介紹可(kě)知，Hou, Xue, and Zhang (2015) 的(de) q-factor model 中的(de)季度 ROE 和(hé) PEAD 密切相關，那麽如果 Ellahie (2020) 使用(yòng) q-factor model 作爲定價模型，上述 earnings beta 還(hái)能否獲得(de)超額收益呢(ne)？又或者 Ellahie (2020) 使用(yòng)了(le) q-factor model 但是因爲不顯著所以沒有彙報呢(ne)？

全是疑問。

4 思考

公允的(de)說，Ellahie (2020) 一文沒有試圖隐瞞 empirical test 的(de)不一緻性，而是彙報了(le)所有的(de)結果，這(zhè)是它的(de)優點；然而它通(tōng)過各種測試、從不同的(de)變量中找到了(le)最顯著的(de)那個(gè)來(lái)支持提出的(de)觀點，而不去深入探討(tǎo)其他(tā)不支持假設的(de)結果，這(zhè)不是 p-hacking 又是什(shén)麽？我似乎看到了(le) Harvey (2017) 中所描繪的(de)場(chǎng)景。自 Jegadeesh et al. (2019) 和(hé) Fama and French (2020) 發表以來(lái)，我感覺檢驗 time series beta 的(de) risk premium 已經蓋棺定論了(le)，所以各種 earnings beta 的(de)不一緻結果并不令人(rén)意外。在面對(duì)這(zhè)些不一緻結果時(shí)，“爲什(shén)麽不一緻？”而非“如何從不一緻中挑出一個(gè)最好的(de)？”才是更應該回答(dá)的(de)問題。然而就是這(zhè)麽一篇論文，被發表在了(le) Review of Accounting Studies 上。

近日，經濟學頂刊 The American Economic Review 上刊載了(le)一篇分(fēn)析 p-hacking 的(de)文章(zhāng)（Brodeur, Cook, and Heyes 2020）。該文分(fēn)析了(le)經濟學領域 top 25 期刊（金融學三大(dà)頂刊赫然在列）中使用(yòng)不同計量經濟學方法進行經濟學實證分(fēn)析時(shí)的(de) p-hacking 問題。結論有三：（1）所有這(zhè)些期刊上均有 p-hacking 問題；（2）審稿過程一定程度上減弱了(le) p-hacking 傾向；（3）随著(zhe)時(shí)間的(de)推移，這(zhè)個(gè)問題有所改進。

但無論如何，學術界在整改 p-hacking 的(de)問題上還(hái)有很長(cháng)的(de)路要走，而 Ellahie (2020) 隻是其中的(de)一個(gè)縮影(yǐng)。對(duì)于看上去特别顯著的(de) empirical asset pricing 結果，use with care。

Earnings beta? Yes, p-hacked earnings beta.

參考文獻

Brodeur, A., N. Cook, and A. Heyes (2020). Methods matter: p-hacking and publication bias in causal analysis in economics. The American Economic Review 110(11), 3634 – 3660.

Carhart, M. (1997). On persistence in mutual fund performance. Journal of Finance 52(1), 57 – 82.

Ellahie, A. (2020). Earnings beta. Review of Accounting Studies forthcoming.

Fama, E. F. and K. R. French (2015). A five-factor asset pricing model. Journal of Financial Economics 116(1), 1 – 22.

Fama, E. F. and K. R. French (2020). Comparing cross-section and time-series factor models. Review of Financial Studies 33(5), 1891 – 1926.

Fama, E. F. and J. D. MacBeth (1973). Risk, return, and equilibrium: Empirical tests. Journal of Political Economy 81(3), 607–636.

Giglio, S. and D. Xiu (2019). Asset pricing with omitted factors. Working paper, Chicago Booth Research Paper No. 16-21.

Harvey, C. R. (2017). Presidential address: The scientific outlook in financial economics. Journal of Finance 72(4), 1399 – 1440.

Hou, K., C. Xue, and L. Zhang (2015). Digesting anomalies: An investment approach. Review of Financial Studies 28(3), 650 – 705.

Jegadeesh, N., J. Noh, K. Pukthuanthong, R. Roll, and J. Wang (2019). Empirical test of asset pricing models with individual assets: Resolving the errors-in-variables bias in risk premium estimation. Journal of Financial Economics 133(2), 273 – 298.

Kelly, B., S. Pruitt, and Y. Su (2019). Characteristics are covariances: A unified model of risk and return. Journal of Financial Economics 134(3), 501 – 524.

Lewellen, J., S. Nagel, and J. Shanken (2010). A skeptical appraisal of asset pricing tests. Journal of Financial Economics 96(2), 175 – 194.

Penman, S. (1991). An evaluation of accounting rate-of-return. Journal of Accounting, Auditing and Finance 6(2), 233 – 255.

Penman, S., and X. Zhang (2002). Accounting conservatism, the quality of earnings, and stock returns. The Accounting Review 77(2), 237 – 264.

免責聲明(míng)：入市有風險，投資需謹慎。在任何情況下(xià)，本文的(de)内容、信息及數據或所表述的(de)意見并不構成對(duì)任何人(rén)的(de)投資建議(yì)。在任何情況下(xià)，本文作者及所屬機構不對(duì)任何人(rén)因使用(yòng)本文的(de)任何内容所引緻的(de)任何損失負任何責任。除特别說明(míng)外，文中圖表均直接或間接來(lái)自于相應論文，僅爲介紹之用(yòng)，版權歸原作者和(hé)期刊所有。