概率分布细谈:厚尾、长尾、幂律、指数

在人类行为、社交网络等社会学数据分析中,厚尾分布频繁出现。在这篇文章中,我将梳理这些常见概念的关系。

厚尾分布是什么?

厚尾分布指“尾部”比指数分布“厚重“的分布

概率分布细谈:厚尾、长尾、幂律、指数_第1张图片
尾部厚重

Example

帕雷托Pareto分布,也称为幂率power-law分布, 具有渐近尺度不变性,对于性质分析很有帮助
对数正态 LogNormal
Weibull
Zipf
Cauchy
Student’s t
Frechet


概率分布细谈:厚尾、长尾、幂律、指数_第2张图片
power-low distribution

厚尾分布的子类目

Regularly varying
次指数分布Subexponential,服从浩劫原则,对于随机游走等问题的研究很有帮助


Subexponential Distributions

长尾分布Long-tailed,服从等待时间爆炸原则,对于极端情形研究很有帮助


概率分布细谈:厚尾、长尾、幂律、指数_第3张图片
Long-tailed Distributions

Fat-tailed

下面这张图说明厚尾分布的各种类型

概率分布细谈:厚尾、长尾、幂律、指数_第4张图片
Types of heavy-tailed

厚尾分布的性质

厚尾分布具有许多有趣的特性

  • 帕雷托准则Pareto principle : 20%的人拥有社会上80%的财富
  • 方差无限, 甚至均值无限
  • 重大事件相对发生频繁

它们的3个基本性质

  • 尺度不变性Scale Invariance


    尺度不变性

    定理可证明,一个分布具有尺度不变性当且仅当这个分布是帕累托分布


    渐近尺度不变性

    定理可证明,一个分布具有渐近尺度不变性当且仅当这个分布是Regular varying分布
    概率分布细谈:厚尾、长尾、幂律、指数_第5张图片
    regularly varying
  • 浩劫原则Catastrophe principle
    通俗意义上来说,浩劫原则指的是仅需要极少甚至一个意外就可以带来巨大的灾难。浩劫原则是厚尾分布的特性之一。相对而言,轻尾分布则服从阴谋原则,可理解为需要多数样本聚合才能产生一定的效果。


    概率分布细谈:厚尾、长尾、幂律、指数_第6张图片
    浩劫原则和阴谋原则

    一个分布服从浩劫原则当且仅当这个分布是一个次指数分布

  • 等待时间爆炸residual life blows up
    通俗理解,如果你没有很快收到邮件答复,那么你可能永远收不到了~假定你已经等待了x时间,那么剩余等待时间的分布是


    residual life distribution

    如果是一个指数分布


    residual life distribution of exponential
    它仍然是指数分布,也就是说白等了x时间。如果是一个帕雷托分布,那就很可怕了,等待时间会随着已等时间x上升!
    概率分布细谈:厚尾、长尾、幂律、指数_第7张图片
    residual life distribution of pareto
概率分布细谈:厚尾、长尾、幂律、指数_第8张图片
mean residual life & hazard rate
概率分布细谈:厚尾、长尾、幂律、指数_第9张图片
DHR IMRL

什么时候会出现厚尾分布?

考虑独立同分布的随机变量Xi,它们的和如何变化?

方差有限时,随机变量的和服从0均值的正态分布
概率分布细谈:厚尾、长尾、幂律、指数_第10张图片
CLT

方差无限时,随机变量的和服从厚尾分布
概率分布细谈:厚尾、长尾、幂律、指数_第11张图片
GCLT

在人类生活中,厚尾分布比正态分布更经常出现

  • 累加性过程 Additive Processes,如上述方差无限时
  • 乘积性过程 Multiplicative Proces
    概率分布细谈:厚尾、长尾、幂律、指数_第12张图片
    example of multiplicative process

    在乘积性中心极限法则的作用下,对数正态分布出现
    概率分布细谈:厚尾、长尾、幂律、指数_第13张图片
    log normal

    概率分布细谈:厚尾、长尾、幂律、指数_第14张图片
    MCLT
    如果在乘积性过程中加入噪声或者是较低的屏障,幂律分布出现~
    概率分布细谈:厚尾、长尾、幂律、指数_第15张图片
    power law
  • 极值过程 Extremal Process
    极值过程也会导致厚尾分布的出现,l


    概率分布细谈:厚尾、长尾、幂律、指数_第16张图片
    extremal process

厚尾分布的识别

方案1在双对数坐标系下,幂律分布呈线性

概率分布细谈:厚尾、长尾、幂律、指数_第17张图片
识别不同分布

注意使用rank plot(ccdf)而不是简单的frequency plot(pdf)
概率分布细谈:厚尾、长尾、幂律、指数_第18张图片
ccdf VS pdf

概率分布细谈:厚尾、长尾、幂律、指数_第19张图片
指数分布还是幂律分布?

通过双对数坐标系下的线性判断幂律分布也有一定风险,因为对数正态、Weibull分布也可能是线性的,而且尾部通常含有更多噪声,不符合linear regression全局噪声恒定的假设

方案2使用MLE估计alpha

概率分布细谈:厚尾、长尾、幂律、指数_第20张图片
MLE &WLS

如果仅有尾部符合幂律分布,如何识别?Hill Estimator ! 这里就不多做介绍啦

Reference

http://users.cms.caltech.edu/~adamw/papers/2013-SIGMETRICS-heavytails.pdf

你可能感兴趣的:(概率分布细谈:厚尾、长尾、幂律、指数)