Log-normal distribution의 소개

확률이론에서 로그노말분포는 어떤값들의 로그화가 정규분포에 부합하는 랜덤변수의 연속확률분포입니다. 즉,
변수 X가 로그노말 분포를 따른다면 Y=ln(X)는 노말분포에 부합합니다.
반대로 Y가 정규분포를 따른다면 X=exp(Y)는 로그노말분포를 가집니다.
로그노말분포를 따르는 랜덤변수는 양의 실수이어야 하겠지요.
로그노말분포의 랜덤변수들은 양의 독립적 변수들의 곱셈으로 얻어지는 값들에서 나타납니다.

많은 데이터를 정규분포와의 비교에서 크거나 작은 왜도에 의해 이탈되는 경우가 많이 발생합니다.
왜도 분포는 평균이 낮거나 분산이 크거나 그 값들이 음수일 경우에 자주 발생합니다. 이러한 분포는 log normal 분포에 근접한 경우가 자주 발생합니다.

어떠한 효과가 첨가적(additive)으로 일어나는 경우 정규분포, 곱셈효과(multiplicative effect)일 경우는 로그노말분포를 따르는 경우가 많습니다.

다음은 첨가효과를 보기위해 주사위를 두개를 시행한 후 더한값의 분포를 정규분포와 비교해 보았습니다.

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib.pyplot as plt

x=np.random.randint(1, 7, size=10000)
y=np.random.randint(1, 7, size=10000)
z=x+y
bi=np.linspace(1, 13, 12)
n, bins, ig=plt.hist(z, bi, normed=True, linewidth=0.5, edgecolor="k")
mu=np.mean(z)
sd=np.std(z)
plt.plot(bins, tats.norm.pdf(bins, mu, sd), color='r', linewidth=2)
plt.show()

위 분포는 다음의 모수를 가진 정규분포에 부합하는 것을 알 수 있습니다. 

(위 코드에 사용된 stats.norm.pdf(x, 평균, 표준편차)는 정규분포의ㅣ 확률밀도를 반환하는 함수로서 scipy패키지의 stats 클래스 메소드입니다.)

>>> mu

 6.9752999999999998

>>> sd

 2.394178337133639

위 변수 x, y의 곱효과에 대한 그래프입니다. 

z1=x*y

bi1=np.linspace(np.min(z1)-1, max(z1)+1, 13, 12)

n1, bins1, ig1=plt.hist(z1, bi1, normed=True, linewidth=0.5, edgecolor="k")

mu1=np.mean(z1)

sd1=np.std(z1)

plt.plot(bins1, stats.norm.pdf(bins1, mu1, sd1), color='r', linewidth=2)

plt.show()

>>> mu1

 12.117100000000001

>>> sd1

 8.8423066894334763

위 그래프는 오른쪽 꼬리가 긴 왜도 분포를 보입니다. 이 분포는 로그노말분포와 유사한 모양을 보입니다. 그러면 위의 z1값을 로그화하여 동일한 과정으로 그래프를 그려봅니다. 

z2=np.log(z1)

bi2=np.linspace(np.min(z2)-1, max(z2)+1, 13, 12)

n2, bins2, ig2=plt.hist(z2, bi2, normed=True, linewidth=0.5, edgecolor="k")

mu2=np.mean(z2)

sd2=np.std(z2)

plt.plot(bins2, stats.norm.pdf(bins2, mu2, sd2), color='r', linewidth=2)

plt.show()

약간 왼쪽 꼬리가 긴 모양이긴 하지만 정규분포와 많이 유사해짐을 알 수 있습니다.

로그정규분포는 변수의 로그변형과 관계를 가집니다. 즉, 로그정규분포를 따르는 변수의 로그화에 의해 대칭되는 특성을 보입니다.

일반적으로 ln(x)가 정규분포를 가진다면 그 변수 x는 로그정규분포에 부합합니다. 로그 정규분포의 확률밀도 함수는 다음과 같습니다.
$$\text{f(x)} = \frac{1}{x \sigma \sqrt{2\pi}} \text{exp}{(-\frac{1}{2 \sigma^2} (log(x) - \mu)^2)}$$
위 식에서 $\sigma$=s는 shape parameter 입니다.
이 모양변수에 따라 로그 정규분포의 모양이 다양합니다.
다음은 s=0.5인 로그노말분포를 따르는 랜덤변수를 10000개에 대한 일정한 구간에 대한 로그노말 확률밀도를 그래프화 한 것입니다.

s=[0.1, 0.3, 0.5, 0.7, 0.9, 1]
col=['c','m','k','b', 'r', 'g']
x=[lognorm.rvs(0.5) for j in range(10001)]
n, b, ig=plt.hist(x, np.linspace(np.min(x), np.max(x)+0.0001,50), normed=True, color='w')
for i in range(len(s)): 
    plt.plot(b, lognorm.pdf(b, s[i]), color=col[i])
plt.show()

위 결과는 s=0.1인 경우 정규분포의 형태 즉, 좌우 대칭인 모양을 보이지만 이 값이 증가할 수록 첨도가 낮아지고 오른쪽 꼬리가 길어지는 즉, 오른쪽 왜도가 증가하는 로그노말 분포에 근접합니다.