기본 콘텐츠로 건너뛰기

[data analysis]로그-노말 분포(Log-normal distribution)

댓글 쓰기

[data analysis] 변동: 중간값 절대편차(Median Absolute Deviation)

변동(Variation)

관련내용

중간값 절대 편차(MAD)

이상치에 민감한 평균을 대신하여 중간값을 사용할 수 있습니다. 변동 역시 중간값을 사용하여 이상치에 둔감한 지표를 사용할 수 있습니다. 즉, 데이터 셋의 각 값과 중간값의 차이들의 평균을 변동의 지표로 사용합니다.

중간값을 기준으로 그 자료의 각 값과의 편차들의 중간값을 자료의 변동을 대표하는 값으로 사용할 수 있습니다. 그러나 그 편차는 음과 양을 모두 포함하므로 그대로 사용할 경우 그 중간값은 0 또는 그에 근접한 값으로 왜곡된 결과를 나타냅니다. 예를 들어 {4, 5, 6, 8, 10, 11, 12}에 대한 중간값과의 편차의 합은 다음과 같이 0이 되므로 지표로 의미가 없습니다.

da=np.array([4, 5, 6, 8, 10, 11, 12])
md=np.median(da); md
8.0
dev=[md-i for i in da];dev
[4.0, 3.0, 2.0, 0.0, -2.0, -3.0, -4.0]
dev=da-md
np.median(dev)
0.0

이를 수정하기 위해 각 편차의 절대값을 사용하며 이 결과를 중간값 절대 편차(Median Absolute Deviation)이라 합니다. 그 통계량은 식 1과 같이 계산합니다.

MAD = median(|X − Xmedian|)(식 1)

Xmedian는 자료 X의 중간값을 나타냅니다.

np.median(abs(dev))
3.0

MAD는 평균을 사용하는 표준편차와 유사하지만 이상치에 의한 영향이 적습니다. 이 지표의 계산 결과는 scipy.stats.median_abs_deviation(x) 함수에 확인할 수 있습니다.

  • scipy.stats.median_abs_deviation(x, axis=0)
    • 지정한 축을 기준으로 절대 편차 중간값을 반환
stats.median_abs_deviation(da)
3.0
Labels:

댓글

댓글 쓰기

이 블로그의 인기 게시물

유사변환과 대각화

내용 유사변환 유사행렬의 특성 대각화(Diagonalization) 유사변환(Similarity transformation) 유사변환 n×n 차원의 정방 행렬 A, B 그리고 가역 행렬 P 사이에 식 1의 관계가 성립하면 행렬 A와 B는 유사하다고 하며 이 변환을 유사 변환 (similarity transformation)이라고 합니다. $$\begin{equation}\tag{1} A = PBP^{-1} \Leftrightarrow P^{-1}AP = B \end{equation}$$ 식 1의 유사 변환은 다음과 같이 고유값을 적용하여 특성 방정식 형태로 정리할 수 있습니다. $$\begin{align} B - \lambda I &= P^{-1}AP – \lambda P^{-1}P\\ &= P^{-1}(AP – \lambda P)\\ &= P^{-1}(A - \lambda I)P \end{align}$$ 위 식의 행렬식은 다음과 같이 정리됩니다. $$\begin{align} &\begin{aligned}\textsf{det}(B - \lambda I ) & = \textsf{det}(P^{-1}(AP – \lambda P))\\ &= \textsf{det}(P^{-1}) \textsf{det}((A – \lambda I)) \textsf{det}(P)\\ &= \textsf{det}(P^{-1}) \textsf{det}(P) \textsf{det}((A – \lambda I))\\ &= \textsf{det}(A – \lambda I)\end{aligned}\\ &\begin{aligned}\because \; \textsf{det}(P^{-1}) \textsf{det}(P) &= \textsf{det}(P^{-1}P)\\ &= \t
댓글 쓰기
Read more »

[matplotlib] 히스토그램(Histogram)

히스토그램(Histogram) 히스토그램은 확률분포의 그래픽적인 표현이며 막대그래프의 종류입니다. 이 그래프가 확률분포와 관계가 있으므로 통계적 요소를 나타내기 위해 많이 사용됩니다. plt.hist(X, bins=10)함수를 사용합니다. x=np.random.randn(1000) plt.hist(x, 10) plt.show() 위 그래프의 y축은 각 구간에 해당하는 갯수이다. 빈도수 대신 확률밀도를 나타내기 위해서는 위 함수의 매개변수 normed=True로 조정하여 나타낼 수 있다. 또한 매개변수 bins의 인수를 숫자로 전달할 수 있지만 리스트 객체로 지정할 수 있다. 막대그래프의 경우와 마찬가지로 각 막대의 폭은 매개변수 width에 의해 조정된다. y=np.linspace(min(x)-1, max(x)+1, 10) y array([-4.48810153, -3.54351935, -2.59893717, -1.65435499, -0.70977282, 0.23480936, 1.17939154, 2.12397372, 3.0685559 , 4.01313807]) plt.hist(x, y, normed=True) plt.show()
댓글 쓰기
Read more »

R 미분과 적분

내용 expression 미분 2차 미분 mosaic를 사용한 미분 적분 미분과 적분 R에서의 미분과 적분 함수는 expression()함수에 의해 생성된 표현식을 대상으로 합니다. expression expression(문자, 또는 식) 이 표현식의 평가는 eval() 함수에 의해 실행됩니다. > ex1<-expression(1+0:9) > ex1 expression(1 + 0:9) > eval(ex1) [1] 1 2 3 4 5 6 7 8 9 10 > ex2<-expression(u, 2, u+0:9) > ex2 expression(u, 2, u + 0:9) > ex2[1] expression(u) > ex2[2] expression(2) > ex2[3] expression(u + 0:9) > u<-0.9 > eval(ex2[3]) [1] 0.9 1.9 2.9 3.9 4.9 5.9 6.9 7.9 8.9 9.9 미분 D(표현식, 미분 변수) 함수로 미분을 실행합니다. 이 함수의 표현식은 expression() 함수로 생성된 객체이며 미분 변수는 다음 식의 분모의 변수를 의미합니다. $$\frac{d}{d \text{변수}}\text{표현식}$$ 이 함수는 어떤 함수의 미분의 결과를 표현식으로 반환합니다. > D(expression(2*x^3), "x") 2 * (3 * x^2) > eq<-expression(log(x)) > eq expression(log(x)) > D(eq, "x") 1/x > eq2<-expression(a/(1+b*exp(-d*x))); eq2 expression(a/(1 + b * exp(-d * x))) > D(eq2, "x") a * (b * (exp(-d * x) * d))/(1 + b
댓글 쓰기
Read more »