기본 콘텐츠로 건너뛰기

[ML] 결정트리(Decision Tree) 모델

R 데이터의 집계 및 재구성

내용

데이터의 집계 및 재구성(aggregation and restructuring)

R은 데이터를 집계하고 재구성하기 위한 여러 가지 강력한 방법을 제공합니다. 데이터를 집계할 때 관찰 그룹을 해당 관찰을 기반으로 하는 요약 통계로 바꿉니다. 데이터를 재구성할 때 데이터가 구성되는 방식을 결정하는 구조(행 및 열)를 변경합니다. 이 섹션에서는 이러한 작업을 수행하는 다양한 방법에 대해 설명합니다. 다음 두 하위 섹션에서는 R의 기본 설치에 포함된 mtcars 데이터 프레임을 사용할 것입니다. Motor Trend Magazine(1974)에서 추출한 이 데이터 세트는 설계 및 성능 특성(실린더 수, 배기량, 마력, mpg 등) 34대용. 데이터세트에 대한 자세한 내용은 help(mtcars)를 참조하세요.

전치(transpose)

전치는 데이터의 구조 즉, 행과 열을 교환하는 것입니다. 함수 t()를 사용합니다.
cars<-mtcars[1:5, 1:4]
cars
mpg cyl disp hp
Mazda RX4 21.0 6 160 110
Mazda RX4 Wag 21.0 6 160 110
Datsun 710 22.8 4 108 93
Hornet 4 Drive 21.4 6 258 110
Hornet Sportabout18.7 8 360 175
t(cars)
MazdaRX4 Mazda RX4 Wag Datsun 710 Hornet 4 Drive Hornet Sportabout
mpg 21 21 22.8 21.4 18.7
cyl 6 6 4.0 6.0 8.0
disp 160 160 108.0 258.0 360.0
hp 110 110 93.0 110.0 175.0
colnames(mtcars)
[1] "mpg"  "cyl"  "disp" "hp"   "drat" "wt"   "qsec" "vs"   "am"   "gear"
[11] "carb"
dim(mtcars)
[1] 32 11

데이터의 집계

다음 함수를 사용하여 하나 이상의 변수와 정의된 함수를 사용하여 R에서 데이터를 변화시키는 것은 비교적 쉽습니다.
aggregate(x, by, FUN)
x: 객체,
by: by는 새로운 관측치를 형성하기 위한 변수의 목록(list 형으로 전달)입니다.
FUN: 새 관측값을 구성할 요약 통계를 계산하는 데 사용되는 스칼라 함수입니다.
다음은 변수 cyl와 gear에 대해 다른 변수들의 데이터들을 집계하고 평균을 계산합니다.
options(digits=3)
attach(mtcars)
The following objects are masked from mtcars (pos = 3):
    am, carb, cyl, disp, drat, gear, hp, mpg, qsec, vs, wt
aggDa<-aggregate(mtcars, by=list(cyl, gear), FUN=mean, na.rm=TRUE)
aggDa
Group.1 Group.2 mpg cyl disp hp drat wt qsec vs am gear carb
1 4 3 21.5 4 120 97 3.70 2.46 20.0 1.0 0.00 3 1.00
2 6 3 19.8 6 242 108 2.92 3.34 19.8 1.0 0.00 3 1.00
3 8 3 15.1 8 358 194 3.12 4.10 17.1 0.0 0.00 3 3.08
4 4 4 26.9 4 103 76 4.11 2.38 19.6 1.0 0.75 4 1.50
5 6 4 19.8 6 164 116 3.91 3.09 17.7 0.5 0.50 4 4.00
6 4 5 28.2 4 108 102 4.10 1.83 16.8 0.5 1.00 5 2.00
7 6 5 19.7 6 145 175 3.62 2.77 15.5 0.0 1.00 5 6.00
8 8 5 15.4 8 326 300 3.88 3.37 14.6 0.0 1.00 5 6.00
위 결과의
  • Group.1 = cyl
  • Group.2 = gear
예를 들어 1행은 경우 cyl, grear가 각각 4, 3인 경우 mpg의 평균은 21.5를 나타냅니다.
Aggregate() 함수를 사용할 때 by 변수는 list이어야 합니다. (하나만 있더라도). 예를 들어 by=list(Group.cyl=cyl, Group.gears=gear) 를 사용하여 목록 내에서 그룹에 대한 사용자 정의 이름을 선언할 수 있습니다. 지정된 함수는 내장 또는 사용자 함수일 수 있습니다.

reshape 패키지

reshape 패키지는 데이터세트를 재구성하고 집계하는 데 매우 다양한 접근 방식을 제공합니다. 이러한 다양함 때문에 복잡할 수 있지만 데이터의 재구성에 매우 효과적입니다. 기본적으로 각 행이 고유한 ID-변수 조합이 되도록 데이터를 "용해"(melt)합니다. 그런 다음 녹은 데이터를 원하는 모양으로 "캐스팅"(casting)합니다. 캐스트하는 동안 원하는 기능으로 데이터를 집계할 수 있습니다. 예를 들어 다음의 간단한 데이터를 사용합니다. 이 데이터의 관측변수(의존변수)는 X1과 X2입니다. 즉, id와 Time은 독립변수입니다.
d<-data.frame(id=c(1,1,2,2), Time=c(1,2,1,2), X1=c(5, 3, 6, 2), X2=c(6, 5, 1, 4))
d
id Time X1 X2
1 1 1 5 6
2 1 2 3 5
3 2 1 6 1
4 2 2 2 4

melting

위 데이터를 독립변수에 따라 모든 관측변수의 이름을 하나의 열에 위치시키고 각각에 대응하는 값을 다른 열에 위치하는 구조로 다시 구성한다면 행은 $2 \times 2 \times 2 = 8$개가 필요합니다.
독립변수 1 독립변수 2 의존변수
2 2 2
위와 같이 데이터를 다시 재구성하는 것을 melt라고 하면 melt(x, id=()) 함수를 사용합니다.
library(reshape)
 md<-melt(d, id=c("id","Time")); md
id Time variable value
1 1 1 X1 5
2 1 2 X1 3
3 2 1 X1 6
4 2 2 X1 2
5 1 1 X2 6
6 1 2 X2 5
7 2 1 X2 1
8 2 2 X2 4

casting

meting된 데이터로 부터 함수 cast()를 사용하여 데이터를 재구성합니다.
cast(md, formular, FUN)
md: melt()함수에 의한 melted data
formular: 재구성을 위한 공식으로 기본적으로 "독립변수"~"의존변수" 예) id~variable, id+Time~variable, id~variable+Time ...
FUN: 재구성한 data에 적용할 함수
함수를 전달하지 않은 경우는 데이터 재구성만이 이루어 집니다.
우변의 수식(d, e, f)에는 함수가 포함되어 있지 않기 때문에 데이터의 형태가 변경됩니다. 대조적으로, 왼쪽의 예(a, b, c)는 평균을 집계 함수로 지정합니다. 따라서 데이터는 재구성될 뿐만 아니라 집계됩니다. 예를 들어, (a)는 각 관측치에 대해 시간 경과에 따른 평균 X1 및 X2의 평균을 제공합니다. 예 (b)는 관찰에 대해 평균을 낸 시간 1과 시간 2에서 X1과 X2의 평균 점수를 제공합니다. (c)에는 X1과 X2에 대해 평균을 낸 시간 1과 시간 2의 각 관찰에 대한 평균 점수가 있습니다. 다음은 시간에 따라 집계된 X1과 X2의 평균을 나타냅니다.
cast(md, Time~variable, mean)
Time X1 X2
1 1 5.5 3.5
2 2 2.5 4.5
id, Time에 대해 집계된 X1, X2의 평균을 나타냅니다.
cast(md, id+Time~variable, mean)
id Time X1 X2
1 1 1 5 6
2 1 2 3 5
3 2 1 6 1
4 2 2 2 4
단순히 id에 대한 variable과 time의 합한 형태로 데이터를 재구성합니다.
cast(md, id~variable+Time)
id X1_1 X1_2 X2_1 X2_2
1 1 5 3 6 5
2 2 6 2 1 4

댓글

이 블로그의 인기 게시물

[Linear Algebra] 유사변환(Similarity transformation)

유사변환(Similarity transformation) n×n 차원의 정방 행렬 A, B 그리고 가역 행렬 P 사이에 식 1의 관계가 성립하면 행렬 A와 B는 유사행렬(similarity matrix)이 되며 행렬 A를 가역행렬 P와 B로 분해하는 것을 유사 변환(similarity transformation) 이라고 합니다. $$\tag{1} A = PBP^{-1} \Leftrightarrow P^{-1}AP = B $$ 식 2는 식 1의 양변에 B의 고유값을 고려한 것입니다. \begin{align}\tag{식 2} B - \lambda I &= P^{-1}AP – \lambda P^{-1}P\\ &= P^{-1}(AP – \lambda P)\\ &= P^{-1}(A - \lambda I)P \end{align} 식 2의 행렬식은 식 3과 같이 정리됩니다. \begin{align} &\begin{aligned}\textsf{det}(B - \lambda I ) & = \textsf{det}(P^{-1}(AP – \lambda P))\\ &= \textsf{det}(P^{-1}) \textsf{det}((A – \lambda I)) \textsf{det}(P)\\ &= \textsf{det}(P^{-1}) \textsf{det}(P) \textsf{det}((A – \lambda I))\\ &= \textsf{det}(A – \lambda I)\end{aligned}\\ &\begin{aligned}\because \; \textsf{det}(P^{-1}) \textsf{det}(P) &= \textsf{det}(P^{-1}P)\\ &= \textsf{det}(I)\end{aligned}\end{align} 유사행렬의 특성 유사행렬인 두 정방행렬 A와 B는 'A ~ B' 와 같

[matplotlib] 히스토그램(Histogram)

히스토그램(Histogram) 히스토그램은 확률분포의 그래픽적인 표현이며 막대그래프의 종류입니다. 이 그래프가 확률분포와 관계가 있으므로 통계적 요소를 나타내기 위해 많이 사용됩니다. plt.hist(X, bins=10)함수를 사용합니다. x=np.random.randn(1000) plt.hist(x, 10) plt.show() 위 그래프의 y축은 각 구간에 해당하는 갯수이다. 빈도수 대신 확률밀도를 나타내기 위해서는 위 함수의 매개변수 normed=True로 조정하여 나타낼 수 있다. 또한 매개변수 bins의 인수를 숫자로 전달할 수 있지만 리스트 객체로 지정할 수 있다. 막대그래프의 경우와 마찬가지로 각 막대의 폭은 매개변수 width에 의해 조정된다. y=np.linspace(min(x)-1, max(x)+1, 10) y array([-4.48810153, -3.54351935, -2.59893717, -1.65435499, -0.70977282, 0.23480936, 1.17939154, 2.12397372, 3.0685559 , 4.01313807]) plt.hist(x, y, normed=True) plt.show()

R 미분과 적분

내용 expression 미분 2차 미분 mosaic를 사용한 미분 적분 미분과 적분 R에서의 미분과 적분 함수는 expression()함수에 의해 생성된 표현식을 대상으로 합니다. expression expression(문자, 또는 식) 이 표현식의 평가는 eval() 함수에 의해 실행됩니다. > ex1<-expression(1+0:9) > ex1 expression(1 + 0:9) > eval(ex1) [1] 1 2 3 4 5 6 7 8 9 10 > ex2<-expression(u, 2, u+0:9) > ex2 expression(u, 2, u + 0:9) > ex2[1] expression(u) > ex2[2] expression(2) > ex2[3] expression(u + 0:9) > u<-0.9 > eval(ex2[3]) [1] 0.9 1.9 2.9 3.9 4.9 5.9 6.9 7.9 8.9 9.9 미분 D(표현식, 미분 변수) 함수로 미분을 실행합니다. 이 함수의 표현식은 expression() 함수로 생성된 객체이며 미분 변수는 다음 식의 분모의 변수를 의미합니다. $$\frac{d}{d \text{변수}}\text{표현식}$$ 이 함수는 어떤 함수의 미분의 결과를 표현식으로 반환합니다. > D(expression(2*x^3), "x") 2 * (3 * x^2) > eq<-expression(log(x)) > eq expression(log(x)) > D(eq, "x") 1/x > eq2<-expression(a/(1+b*exp(-d*x))); eq2 expression(a/(1 + b * exp(-d * x))) > D(eq2, "x") a * (b * (exp(-d * x) * d))/(1 + b