[data analysis] 원-핫 인코딩(one-hot encoding)

원-핫인코딩(One-Hot encoding)

대상이 되는 값에 1 그외의 값에 0을 지정하는 방식으로 인코딩합니다. 이러한 할당방식을 one-hot 인코딩이라 합니다. 예를 들어 변수에 할당된 목록 값이 female, male인 경우 다음과 같이 인코딩 됩니다.

	female	male
female	1	0
male	0	1

그러므로 x=['female']인 경우 Onehotcoding에 의해 [1, 0]으로 변환됩니다. 이 변환은 pandas.get_dummies() 함수나 sklearn.preprocessing.OneHotEncoder() 클래스 또는 torch.funtional.one_hot()에 의해 실행할 수 있습니다.

위 함수들은 원-핫 인코딩을 위한 함수들들을 참조합니다.

다음 자료 x는 5개의 데이터와 고유값 3개(Na를 코딩에서 제외)를 포함합니다. 그러므로 다음과 같이 5행 3열의 결과가 되며 각각에 대응하는 위치에 1이 할당됩니다.

x=['a', 'c', 'z', 'a', np.nan]
pd.get_dummies(x, dtype="int")

	a	c	z
0	1	0	0
1	0	1	0
2	0	0	1
3	1	0	0
4	0	0	0

pd.get_dummies(x, dummy_na=True)

	a	c	z	NaN
0	True	False	False	False
1	False	True	False	False
2	False	False	True	False
3	True	False	False	False
4	False	False	False	True

y=pd.DataFrame({'A': ['a', 'b', 'a'], 'B': ['b', 'a', 'c'], 'C': [1, 2, 3]}); y

	A	B	C
0	a	b	1
1	b	a	2
2	a	c	3

pd.get_dummies(y, dtype="int")

	C	A_a	A_b	B_a	B_b	B_c
0	1	1	0	0	1	0
1	2	0	1	1	0	0
2	3	1	0	0	0	1

pd.get_dummies(y, prefix=['c1', 'c2'], dtype="int")

	C	c1_a	c1_b	c2_a	c2_b	c2_c
0	1	1	0	0	1	0
1	2	0	1	1	0	0
2	3	1	0	0	0	1

sklearn.preprocessing.OneHotEncoder() 클래스를 사용할 수 있습니다. 실행기전은 get_dummies()와 같습니다.

X = [['male', 'asia', 'uses Safari'], ['female', 'Europe', 'uses Firefox']]
xDf=pd.DataFrame(X, columns=["sex", "From","use"]); xDf

	sex	From	use
0	male	asia	uses Safari
1	female	Europe	uses Firefox

ohc_dum=pd.get_dummies(xDf, dtype="int"); ohc_dum

	sex_female	sex_male	From_Europe	From_asia	use_uses Firefox	use_uses Safari
0	0	1	0	1	0	1
1	1	0	1	0	1	0

ohc_sk=preprocessing.OneHotEncoder().fit(X)
print(ohc_sk.categories_)

[array(['female', 'male'], dtype=object), array(['Europe', 'asia'], dtype=object), array(['uses Firefox', 'uses Safari'], dtype=object)]

다음 코드 ohc_sk.transform()은 다음과 같이 1로 변환된 결과만을 나타냅니다.

print(ohc_sk.transform(X))

  (0, 1)	1.0
  (0, 3)	1.0
  (0, 5)	1.0
  (1, 0)	1.0
  (1, 2)	1.0
  (1, 4)	1.0

위 결과는 .toarray() 메소드를 사용하여 array 형으로 변환하는 것으로 다음과 같이 모든 결과를 반환합니다.

print(ohc_sk.transform(X).toarray())

[[0. 1. 0. 1. 0. 1.]
 [1. 0. 1. 0. 1. 0.]]

다음 코드들은 python의 패키지인 torch의 funtional.one_hot() 함수에 의해 원-핫 인코딩을 실행한 것입니다.

import torch
import torch.nn.functional as F
x=torch.arange(0, 5)
x

tensor([0, 1, 2, 3, 4])

F.one_hot(x)

tensor([[1, 0, 0, 0, 0],
        [0, 1, 0, 0, 0],
        [0, 0, 1, 0, 0],
        [0, 0, 0, 1, 0],
        [0, 0, 0, 0, 1]])

x1=torch.randint(0, 12, size=(5,))
x1

tensor([ 0,  9,  4, 10,  1])

위 객체 x1의 각 요소는 하나의 행으로 변환되어 나타냅니다. 그러므로 변환된 객체의 모양은 (5, 11)이 됩니다.

F.one_hot(x1)

tensor([[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
        [0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0],
        [0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0],
        [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1],
        [0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0]])

one_hot()함수에서 매개변수인 num_classes를 수동으로 지정한 경우입니다. 이 경우 x1의 최대값보다 커야 합니다. 변환된 객체의 모양은 (5, 12)이 됩니다.

F.one_hot(x1, num_classes=12)

tensor([[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],
        [0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0],
        [0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0],
        [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0],
        [0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]])

위의 X와 같이 문자열(string) 객체를 one-hot 인코딩을 위해 torch.one_hot()함수를 적용하기 위해서는 문자 변수를 숫자로 전환할 필요가 있습니다. 이 전환은 sklearn.preprocessing의 LabelEncoder()클래스를 적용합니다. 이 클래스에 전달하는 객체는 대상 자료의 모든 변수를 포함하는 1차원 벡터이어야 합니다. 예를 들어 위의 객체 X는 다음과 같이 (2, 3)형태의 2차원 객체입니다.

x=np.array(X)
x

array([['male', 'asia', 'uses Safari'],
       ['female', 'Europe', 'uses Firefox']], dtype='< U12')

데이터내의 각 요소의 원-핫 인코딩을 위해서는 모든 값들에 대한 label encoding이 필요합니다. 그러므로 위 객체 x를 1차원 벡터로 전환하여 label을 전환합니다.

xVec=np.array(X).ravel()
xVec

array(['male', 'asia', 'uses Safari', 'female', 'Europe', 'uses Firefox'],
      dtype='< U12')

LabelEcoder()에 의해 전환된 labelencoder 객체를 각 대상에 적용합니다.

le=sklpre.LabelEncoder().fit(xVec)
t0=torch.from_numpy(le.transform(x[0,:]))
t0

tensor([3, 1, 5])

torch.one_hot()에 전달하기 위해 tensor객체로 전환합니다.

t1=torch.from_numpy(le.transform(x[1,:]))
t1

tensor([2, 0, 4])

t0oh=F.one_hot(t0)
t0oh

tensor([[0, 0, 0, 1, 0, 0],
        [0, 1, 0, 0, 0, 0],
        [0, 0, 0, 0, 0, 1]])

t1oh=F.one_hot(t1)
t1oh

tensor([[0, 0, 1, 0, 0],
        [1, 0, 0, 0, 0],
        [0, 0, 0, 0, 1]])