[data analysis] 데이터 라벨링(Data Labeling)

데이터 라벨링(Data Labeling)

• 클래스 표시 행렬
• 다중 클래스 표시 행렬

클래스 표시 행렬

한 변수의 값들은 각 값에 적합된 그룹(클래스)에 1을, 나머지 그룹(클래스)에 0을 할당하는 방식으로 0과 1로 나타낼 수 있습니다. 표 1은 0, 1, 2, 3, 5의 값을 갖는 데이터를 5개의 클래스로 구분하여 각 값에 대응하는 클래스에만 1을 할당하는 과정을 나타낸 것입니다. 벡터 구조인 데이터의 각 값은 왼쪽을 시작으로 0 부터 부여되는 위치값을 가집니다. 이 위치값을 인덱스(index)라고 하며 클래스의 수와 인덱스의 갯수를 동일하게 하여 같은 위치에 1을 할당한 것입니다.

표 1 1차원 데이터의 클래스 표시행렬

data = [0, 1, 2, 3, 5]
value	index	class 0	class1	class2	class 3	class 4
0	0	1	0	0	0	0
1	1	0	1	0	0	0
2	2	0	0	1	0	0
3	3	0	0	0	1	0
5	4	0	0	0	0	1

표 1의 결과는 식 1과 같이 벡터 형태인 데이터를 2차원 행렬 형태로 전환됩니다. 이 결과는 클래스표시행렬이라 합니다.

$$\begin{bmatrix}1&2&3&4 \end{bmatrix}\Rightarrow \begin{bmatrix}1&0&0&0\\ 0&1&0&0 \\0&0&1&0\\0&0&0&1\end{bmatrix}$$

(식 1)

식 1의 데이터는 고유한 값들로 구성되어 있는 특수한 형태입니다. 다음 코드의 객체 x와 같이 중접된 값들을 가지는 경우 클래스를 생성하기 위해 고유한 값들만을 추출할 필요가 있습니다. 이러한 과정을 포함하여 클래스 표시행렬을 생성하기 위해 sklearn.preprocessing.LabelBinarizer() 클래스를 사용합니다. 고유값은 이 클래스 속성 .class_으로 확인할 수 있습니다. 이 결과는 오름차순으로 정렬된 상태로 반환됩니다.

sklearn.preprocessing.LabelBinarizer()

• 라벨표시 행렬을 생성하는 클래스
• fit(): 메소드로 데이터를 클래스에 적합시킴
• transform(): 메소드로 이진화된 라벨표시 행렬을 반환
• 속성 .class_: 오름차순으로 정렬된 목록의 라벨을 확인
• inverse_transform(변환된 객체): 변환된 객체의 원시형태를 반환

x=[5, 0, 2, 3, 0, 1, 3, 5, 3, 3]
lb = preprocessing.LabelBinarizer()
lb.fit(x)
print(lb.classes_)

[0 1 2 3 5]

.transform() 메서드로 변환된 클래스 표시행렬을 확인합니다.

print(lb.transform(x))

[[0 0 0 0 1]
 [1 0 0 0 0]
 [0 0 1 0 0]
 [0 0 0 1 0]
 [1 0 0 0 0]
 [0 1 0 0 0]
 [0 0 0 1 0]
 [0 0 0 0 1]
 [0 0 0 1 0]
 [0 0 0 1 0]]

이 행렬은 데이터의 고유값인 0, 1, 2, 3, 5에 대응하는 각 클래스에 대해 표시한 것으로 이 고유값외의 다른 값에 대해 클래스를 적합시킬 수 없습니다. 이 경우는 모든 클래스에 0이 할당됩니다. 다음 코드의 인수 4가 이 경우에 해당하는 것으로 이 값에 대응하는 클래스는 없는 상태이므로 모두 0으로 표시됩니다.

print(lb.transform([2, 4]))

[[0 0 1 0 0]
 [0 0 0 0 0]]

다중 클래스 표시 행렬

클래스표시행렬의 경우 1차원 데이터에 대응하는 것이라면 다중 클래스 표시 행렬은 2차원으로 구성된 라벨 데이터를 이진화하는 행렬입니다. 변환은 행 단위로 이루어집니다. 예를 들어 데이터 전체의 고유값을 오름차순으로 정리하여 [1, 2, 6, 7]이라면 각 요소의 인덱스에 대응하는 값은 1 나머지는 0이 됩니다. 이 고유값에서 7의 경우 [0, 0, 0,1]이 됩니다. 그러므로 다중클래스 표시행렬의 열차원은 4가 됩니다. 식 2는 위의 고유값을 지닌 데이터인 경우에서의 다중클래스표시 행렬을 나타낸 것입니다. 이 결과와 같이 이진화는 행단위로 이루어집니다. 그러므로 다중클래스표시행렬의 모양은 데이터의 행수 × 고유값의 수가 됩니다.

$$\begin{bmatrix} 1&7\\2&6\end{bmatrix} \Rightarrow $\begin{bmatrix} 1&0&0&1\\ 0&1&1&0\end{bmatrix}$$

(식 2)

다중클래스 데이터는 다음 코드의 y와 같이 모든 리스트의 크기가 같을 필요는 없습니다. 이 변형은 MultiLabelBinarizer() 클래스를 적용합니다.

sklearn.preprocessing.MultiLabelBinarizer()

• 다중클래스 표시 행렬을 생성
• .fit() 메소드로 데이터에 적합
• .transform() 메소드로 데이터로부터 다중클래스 표시행렬을 생성

다음은 5개의리스트를 가지고 6개의 고유값을 가지는 라벨 데이터입니다. 그러므로 클래스 표시 행렬의 차원은 5 × 6이 됩니다.

y = [[2, 3, 4, 6], [2], [0, 1, 3], [0, 1, 2, 3, 4], [0, 1, 2]]
mlb = preprocessing.MultiLabelBinarizer()
mlb.fit(y)
print(mlb.classes_)

[0 1 2 3 4 6]

print(mlb.transform(y))

[[0 0 1 1 1 1]
 [0 0 1 0 0 0]
 [1 1 0 1 0 0]
 [1 1 1 1 1 0]
 [1 1 1 0 0 0]]