[ML] 다중 클래스의 분류: SGDClassifier와 RandomForest

다중 클래스의 분류: SGDClassifier와 RandomForest

다중 클래스를 가진 인공 데이터셋에 대한 분류모델은 SGDClassifier()를 적용합니다. 다중 클래스에 대한 분류 모델을 생성하는 알고리즘은 세가지로 구분할 수 있습니다. 다중 클래스를 직접적으로 조정하는 것으로 Random Forest Classifier 또는 naive Bayesn Classifier를 적용합니다. 다른 두 가지는 Support vector machine classifier 또는 linear classifier와 같이 이진 분류 알고리즘을 적용합니다. 이진분류를 적용하기 위한 전략으로 one-versus-all(OvA, one-versus-the-rest)와 one-versus-one(OvO)를 사용합니다.

• OvA: [0, 1, 2, ..., 9] 에서, 0 검출기, 1 검출기 등을 생성하고 각 샘플에서 생성되는 결정함수로부터 클래스를 결정합니다.
• OvO: 0-1 구분하는 검출기, 0-2구분하는 검출기 등을 생성하므로 N개의 클래스가 존재한다면 $\frac{N(N-1)}{2}$의 검출기를 생성합니다.

대부분의 이진 분류 알고리즘의 경우 OvA가 선호됩니다. sklearn에서는 다중 클래스의 데이터에 이진분류 알고리즘을 이용할 경우 자동적으로 OvA가 실행됩니다. 그러나 support vector machine은 OvO가 실행됩니다.

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
import seaborn as sns
sns.set_style("darkgrid")

make_classification() 함수를 사용하여 2개의 특징과 1개의 라벨을 포함한 데이터셋을 생성합니다.

X, y =make_classification(n_samples=10000, n_classes=10, n_clusters_per_class=1, n_informative=5, random_state=41)
X.shape, y.shape

((10000, 20), (10000,))

Xtr, Xte, ytr, yte=train_test_split(X, y, test_size=0.3)
some=X[0].reshape(1,-1)
some.shape

(1, 20)

y[0]

7

sgdclassifier() 클래스를 적용한 모델 sgdClf를 생성합니다. 다중 클래스이므로 기본적으로 OvA 전략을 사용합니다.

from sklearn.linear_model import SGDClassifier

sgdClf=SGDClassifier().fit(Xtr, ytr)
sgdClf.predict(some)

array([7])

대상 변수에 대응하는 각 클래스의 확률은 결정함수를 반환하는 메소드decision_function()에 의해 확인할 수 있습니다. 이 결과에 가장 높은 확률에 해당하는 클래스가 예측 결과가 됩니다.

someScores=sgdClf.decision_function(some)
someScores

array([[ -3.90528187,  -2.05220084,  -2.51904986,  -3.25329106,
         -2.33818175, -11.66979818,  -2.47294902,  -0.19979868,
         -2.37303898,  -1.14767078]])

maxIdx=np.argmax(someScores); maxIdx

7

모델 sgdClf의 속성 classes_는 이 모델에 참여하는 라벨에 포함된 모든 클래스를 나타냅니다.

sgdClf.classes_[maxIdx]

7

ScikitLearn에서 일대일 또는 일대전(OvA, one-versus-All) 클래스를 사용하도록 강제하려면 OneVsOneClassifier 또는 OneVsRestClassifier 클래스를 사용할 수 있습니다. 간단히 인스턴스를 만들고 이진 분류기를 생성자에 전달합니다. 예를 들어, 이 코드는 SGDClassifier를 기반으로 OvO(one-versus-one) 전략을 사용하여 다중 클래스 분류기를 만듭니다.

from sklearn.multiclass import OneVsOneClassifier

ovoClf=OneVsOneClassifier(SGDClassifier(random_state=3))
ovoClf.fit(Xtr, ytr)
ovoClf.predict(some)

array([9])

RandomForest는 다중 클래스를 직접적으로 분류할 수 있습니다. 그러므로 OvA 또는 OvO를 별도로 실행하지 않습니다.

from sklearn.ensemble import RandomForestClassifier

forestClf=RandomForestClassifier().fit(Xtr, ytr)
forestClf.predict(some)

array([7])

forestClf.predict_proba(some)

array([[0.03, 0.15, 0.  , 0.  , 0.02, 0.  , 0.  , 0.67, 0.  , 0.13]]

위 결과의 7번째 인덱스에서 가장 높은 확률이 확인됩니다. 그러므로 그 확률에 대응되는 클래스인 7이 예측됩니다. 두 모델의 정확성을 확인하기 위해 cross_val_score() 함수를 사용합니다.

ovoEval=cross_val_score(ovoClf, Xtr, ytr, cv=3, scoring="accuracy")
forestEval=cross_val_score(forestClf, Xtr, ytr, cv=3, scoring="accuracy")
ovoEval

array([0.59811482, 0.57693956, 0.58808401])

forestEval

array([0.73179092, 0.71924561, 0.71753108])

두 모델에 대한 평가를 위해 혼동행렬을 작성합니다.

from sklearn.model_selection import cross_val_predict
from sklearn import metrics

predTr=cross_val_predict(sgdClf, Xtr, ytr)
confM=metrics.confusion_matrix(ytr, predTr)
confM

array([[464,  35,  51,  18,   4,  12,  14,  50,  21,  29],
       [136, 401,   2,   4,  36,  49,  14,  23,  11,  29],
       [187,  25, 159,  85,  22,   1,  81, 104,  29,  15],
       [ 58,  38,  60, 256, 114,   6,  41,  49,  24,  36],
       [ 21,  72,   1, 129, 295,  74,   2,  69,   7,  30],
       [ 10,  32,   0,   3,   8, 591,   4,   0,  42,   3],
       [ 72,  85,  58, 134,  39,  12, 273,  12,  21,   5],
       [ 43,  87,  47,  12,  91,  52,  60, 225,  24,  64],
       [ 36,  85,  23,  60,  12,  51,  33,  42, 320,  44],
       [160, 108,   5,  12,  26,  20,  33, 121,  71, 136]], dtype=int64)

위 결과는 실제클래스(행)과 예측클래스(열)에 대응하는 빈도를 나타낸 것입니다. 다음과 같이 시각화합니다. 다음 그림의 각 축의 값들은 실제와 예측 클래스의 인덱스이므로 0~9까지를 나타냅니다.

다음 결과에 의하면 (5,5)에서 가장 높은 빈도수, (10, 10)에서 가장 낮은 빈도수를 나타냅니다.

np.diag(confM)

array([464, 401, 159, 256, 295, 591, 273, 225, 320, 136], dtype=int64)

plt.matshow(confM)
plt.colorbar()
plt.xlabel("Index of actual class")
plt.xticks(range(0, 10))
plt.ylabel("Index of predict class")
plt.yticks(range(0, 10))
plt.show()

반면에 randomforest에 의한 모델은 sgdClf보다 모든 클래스에 높은 정확성을 보입니다.

predTrRf=cross_val_predict(forestClf, Xtr, ytr, cv=3)
confMrf=metrics.confusion_matrix(ytr, predTrRf)

plt.matshow(confMrf)
plt.colorbar()
plt.xlabel("Index of actual class")
plt.xticks(range(0, 10))
plt.ylabel("Index of predict class")
plt.yticks(range(0, 10))
plt.show()

np.diag(confMrf)

array([552, 508, 432, 435, 558, 648, 483, 399, 560, 467], dtype=int64)