[data analysis] 원-핫 인코딩을 위한 함수들

원-핫 인코딩을 위한 함수들

• pandas.get_dummies

pandas.get_dummies(x, prefix=None, dummy_na=False, dtype=None)

• 전달되는 데이터인 x는 1차원 Array, pandas Series, 그리고 DataFrame 모두 가능
• 데이터의 고유값(unique value)에 대응하는 클래스를 생성하여 값에 적합한 클래스에 True, 나머지 클래스에 False를 할당(one-hot encoding)
  • True와 False로 표시가 기본값
  • 인수 dtype = "int": True → 1, False → 0
• dummy_na = True: 데이터의 포함된 Na를 포함

pd.get_dummies(['A', 'A', 'C', 'C', 'B'])

	A	B	C
0	True	False	False
1	True	False	False
2	False	False	True
3	False	False	True
4	False	True	False

pd.get_dummies(['A', 'A', 'C', 'C', 'B'], dtype='int')

	A	B	C
0	1	0	0
1	1	0	0
2	0	0	1
3	0	0	1
4	0	1	0

y=pd.DataFrame([['A', 'A', 'C', 'C', 'B'],['B', 'A', 'C', 'A', 'B']])
pd.get_dummies(y)

	0_A	0_B	1_A	2_C	3_A	3_C	4_B
0	True	False	True	True	False	True	True
1	False	True	True	True	True	False	True

sklearn.preprocessing.OneHotEncoder()

• 특정한 값에 해당하는 인덱스에 1, 나머지는 0을 할당하는 방식으로 데이터 변환하는 클래스
• 전달하는 인수는 2차원 이상의 배열 구조 이어야 합니다.
• .fit(data): estimator 생성하는 메서드
• .transform(data): 변환된 결과를 생성하는 메서드. 이 결과는 자료형이 지정되지 않은 상태로 .toarray() 메소드에 의해 array 형으로 전환한 후 나타냄
• 위의 두 메소드를 결합하여 .fit_transform(data)로 처리할 수 있습니다.
• .inverse_transforme(변환된 data): 원시데이터로 환원된 결과를 반환하는 메소드
• .categories_ : data의 클래스(목록)를 즉, 각 변수의 고유값을 반환하는 속성

torch.functional.one_hot(tensor, num_classes=-1)

• num_classes는 원-핫 인코딩을 위한 클래스 수(컬럼수)
  • 이 함수 내부적으로 생성되는 클래스 수는 0~tensor 객체의 최대값
  • 예를 들어 month의 경우 객체의 최대값은 12이므로 실제적으로 생성되는 클래스 수는 [0, 12]로 13개 입니다.
  • num_classes의 기본값은 -1이고 이 경우는 위 과정이 자동으로 계산됩니다.
  • 수동으로 지정하기 위해서는 위의 자동지정된 값보다 커야 합니다. 즉, month의 경우 13이상이어야 합니다.
  • 여러개의 변수(열)을 동시에 변환할 경우 그 객체의 최대값을 기본으로 하므로 각 열의 클래스수는 동일해집니다. month의 경우 12개의 클래스가 맞지만 한개의 클래스가 더 생성됩니다. 그러나 여분이 되는 이 클래스의 값은 모두 0이므로 계산 결과에 영향에 없습니다. 그러나 메모리 관리 측면에서 불리합니다.
• 텐서의 행 단위로 변환합니다.