[data analysis] 결측치 조정

내용

• 무한값 처리
• 결측치와 무한값 처리
• 기존 값 적용
• where, mask

결측치와 무한값 처리

결측치 무한값 찾기에서 소개한 것과 같이 무한값과 결측치는 데이터 분석에 에러의 요인이 될 수 있습니다. 이들을 처리하는 방법을 알아봅니다.

무한값 처리

import math
import numpy as np
import pandas as pd

np.random.seed(3)
x=np.random.rand(4, 3)
x[1,2]=float("inf")
print(x)

[[0.5507979  0.70814782 0.29090474]
 [0.51082761 0.89294695        inf]
 [0.12558531 0.20724288 0.0514672 ]
 [0.44080984 0.02987621 0.45683322]]

객체 x에서 무한값의 인덱스를 결정하기 위해 각 요소에 대한 무한값의 여부를 True/False로 반환하는 np.isinf()와 조건에 부합하는 인덱스를 반환하는 np.where(조건) 함수를 사용할 수 있습니다.

infId=np.where(np.isinf(x))
infId

(array([1], dtype=int64), array([2], dtype=int64))

위의 결과와 같이 행과 열의 인덱스를 별도로 반환 됩니다.

x[infId]

array([inf])

• np.delete(x, index, axis=None)
  • x: 객체
  • index: 제거할 행 또는 열 인덱스로 기준축에 따라 행 또는 열이 결정됩니다.
  • axis: 기준 축

객체 x의 무한값의 인덱스는 [1, 2]입니다. 다음 코드는 0축 즉, 행축을 기준으로 1행을 제거하는 것입니다.

print(np.delete(x, 1, 0))

[[0.5507979  0.70814782 0.29090474]
 [0.12558531 0.20724288 0.0514672 ]
 [0.44080984 0.02987621 0.45683322]]

다음 코드는 1축 즉, 열축을 기준으로 2열을 제거하는 것입니다.

print(np.delete(x, 2, 1))

[[0.5507979  0.70814782]
 [0.51082761 0.89294695]
 [0.12558531 0.20724288]
 [0.44080984 0.02987621]]

결측치와 무한값 처리

• obj.dopna(axis=0, how='any')
  • obj: pandas 객체
  • axis: 기준 축
  • nan(결측치)를 포함하는 기준 축(axis)를 제거합니다.
  • how: 제거하는 방법을 설정합니다.
    • any: 결측치가 한개 이상 존재하면 대응하는 행 또는 열을 제거
    • all: 기준축이 모두 결측치일 경우만 제거

np.random.seed(11)
x1=np.random.rand(4, 5)
x1[[0, 3], [2,4]]=np.nan
x1[[1, 3], [2, 1]]=float('inf')
df=pd.DataFrame(x1)
df

	0	1	2	3	4
0	0.180270	0.019475	NaN	0.724934	0.420204
1	0.485427	0.012781	inf	0.941807	0.850795
2	0.729964	0.108736	0.893904	0.857154	0.165087
3	0.632334	inf	0.116737	0.316367	NaN

df.dropna(axis=1)#열기준

	0	1	3
0	0.180270	0.019475	0.724934
1	0.485427	0.012781	0.941807
2	0.729964	0.108736	0.857154
3	0.632334	inf	0.316367

df.isna()함수는 객체의 각 요소에 대해 NaN(결측치) 판단을 True/False로 반환합니다.

df.isna()

	0	1	2	3	4
0	False	False	True	False	False
1	False	False	False	False	False
2	False	False	False	False	False
3	False	False	False	False	True

위 결과와 같이 pd.dropna()는 결측치에만 대응합니다. 무한값에 적용하기 위해서는 inf, 또는 -inf를 nan으로 전환이 필요합니다. 이 전환은 다음 함수를 적용할 수 있습니다.

• obj.replace(to_place, value=None, inplace=False, method='pad')
  • obj: pandas 객체
  • to_place: 교환하기 위한 대상
  • value: 교환할 값
  • inplace=False: True이면 이 메서드가 수행되는 obj 자체가 수정됩니다. 기본값은 False입니다.
  • mehod: value가 None일 경우 대체할 값을 지정하는 방법입니다.
    • 'pad'='ffill': 직전 값으로 대치
    • 'bfill':직후 값으로 대치

df2=df.replace(np.inf, np.nan)
df2.dropna()

	0	1	2	3	4
2	0.729964	0.108736	0.893904	0.857154	0.165087

기존 값 적용

다음 코드는 .repalce()에서 교환할 값 대신 매개변수 method를 지정하는 경우입니다. 이것은 대상값의 직전과 직후의 변화가 크지 않을 경우 고려할 수 있는 방법으로 데이터의 소실을 방지할 수 있습니다.

np.random.seed(9)
x1=np.random.rand(4,3)
x1[[0, 2], [1,2]]=np.nan
df=pd.DataFrame(x1)
df

	0	1	2
0	0.010374	NaN	0.495773
1	0.133830	0.142111	0.218559
2	0.418508	0.248101	NaN
3	0.345499	0.166776	0.878559

df.replace(np.nan, method='ffill')

	0	1	2
0	0.010374	NaN	0.495773
1	0.133830	0.142111	0.218559
2	0.418508	0.248101	0.218559
3	0.345499	0.166776	0.878559

where, mask

대체할 값이 결측치(NaN)일 경우 DataFrame.ffill(), DataFrame.bfill()를 적용할 수 있습니다. 이 함수는 각각 .replace(np.nan, method='ffill')와 .replace(np.nan, method='bfill')와 같습니다.

df.bfill()

	0	1	2
0	0.010374	0.142111	0.495773
1	0.133830	0.142111	0.218559
2	0.418508	0.248101	0.878559
3	0.345499	0.166776	0.878559

DataFrame.where(조건, other) 함수는 조건에 부합하지 않는 요소들을 other로 치환합니다. other를 지정하지 않은 경우 결측치(NaN)으로 치환합니다. 반대로 DataFrame.mask(조건, othter)는 조건에 부합하는 경우 other로 치환합니다.

df.where(df.isna()==False, other=0)

	0	1	2
0	0.010374	0.000000	0.495773
1	0.133830	0.142111	0.218559
2	0.418508	0.248101	0.000000
3	0.345499	0.166776	0.878559

df.mask(df.isna(), 0)

	0	1	2
0	0.010374	0.000000	0.495773
1	0.133830	0.142111	0.218559
2	0.418508	0.248101	0.000000
3	0.345499	0.166776	0.878559