지정된 구간들과 관찰치의 대응:np.linspace,pd.cut

이전 포스트(DataFrame을 list로 전환:rand(), list comprehension)에서 pandas DataFrame 구조의 데이터를 리스트형태로 전환하였다. 이 전환된 데이터를 일정구간으로 구분하여 대상의 데이터가 어느 구간에 속하는지를 알아보자.
이 과정을 위해 다음 함수를 작성한다.

def matchingObsS(obs, ref, intN=10, roundN=1):
    interval=np.round(np.linspace(min(ref), max(ref), intN), roundN)
    re=pd.cut(obs, bins=interval, labels=np.arange(len(interval)-1))
    return(interval, dict(re))

이 함수에서는 두가지 주요한 함수가 사용된다. 즉,
이전에 리스트로 전환된 데이터가 위 함수의 인수 ref가 된다.
이 ref의 최소값과 최대값 사이를 일정한 구간으로 구분한다.
이 과정에 np.linspace(시작, 끝, 길이=50) 함수를 사용한다. 이 함수는 시작과 끝 사이에 일정한 간격으로 지정한 길이의 수를 추출한다.

In [1]: import numpy as np
In [2]: import pandas as pd

>>> np.linspace(1, 20, 5)

array([ 1. , 5.75, 10.5 , 15.25, 20. ])

다음 과정으로 통해 사용할 데이터를 생성한다.

In [3]: x=np.round(np.random.rand(3, 4)*10, 1)

In [4]: xdf=pd.DataFrame(x)

In [5]: refd=mkRefdS(xdf, 2) In [6]: print(refd)

[ 3.5 1. 3.6 0.3 5.4 2.5 5.9 5.7 6.9 9.6 8.3 3.3]

다음은 위 함수의 각 과정을 나타낸 것이다.

In [7]: inter=np.round(np.linspace(min(refd), max(refd), 10), 1) In [8]: inter

Out[8]: array([ 0.3, 1.3, 2.4, 3.4, 4.4, 5.5, 6.5, 7.5, 8.6, 9.6])

관찰값으로 사용할 데이터를 생성한다.

In [9]: obs=np.round(np.random.rand(4)*10, 1)

In [10]: obs

Out[10]: array([ 4.2, 1. , 8.8, 7.8])

위 데이터에 각 이름을 주기 위해 pandas DataFrame 구조로 변환한다.

In [11]: obs=pd.DataFrame(obs, index=["a","b","c","d"]) In [12]: obs

Out[12]:

	0
a	4.2
b	1.0
c	8.8
d	7.8

pd.cut 함수를 사용한다.(객체를 일정한 구간으로 구분하기_cut) 이 함수는 객체의 각 원소가 지정된 구간(bin)들의 어느 그룹에 속하는가를 반환한다. 

In [13]: pd.cut(obs.ix[:, 0], bins=inter, labels=range(len(inter)-1))

Out[13]: a 3

b 0
c 8
d 7
Name: 0, dtype: category
Categories (9, int64): [0 < 1 < 2 < 3 ... 5 < 6 < 7 < 8]

위 함수의 실행에서는 주의해야 할 점은 labels의 길이가 bins의 길이보다 1 작아야 한다는 것이다. 이것은 bins의 값은 구간을 구분하는 경계값이기 때문에 이 값들을 기준으로 구간의 갯수는 bins의 원소갯수보다 하나 작기 때문이다. (bins의 최소값 이하와 최대값 이상의 구간은 고려되지 않는다. )

refd와 obs 데이터를 위에서 작성한 함수 matchingObsS()에 적용하여 보자. 이 함수는 두개의 결과 즉, 구간을 설정하 참조데이터의 기준값들의 데이터와 분류할 대상 데이터의 분류결과가 dictionary(사전) 형식으로 반환된다.

In [13]: inter, re=matchingObsS(obs.ix[:,0], refd)

In [14]: inter

Out[14]:array([ 0.3, 1.3, 2.4, 3.4, 4.4, 5.5, 6.5, 7.5, 8.6, 9.6])
In [15]: re

Out[15]:{'a': 3, 'b': 0, 'c': 8, 'd': 7}