[data analysis] 조건부확률

조건부확률(conditional probability)

관련된 내용

• 확률(probability)
• 독립사건(independent event)

표 1은 부모의 대학 졸업 여부에 따른 아이들이 고등학교 졸업 후 바로 대학 입학 여부를 조사한 것입니다.

표 1 부모와 대학 신입생 자료

P:parent, C:children

C / P	Pyes	Pno	Ctotal
Cyes	231	214	445
Cno	49	298	347
Ptotal	280	512	792

표 1에서 마지막행과 열을 제외한 기본 자료는 pandas.DataFrame() 함수를 사용하여 작성합니다. 이 자료를 기준으로 행합과 열합을 생성하기 위해 메서드 .sum()을 사용합니다.

d=pd.DataFrame([[231, 214],[49, 298]])
d

	0	1
0	231	214
1	49	298

d["2"]=d.sum(axis=1)
d

	0	1	2
0	231	214	445
1	49	298	347

d.loc["2",:]=d.sum(axis=0)
d.columns=["P:yes","P:no","C:total"]
d.index=["C:yes","C:no","P:total"]
d

	P:yes	P:no	C:total
C:yes	231	214	445
C:no	49	298	347
P:total	280	512	792

위의 자료로부터 다음을 결정해 봅니다.

1) 학위를 가진 부모에서 아이들이 대학에 진학할 확률은 식 1과 같이 계산됩니다.

$$\begin{align} P\left(C_{\text{yes}}\;\text{in}\;P_{\text{yes}}\right)&=\frac{C_{\text{yes}}}{P_\text{yes}}\\&=\frac{231}{280}\\&=0.825\end{align}$$

(식 1)

2) 고등학교 졸업 후 바로 대학에 진학하지 않은 학생들사이에 부모가 대학 학위를 보유할 확률은 식 2와 같습니다.

$$\begin{align} P\left(P_{\text{yes}}\;\text{in}\;C_{\text{no}}\right)&=\frac{P_{\text{yes}}}{C_\text{no}}\\&=\frac{49}{347}\end{align}$$

(식 2)

표 1은 부모 변수와 학생 변수에 대한 자료를 함께 나타낸 교차표(cross table) 입니다. 이 표의 마지막 행과 마지막 열은 각각 부모변수와 학생변수에 대한 자료만을 나타내고 있습니다. 그 단변수들에 대응하는 확률을 주변확률 (marginal pribability)이라고 합니다. 예를 들어 신입생들 변수 중 yes에 해당하는 확률은 전체(dT[2,2]) 중의 C_yes의 비율로 다음과 같이 계산될 수 있습니다.

\begin{align}P(C_\text{yes})&=\frac{C_\text{yes}}{\text{total}}\\&=\frac{231}{792} \end{align}

(식 3)

위 표에서 주변확률을 제외한 부분 즉, 부모와 학생 변수를 모두 고려하는 확률을 결합확률(joint probability)이라고 합니다.

3) 식4는 고교 졸업 후 바로 대학에 진학하고 부모가 학위가 없는 확률을 나타낸 것입니다.

\begin{align}P(C_\text{yes}\;\text{and}\;P_\text{no})&=P(C_\text{yes},\;P_\text{no})\\&=\frac{214}{792}\\&=0.27 \end{align}

(식 4)

확률 또는 통계학에서는 'and' 대신 ','를 사용하여 축약하여 나타냅니다.

표의 각 항에 대한 확률을 계산하여 나타낼 수 있습니다. 즉, 모든 항의 빈도수를 전체 수로 나누어 표시합니다.

PdT=dT/dT.iloc[2,2]
np.around(PdT,2)

	P:yes	P:no	C:total
C:yes	0.29	0.27	0.56
C:no	0.06	0.38	0.44
P:tot	al 0.35	0.65	1.00

4) 위 결과로부터 부모의 학위와 아이의 교고 졸업 직후에 대학 진학 사이에 연관성이 있는지를 추정하려고 한다면 어떠한 정보를 이용할 수 있을까요?

대학에 진학하는 학생 중 부모가 학위를 가진 확률(식 5):

\begin{align}\frac{P_\text{yes}\;\cap\;C_\text{yes}}{C_\text{yes}}&=\frac{0.29}{0.56}\\&=0.52\\&=P(P_\text{yes}\vert C_\text{yes})\end{align}

(식 5)

학위를 가진 부모 중 대학에 진학하는 학생의 확률(식 6):

\begin{align}\frac{C_\text{yes}\;\cap\;P_\text{yes}}{P_\text{yes}}&=\frac{0.29}{0.35}\\&=0.82\\&=P(C_\text{yes}\vert P_\text{yes})\end{align}

(식 6)

위와 같이 특정한 확률에 조건이 부여된 경우를 조건부 확률(conditional probability)이라고 합니다. 위의 계산식에서 나타낸 것과 같이 조건이 되는 확률(분모)은 기호 "|"과 함께 표시합니다. 요약하면 조건부확률은 표현형식은 식 7과 같습니다.

\begin{align} P(A | B)&=\frac{P(A ∩ B)}{P(B)}\\P(A ∩ B)&=P(A|B)P(B)\end{align}

(식 7)

예 1)

표 2는 2016년 서울과 제주의 성별에 대한 암 진단의 결과입니다. 이 자료를 근거로 진단결과가 서울에서 남성일 확률을 결정합니다.

표 2 서울과 제주의 암진단 결과(2016)

국가통계포털(KOSIS)

성별/도시	서울(S)	제주(J)	total
남성(m)	23876	739	25615
여성(f)	58302	5558	63860
total	82178	7297	89475

d=pd.DataFrame([[23876,739],[58302,5558]])
d["2"]=d.sum(axis=1)
d.loc["2"]=d.sum(axis=0)
d.columns=["S","J","Row_total"]
d.index=["M","F","Col_total"]
d

	S	J	Row_total
M	23876	739	24615
F	58302	5558	63860
Col_total	82178	6297	88475

P_MS=Pd.iloc[0,0]/Pd.iloc[2,0]
np.around(P_MS,2)

	S	J	Row_total
M	0.27	0.01	0.28
F	0.66	0.06	0.72
Col_total	0.93	0.07	1.00

위 결과로부터 조건부확률은 식 8과 같이 계산됩니다.

$$ P(M\,\vert \,S)=\frac{P(M\;\cap\;S)}{P(S)}$$

(식 8)

P_MS=Pd.iloc[0,0]/Pd.iloc[2,0]
np.around(P_MS,2)

0.29

어떤 시행의 표본 공간의 각 사건의 결과를 A₁, A₂, · · · , A_k로 나타내고 각 결과에 대한 조건을 B로 표시한다면 그 조건에서 각 결과들의 확률의 총합은 식 9와 같이 나타낼 수 있습니다.

$$P(A_1\,\vert\,B)+P(A_2\,\vert\,B)+ \cdots +P(A_k\,\vert\,B)=1$$

(식 9)

조건에 대한 확률로부터 특정한 확률을 계산할 수 있습니다.