기본 콘텐츠로 건너뛰기

[ML] 결정트리(Decision Tree) 모델

[python] 컴퓨터에서 숫자를 다루는 방식

컴퓨터에서 숫자를 다루는 방식

사용자가 입력한 값은 컴퓨터 저장 장치에 비트(bit) 단위로 1 또는 0으로 저장됩니다. 결과적으로 컴퓨터 연산은 2진수로 이루어집니다.

정수의 표현방식

다음 식은 컴퓨터에서 5를 저장하거나 연산하기 위해 이진수로 변환한 것입니다.

5 = 1 × 22 + 0 × 21 + 1 × 20

위와 같이 십진수 5는 이진수 101로 변환되며 그 이진수 값은 다음과 같이 아래첨자로 진수를 표현합니다. 일반적으로 십진수에 대한 아래첨자는 생략됩니다.

5(10) = 101(2)

1 비트로 표현할 수 있는 수는 0 또는 1이므로 비트수에 대한 표현 용량은 다음과 같이 계산됩니다.

c = 2n,  c: Capacity, n: 비트수

그러므로 8비트에서의 표현할 수 있는 수는 다음과 같이 256이므로 0 ~ 255까지 나타낼 수 있습니다.

2**8
256

정수인 경우는 음과 양의 사인(sign)을 저장하기 위해 최왼쪽의 1비트가 예약되므로 숫자는 최대 7비트를 사용할 수 있습니다. 양수를 0 음수를 1로 처리합니다. 그러므로 수를 저장하기 위한 비트는 7개로 양수의 최대값은 0111111(2)이 됩니다. 이는 127(10)이 됩니다.

컴퓨터에서 음수를 직접적으로 표현할 수 없기 때문에 부호 비트를 지정하여 양수에 대한 음수는 2의 보수(tow's complement)를 사용하여 나타낼 수 있습니다.

일정한 비트수를 기준으로 이진수로 변환할 수 있는 십진수의 범위는 다음과 같이 계산할 수 있습니다.

-2n-1 ~ 2n-1 - 1, n: 비트수

십진수 정수를 2진수로 전환하기 위해 내장함수 int(), bin()을 적용합니다.

int('0b01111111', 2)
127
int('0b10000000', 2)
128
bin(-128)
'-0b10000000'
bin(127)
'0b1111111'

위 결과와 같이 8비트에서 저장될 수 있는 정수의 -128 ~ 127입니다. 이와 같이 16, 32, 64비트에서의 정수의 범위를 계산해 보면 다음과 같습니다.

bit=[8, 16, 32, 64]
for i in bit:
    print(f'{i} 비트: [-{2**(i-1)}, {2**(i-1)-1}]')
8 비트: [-128, 127]
16 비트: [-32768, 32767]
32 비트: [-2147483648, 2147483647]
64 비트: [-9223372036854775808, 9223372036854775807]

위 코드에서는 동일한 명령(코드)를 반복할 수 있는 반복문중의 하나인 for 문을 사용한 것입니다(반복문 참조).

C 등의 프로그래밍 언어에서는 정수를 long, long long 형으로 선언하여 32 비트, 64 비트 등으로 구분하지만 파이썬 3.0 부터는 가변비트 수를 사용하기 때문에 구분없이 선언할 수 있습니다.

파이썬에서 정수형은 int 클래스에 속하는 자료형입니다.

print(type(3))
<class 'int'>

선언한 정수의 비트수를 확인하기 위해서는 sys 모듈의 getsizeof()함수를 사용합니다. 이 함수는 바이트(byte) 단위로 반환합니다. 1바이트는 8비트를 나타냅니다.

import sys
x=0
sys.getsizeof(x)
28
bin(x)
'0b0'

사실 0을 이진수로 변환하기 위한 것은 1 비트 만이 필요하지만 파이썬에서 사용하는 용량은 28바이트입니다. 즉, 이 용량은 정수를 처리하기 위해 기본적으로 사용하는 메모리 크기로 간주할 수 있습니다. 물론 사용자의 컴퓨터 사양에 따라 이 값은 달라질 것입니다.

sys.getsizeof(-2596148429267413814265248164610047)
40

부동소수점(float), 실수의 표현

파이썬의 내장 클래스인 float 클래스를 사용하는 것으로 실수를 나타냅니다. 실수는 IEEE 754(국제표준)에 따라 다음과 같이 유효숫자와 정수화된 지수(exponent)의 곱으로 표현합니다.

1.25 = 125 × 10-2 = 125e-2
실수 = 유효숫자 × 10지수

유효숫자(significant digit)는 수의 정확도에 영향을 주는 숫자로 위의 경우는 숫자의 앞부분과 뒷부분의 0을 제외한 부분을 나타냅니다. 다음 코드의 숫자들은 모두 유효숫자가 3입니다.

125e2
 12500.0
125e-2
1.25
1.25e-0
1.25

파이썬은 부동소수점 실수를 8 바이트 또는 64 비트 기준으로 부호와 지수(정수) 그리고 유효숫자에 고정된 비트에 할당하여 이진수로 전환합니다. 다음은 64비트를 기준으로 부호, 지수, 그리고 유효숫자를 할당한 경우입니다.

  • 부호를 위해 1비트 할당
  • 지수(정수)를 위해 11비트 할당, 그 범위는 [-1024, 1023]
  • 유효숫자를 위해 52비트 할당
rightEx=bin(1023); rightEx
'0b1111111111'
leftEx=bin(-1024); leftEx
'-0b10000000000'

예를 들어 십진수 1.25을 이진수로 나타내면 다음과 같습니다.

1.2510 = (1 × 20 + 0 × 2-1 + 1 × 2-2)10 = (1.01)2

실수의 소수점이하 수는 다음 과정에 의해 2진수로 변환할 수 있습니다.

  1. 2를 곱한 결과 중 소수점 이상이 되는 수를 선택
  2. 과정1은 소수점 이하의 값이 0이 될때까지 반복
  3. 각 반복에서 소수점 이상의 값이 이진값이 됩니다.

예를 들어 0.25를 적용하여 봅니다.

0.25 × 2 = 0.5 → 0
0.5 × 2 = 1 → 1
∴ 0.012

모든 부동소수가 2진수로 전환되지는 않습니다. 이것은 수치연산에서 예상하지 않은 결과가 도출되는 이유이기도 합니다. 이를 살펴보기 위해 위 변환과정을 수행하는 사용자정의함수 float2bin()를 작성하여 사용하였습니다.

def float2bin(x, n=10):
    x1=x
    re=[]
    for i in range(n):
        x1=x1*2
        re.append(int(x1))
        if (x1-int(x1))==0:
            break
        x1=x1-int(x1)
    re=''.join(str(i) for i in re)
    return('0.'+re) 
a=[0.5, 0.25, 0.125, 0.375]
[float2bin(i) for i in a]
['0.1', '0.01', '0.001', '0.011']

이 함수를 적용하여 십진수 0.1을 이진수로 전환할 경우 유효숫자를 지정할 수 없습니다. 그러므로 이진수로 변환할 수 없습니다.

float2bin(0.1, n=100)
'0.0001100110011001100110011001100110011001100110011001101'

다음 코드와 같이 이진수로 완전한 전환이 어려운 실수의 경우 연산은 예측과 다른 결과를 반환하기도 합니다.

a=0.3
b=(0.1+0.2)
a == b
False

이러한 차이로 발생되는 오류는 반올림 등으로 수정될 수 있습니다.

round(a, 3)==round(b, 3)
True

위에서 적용한 round() 함수 외에 math.isclose()를 사용하여 두 값을 비교할 수 있습니다.

from math import isclose
isclose(a, b, rel_tol=1e-9, abs_tol=0.0)
True

또한 decimal 클래스를 사용하여 정밀도를 제안함으로서 0.1과 같이 정확한 이진수로 변환할 수 없는 부동소수점에서 파생되는 문제를 다룰수 있습니다.

x=0.1
x+x+x
0.30000000000000004
import decimal 
from decimal import Decimal 
y=Decimal('0.1')
y+y+y
Decimal('0.3')

decimal 클래스는 표현된 십진수의 수를 그대로 사용하므로 일반적으로 예상된 결과를 생성합니다.

3*x-0.1
0.20000000000000004
3*y-Decimal('0.1')
Decimal('0.2')

Decimal 클래스는 산술연산 과정에서 정밀도와 반올림 알고리즘을 제어하는 컨텍스트 관리자(context manager)(with 문과 컨텍스트 관리자 참조)와 연결되기 때문입니다. 즉, 이 클래스는 __enter__()와 __exit__()의 내장메서드를 포함합니다. 그러므로 이 클래스에 전달되는 인수(실수)는 자동으로 정해진 정밀도를 기준으로 반올림 됩니다.

숫자형의 표현범위

파이썬에서 숫자형은 각 자료형에 따라 저장 용량이 결정됩니다. sys 모듈의 속성 maxsize, maxsize-1으로 정수형의 최대와 최소값, 그리고 float_inf를 적용하여 실수(부동소수점)형의 정보를 확인할 수 있습니다.

import sys
sys.maxsize #정수형 최대값
9223372036854775807
-sys.maxsize-1 #정수형 최소값
-9223372036854775808
sys.float_info  #실수형의 정보
sys.float_info(max=1.7976931348623157e+308, max_exp=1024, max_10_exp=308, min=2.2250738585072014e-308, min_exp=-1021, min_10_exp=-307, dig=15, mant_dig=53, epsilon=2.220446049250313e-16, radix=2, rounds=1)

위 실수형의 결과 중 "dig = 15"는 소수점 이하 15자리까지가 정확하다는 의미입니다.

댓글

이 블로그의 인기 게시물

[Linear Algebra] 유사변환(Similarity transformation)

유사변환(Similarity transformation) n×n 차원의 정방 행렬 A, B 그리고 가역 행렬 P 사이에 식 1의 관계가 성립하면 행렬 A와 B는 유사행렬(similarity matrix)이 되며 행렬 A를 가역행렬 P와 B로 분해하는 것을 유사 변환(similarity transformation) 이라고 합니다. $$\tag{1} A = PBP^{-1} \Leftrightarrow P^{-1}AP = B $$ 식 2는 식 1의 양변에 B의 고유값을 고려한 것입니다. \begin{align}\tag{식 2} B - \lambda I &= P^{-1}AP – \lambda P^{-1}P\\ &= P^{-1}(AP – \lambda P)\\ &= P^{-1}(A - \lambda I)P \end{align} 식 2의 행렬식은 식 3과 같이 정리됩니다. \begin{align} &\begin{aligned}\textsf{det}(B - \lambda I ) & = \textsf{det}(P^{-1}(AP – \lambda P))\\ &= \textsf{det}(P^{-1}) \textsf{det}((A – \lambda I)) \textsf{det}(P)\\ &= \textsf{det}(P^{-1}) \textsf{det}(P) \textsf{det}((A – \lambda I))\\ &= \textsf{det}(A – \lambda I)\end{aligned}\\ &\begin{aligned}\because \; \textsf{det}(P^{-1}) \textsf{det}(P) &= \textsf{det}(P^{-1}P)\\ &= \textsf{det}(I)\end{aligned}\end{align} 유사행렬의 특성 유사행렬인 두 정방행렬 A와 B는 'A ~ B' 와 같

[matplotlib] 히스토그램(Histogram)

히스토그램(Histogram) 히스토그램은 확률분포의 그래픽적인 표현이며 막대그래프의 종류입니다. 이 그래프가 확률분포와 관계가 있으므로 통계적 요소를 나타내기 위해 많이 사용됩니다. plt.hist(X, bins=10)함수를 사용합니다. x=np.random.randn(1000) plt.hist(x, 10) plt.show() 위 그래프의 y축은 각 구간에 해당하는 갯수이다. 빈도수 대신 확률밀도를 나타내기 위해서는 위 함수의 매개변수 normed=True로 조정하여 나타낼 수 있다. 또한 매개변수 bins의 인수를 숫자로 전달할 수 있지만 리스트 객체로 지정할 수 있다. 막대그래프의 경우와 마찬가지로 각 막대의 폭은 매개변수 width에 의해 조정된다. y=np.linspace(min(x)-1, max(x)+1, 10) y array([-4.48810153, -3.54351935, -2.59893717, -1.65435499, -0.70977282, 0.23480936, 1.17939154, 2.12397372, 3.0685559 , 4.01313807]) plt.hist(x, y, normed=True) plt.show()

R 미분과 적분

내용 expression 미분 2차 미분 mosaic를 사용한 미분 적분 미분과 적분 R에서의 미분과 적분 함수는 expression()함수에 의해 생성된 표현식을 대상으로 합니다. expression expression(문자, 또는 식) 이 표현식의 평가는 eval() 함수에 의해 실행됩니다. > ex1<-expression(1+0:9) > ex1 expression(1 + 0:9) > eval(ex1) [1] 1 2 3 4 5 6 7 8 9 10 > ex2<-expression(u, 2, u+0:9) > ex2 expression(u, 2, u + 0:9) > ex2[1] expression(u) > ex2[2] expression(2) > ex2[3] expression(u + 0:9) > u<-0.9 > eval(ex2[3]) [1] 0.9 1.9 2.9 3.9 4.9 5.9 6.9 7.9 8.9 9.9 미분 D(표현식, 미분 변수) 함수로 미분을 실행합니다. 이 함수의 표현식은 expression() 함수로 생성된 객체이며 미분 변수는 다음 식의 분모의 변수를 의미합니다. $$\frac{d}{d \text{변수}}\text{표현식}$$ 이 함수는 어떤 함수의 미분의 결과를 표현식으로 반환합니다. > D(expression(2*x^3), "x") 2 * (3 * x^2) > eq<-expression(log(x)) > eq expression(log(x)) > D(eq, "x") 1/x > eq2<-expression(a/(1+b*exp(-d*x))); eq2 expression(a/(1 + b * exp(-d * x))) > D(eq2, "x") a * (b * (exp(-d * x) * d))/(1 + b