기본 콘텐츠로 건너뛰기

[ML] 결정트리(Decision Tree) 모델

[python]Iterator와 Generator

내용

Iterator ans Generator

container

container는 데이터를 담을 수 있는 그릇의 역할을 하는 것으로 list, tuple, dic, set, string등의 데이터 구조를 의미합니다. 다음 코드에서 사용한 연산자 in를 사용하여 각 구조에 포함되는 요소들을 검사할 수 있습니다.

assert 1 in [1,2,3]
assert 4 in [1,2,3]
AssertionError                            Traceback (most recent call last)
c:\Users\sonhs\Documents\note\python\산책\pyNote2.ipynb Cell 2' in <cell line: 1>()
----> 1 assert 4 in [1,2,3]
AssertionError: 

위 코드에서 사용한 assert는 if와 같은 조건문으로서 조건이 False일 경우만 에러를 반환합니다. 그러므로 조건의 판단만을 결정할 경우 유용하게 사용할 수 있습니다.

iterable과 interator(반복자)

  • iterable
    • 객체의 요소들을 한번에 하나씩 나타낼 수 있는 객체
    • list, turple, set, dictionary와 같은 collection이나 string등의 자료형 객체
  • iterator;
    • 값을 차례대로 꺼낼 수 있는 객체

python에서 반복가능한 객체인 iterable의 대표적인 예로 range()에 의한 객체 인스턴스입니다. 다음은 0~9까지 정수를 생성하는 것입니다.

for i in range(10):
     print(i, end=',')
0,1,2,3,4,5,6,7,8,9,

위 코드는 실제로 0~9까지의 수를 모든 데이터를 생성한 후 반복이 이루어지는 것이 아니라 for 루프에서 어떤 수를 호출할 때 대상이 되는 수가 평가되는 방식으로 실행됩니다. 이러한 방식을 지연 평가(lazy evaluation)라 합니다.

iterator는 이 지연평가 방식으로 실행되는 객체입니다. 이러한 방식은 데이터의 양이 커질수록 메모리 관리에 효율적입니다. 실제로 iterator의 경우 그 객체의 모든 원소를 반환하면 메모리상에 저장위치만이 출력됩니다. 이것은 그 객체의 각 원소들이 __next__()메서드에 의해 호출될 때 생성됨을 의미합니다.

iterator는 iterable 객체로 부터 만들 수 있습니다. iterable 객체는 __iter__ 메서드를 가지고 있는 객체입니다. 각 객체의 메서드는 dir() 함수로 확인할 수 있습니다.

x=[1,2,3]
print(dir(x), end=',')
 ['__add__', '__class__', '__contains__', '__delattr__', '__delitem__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__getitem__', '__gt__', '__hash__', '__iadd__', '__imul__', '__init__', '__init_subclass__', '__iter__', '__le__', '__len__', '__lt__', '__mul__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__reversed__', '__rmul__', '__setattr__', '__setitem__', '__sizeof__', '__str__', '__subclasshook__', 'append', 'clear', 'copy', 'count', 'extend', 'index', 'insert', 'pop', 'remove', 'reverse', 'sort'], 

위 결과에 의하면 객체 리스트 객체인 x는 __iter__를 가지고 있으므로 iterator로 만들수 있으며 __next__메서드를 사용하여 각 원소를 차례대로 호출할 수 있습니다. 이 메서드는 원소가 존재하지 않으면 stopIteration이라는 에러가 발생합니다. 물론 반복가능한 객체로서 for문등을 사용하여 값을 호출할 수 있습니다.

x=[1,2,3]
for i in x: 
    print(i, end='  ')
1  2  3  
x_it=x.__iter__()
x_it
<list_iterator at 0x1f4106e98e0>
x_it.__next__()
1
x_it.__next__()
2
x_it.__next__()
3
x_it.__next__()
StopIteration: 

리스트, 튜플, set, dictionary 등은 요소들이 보이는 객체인데 반해 range()에 의해 생성되는 객체는 다른 자료형으로 전환하기 전에는 원소들을 직접 확인 할 수 없습니다.

rng=range(5); rng
range(0, 5)
list(rng)
[0, 1, 2, 3, 4]
print(dir(rng), end=" ")
['__bool__', '__class__', '__contains__', '__delattr__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__getitem__', '__gt__', '__hash__', '__init__', '__init_subclass__', '__iter__', '__le__', '__len__', '__lt__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__reversed__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', 'count', 'index', 'start', 'step', 'stop'] 

이러한 객체 역시 iterable 객체로서 __iter__ 메소드를 가지고 있습니다. 즉, iterator로 만들수 있니다.

rng.__iter__()
<range_iterator at 0x1f410ee94d0> 

sequence와 iterable의 차이

  • sequence
    • 각 요소에 부여된 인덱스를 사용하여 요소를 호출 할 수 있는
    • 리스트, 튜플, range
  • iterable 객체
    • 각 요소를 하나씩 나타낼 수 있는 객체로 모든 sequence 객체를 포함
    • 인덱스를 사용할 수 없지만 요소를 하나씩 호출할 수 있는 set, dictionary 등의 객체로 포함

generator(발생자)

generator는 iterator와 같이 반복가능한 객체의 원소를 차례대로 반환하는 함수로서 yield 구문을 사용합니다. 즉, iterator(반복자)와 같은 기능을 가집니다. 그러나 반복가능한 객체를 iterator로 만들기 위해서는 __iter__()메서드를 사용하여 생성하며 실행을 위해서는 __next__() 메서드를 실행하여야 합니다. 반면에 generator는 yield 구문만을 사용하여 생성할 수 있습니다.

다음은 객체의 각 값의 제곱을 반환하나는 함수입니다.

def square(x):
    re=[]
    for i in x:
           re.append(i*i)
    return(re)
​
x=[1, 2, 3, 4, 5]
square(x)
[1, 4, 9, 16, 25]

위 객체는 모든 요소가 생성된 후에 일괄적으로 반환됩니다. 동일한 결과를 반환하는 iterater를 작성하여 보면 다음과 같습니다.

def square_it(x):
    re=[]
    for i in x:
        re.append(i*i)
    re1=re.__iter__()
    return(re1)
​
x=[1, 2, 3, 4, 5]
x1=square_it(x)
x1
<list_iterator at 0x1f4106b4b80>
x1.__next__()
1
x1.__next__()
4
x1.__next__()
9
x1.__next__()
16
x1.__next__()
25

위 함수를 generator()로 작성하면 단순해 집니다. generator 역시 각 요소가 호출될 때 생성됩니다. 요소의 호출은 next()함수로 이루어지며 iterator와 마찬가지로 모든 값이 호출된 후에는 에러가 발생됩니다.

def square_ge(x):
     re=[]
     for i in x:
          yield i*i

x=[1, 2, 3, 4, 5]
x2=square_ge(x)
x2
<generator object square_ge at 0x000002921B3A9040>
next(x2)
1
next(x2)
4
next(x2)
 9
next(x2)
 16
next(x2)
 25  
next(x2)
StopIteration:

generator 역시 반복가능한 객체이므로 for 문으로 각 원소를 출력할 수 있습니다.

for i in x2:
    print(i, end=" ")
 1 4 9 16 25  

댓글

이 블로그의 인기 게시물

[Linear Algebra] 유사변환(Similarity transformation)

유사변환(Similarity transformation) n×n 차원의 정방 행렬 A, B 그리고 가역 행렬 P 사이에 식 1의 관계가 성립하면 행렬 A와 B는 유사행렬(similarity matrix)이 되며 행렬 A를 가역행렬 P와 B로 분해하는 것을 유사 변환(similarity transformation) 이라고 합니다. $$\tag{1} A = PBP^{-1} \Leftrightarrow P^{-1}AP = B $$ 식 2는 식 1의 양변에 B의 고유값을 고려한 것입니다. \begin{align}\tag{식 2} B - \lambda I &= P^{-1}AP – \lambda P^{-1}P\\ &= P^{-1}(AP – \lambda P)\\ &= P^{-1}(A - \lambda I)P \end{align} 식 2의 행렬식은 식 3과 같이 정리됩니다. \begin{align} &\begin{aligned}\textsf{det}(B - \lambda I ) & = \textsf{det}(P^{-1}(AP – \lambda P))\\ &= \textsf{det}(P^{-1}) \textsf{det}((A – \lambda I)) \textsf{det}(P)\\ &= \textsf{det}(P^{-1}) \textsf{det}(P) \textsf{det}((A – \lambda I))\\ &= \textsf{det}(A – \lambda I)\end{aligned}\\ &\begin{aligned}\because \; \textsf{det}(P^{-1}) \textsf{det}(P) &= \textsf{det}(P^{-1}P)\\ &= \textsf{det}(I)\end{aligned}\end{align} 유사행렬의 특성 유사행렬인 두 정방행렬 A와 B는 'A ~ B' 와 같

[matplotlib] 히스토그램(Histogram)

히스토그램(Histogram) 히스토그램은 확률분포의 그래픽적인 표현이며 막대그래프의 종류입니다. 이 그래프가 확률분포와 관계가 있으므로 통계적 요소를 나타내기 위해 많이 사용됩니다. plt.hist(X, bins=10)함수를 사용합니다. x=np.random.randn(1000) plt.hist(x, 10) plt.show() 위 그래프의 y축은 각 구간에 해당하는 갯수이다. 빈도수 대신 확률밀도를 나타내기 위해서는 위 함수의 매개변수 normed=True로 조정하여 나타낼 수 있다. 또한 매개변수 bins의 인수를 숫자로 전달할 수 있지만 리스트 객체로 지정할 수 있다. 막대그래프의 경우와 마찬가지로 각 막대의 폭은 매개변수 width에 의해 조정된다. y=np.linspace(min(x)-1, max(x)+1, 10) y array([-4.48810153, -3.54351935, -2.59893717, -1.65435499, -0.70977282, 0.23480936, 1.17939154, 2.12397372, 3.0685559 , 4.01313807]) plt.hist(x, y, normed=True) plt.show()

R 미분과 적분

내용 expression 미분 2차 미분 mosaic를 사용한 미분 적분 미분과 적분 R에서의 미분과 적분 함수는 expression()함수에 의해 생성된 표현식을 대상으로 합니다. expression expression(문자, 또는 식) 이 표현식의 평가는 eval() 함수에 의해 실행됩니다. > ex1<-expression(1+0:9) > ex1 expression(1 + 0:9) > eval(ex1) [1] 1 2 3 4 5 6 7 8 9 10 > ex2<-expression(u, 2, u+0:9) > ex2 expression(u, 2, u + 0:9) > ex2[1] expression(u) > ex2[2] expression(2) > ex2[3] expression(u + 0:9) > u<-0.9 > eval(ex2[3]) [1] 0.9 1.9 2.9 3.9 4.9 5.9 6.9 7.9 8.9 9.9 미분 D(표현식, 미분 변수) 함수로 미분을 실행합니다. 이 함수의 표현식은 expression() 함수로 생성된 객체이며 미분 변수는 다음 식의 분모의 변수를 의미합니다. $$\frac{d}{d \text{변수}}\text{표현식}$$ 이 함수는 어떤 함수의 미분의 결과를 표현식으로 반환합니다. > D(expression(2*x^3), "x") 2 * (3 * x^2) > eq<-expression(log(x)) > eq expression(log(x)) > D(eq, "x") 1/x > eq2<-expression(a/(1+b*exp(-d*x))); eq2 expression(a/(1 + b * exp(-d * x))) > D(eq2, "x") a * (b * (exp(-d * x) * d))/(1 + b