기본 콘텐츠로 건너뛰기

pandas_ta를 적용한 통계적 인덱스 지표

[python]Iterator와 Generator

내용

Iterator ans Generator

container

container는 데이터를 담을 수 있는 그릇의 역할을 하는 것으로 list, tuple, dic, set, string등의 데이터 구조를 의미합니다. 다음 코드에서 사용한 연산자 in를 사용하여 각 구조에 포함되는 요소들을 검사할 수 있습니다.

assert 1 in [1,2,3]
assert 4 in [1,2,3]
AssertionError                            Traceback (most recent call last)
c:\Users\sonhs\Documents\note\python\산책\pyNote2.ipynb Cell 2' in <cell line: 1>()
----> 1 assert 4 in [1,2,3]
AssertionError: 

위 코드에서 사용한 assert는 if와 같은 조건문으로서 조건이 False일 경우만 에러를 반환합니다. 그러므로 조건의 판단만을 결정할 경우 유용하게 사용할 수 있습니다.

iterable과 interator(반복자)

  • iterable
    • 객체의 요소들을 한번에 하나씩 나타낼 수 있는 객체
    • list, turple, set, dictionary와 같은 collection이나 string등의 자료형 객체
  • iterator;
    • 값을 차례대로 꺼낼 수 있는 객체

python에서 반복가능한 객체인 iterable의 대표적인 예로 range()에 의한 객체 인스턴스입니다. 다음은 0~9까지 정수를 생성하는 것입니다.

for i in range(10):
     print(i, end=',')
0,1,2,3,4,5,6,7,8,9,

위 코드는 실제로 0~9까지의 수를 모든 데이터를 생성한 후 반복이 이루어지는 것이 아니라 for 루프에서 어떤 수를 호출할 때 대상이 되는 수가 평가되는 방식으로 실행됩니다. 이러한 방식을 지연 평가(lazy evaluation)라 합니다.

iterator는 이 지연평가 방식으로 실행되는 객체입니다. 이러한 방식은 데이터의 양이 커질수록 메모리 관리에 효율적입니다. 실제로 iterator의 경우 그 객체의 모든 원소를 반환하면 메모리상에 저장위치만이 출력됩니다. 이것은 그 객체의 각 원소들이 __next__()메서드에 의해 호출될 때 생성됨을 의미합니다.

iterator는 iterable 객체로 부터 만들 수 있습니다. iterable 객체는 __iter__ 메서드를 가지고 있는 객체입니다. 각 객체의 메서드는 dir() 함수로 확인할 수 있습니다.

x=[1,2,3]
print(dir(x), end=',')
 ['__add__', '__class__', '__contains__', '__delattr__', '__delitem__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__getitem__', '__gt__', '__hash__', '__iadd__', '__imul__', '__init__', '__init_subclass__', '__iter__', '__le__', '__len__', '__lt__', '__mul__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__reversed__', '__rmul__', '__setattr__', '__setitem__', '__sizeof__', '__str__', '__subclasshook__', 'append', 'clear', 'copy', 'count', 'extend', 'index', 'insert', 'pop', 'remove', 'reverse', 'sort'], 

위 결과에 의하면 객체 리스트 객체인 x는 __iter__를 가지고 있으므로 iterator로 만들수 있으며 __next__메서드를 사용하여 각 원소를 차례대로 호출할 수 있습니다. 이 메서드는 원소가 존재하지 않으면 stopIteration이라는 에러가 발생합니다. 물론 반복가능한 객체로서 for문등을 사용하여 값을 호출할 수 있습니다.

x=[1,2,3]
for i in x: 
    print(i, end='  ')
1  2  3  
x_it=x.__iter__()
x_it
<list_iterator at 0x1f4106e98e0>
x_it.__next__()
1
x_it.__next__()
2
x_it.__next__()
3
x_it.__next__()
StopIteration: 

리스트, 튜플, set, dictionary 등은 요소들이 보이는 객체인데 반해 range()에 의해 생성되는 객체는 다른 자료형으로 전환하기 전에는 원소들을 직접 확인 할 수 없습니다.

rng=range(5); rng
range(0, 5)
list(rng)
[0, 1, 2, 3, 4]
print(dir(rng), end=" ")
['__bool__', '__class__', '__contains__', '__delattr__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__getitem__', '__gt__', '__hash__', '__init__', '__init_subclass__', '__iter__', '__le__', '__len__', '__lt__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__reversed__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', 'count', 'index', 'start', 'step', 'stop'] 

이러한 객체 역시 iterable 객체로서 __iter__ 메소드를 가지고 있습니다. 즉, iterator로 만들수 있니다.

rng.__iter__()
<range_iterator at 0x1f410ee94d0> 

sequence와 iterable의 차이

  • sequence
    • 각 요소에 부여된 인덱스를 사용하여 요소를 호출 할 수 있는
    • 리스트, 튜플, range
  • iterable 객체
    • 각 요소를 하나씩 나타낼 수 있는 객체로 모든 sequence 객체를 포함
    • 인덱스를 사용할 수 없지만 요소를 하나씩 호출할 수 있는 set, dictionary 등의 객체로 포함

generator(발생자)

generator는 iterator와 같이 반복가능한 객체의 원소를 차례대로 반환하는 함수로서 yield 구문을 사용합니다. 즉, iterator(반복자)와 같은 기능을 가집니다. 그러나 반복가능한 객체를 iterator로 만들기 위해서는 __iter__()메서드를 사용하여 생성하며 실행을 위해서는 __next__() 메서드를 실행하여야 합니다. 반면에 generator는 yield 구문만을 사용하여 생성할 수 있습니다.

다음은 객체의 각 값의 제곱을 반환하나는 함수입니다.

def square(x):
    re=[]
    for i in x:
           re.append(i*i)
    return(re)
​
x=[1, 2, 3, 4, 5]
square(x)
[1, 4, 9, 16, 25]

위 객체는 모든 요소가 생성된 후에 일괄적으로 반환됩니다. 동일한 결과를 반환하는 iterater를 작성하여 보면 다음과 같습니다.

def square_it(x):
    re=[]
    for i in x:
        re.append(i*i)
    re1=re.__iter__()
    return(re1)
​
x=[1, 2, 3, 4, 5]
x1=square_it(x)
x1
<list_iterator at 0x1f4106b4b80>
x1.__next__()
1
x1.__next__()
4
x1.__next__()
9
x1.__next__()
16
x1.__next__()
25

위 함수를 generator()로 작성하면 단순해 집니다. generator 역시 각 요소가 호출될 때 생성됩니다. 요소의 호출은 next()함수로 이루어지며 iterator와 마찬가지로 모든 값이 호출된 후에는 에러가 발생됩니다.

def square_ge(x):
     re=[]
     for i in x:
          yield i*i

x=[1, 2, 3, 4, 5]
x2=square_ge(x)
x2
<generator object square_ge at 0x000002921B3A9040>
next(x2)
1
next(x2)
4
next(x2)
 9
next(x2)
 16
next(x2)
 25  
next(x2)
StopIteration:

generator 역시 반복가능한 객체이므로 for 문으로 각 원소를 출력할 수 있습니다.

for i in x2:
    print(i, end=" ")
 1 4 9 16 25  

댓글

이 블로그의 인기 게시물

[Linear Algebra] 유사변환(Similarity transformation)

유사변환(Similarity transformation) n×n 차원의 정방 행렬 A, B 그리고 가역 행렬 P 사이에 식 1의 관계가 성립하면 행렬 A와 B는 유사행렬(similarity matrix)이 되며 행렬 A를 가역행렬 P와 B로 분해하는 것을 유사 변환(similarity transformation) 이라고 합니다. $$\tag{1} A = PBP^{-1} \Leftrightarrow P^{-1}AP = B $$ 식 2는 식 1의 양변에 B의 고유값을 고려한 것입니다. \begin{align}\tag{식 2} B - \lambda I &= P^{-1}AP – \lambda P^{-1}P\\ &= P^{-1}(AP – \lambda P)\\ &= P^{-1}(A - \lambda I)P \end{align} 식 2의 행렬식은 식 3과 같이 정리됩니다. \begin{align} &\begin{aligned}\textsf{det}(B - \lambda I ) & = \textsf{det}(P^{-1}(AP – \lambda P))\\ &= \textsf{det}(P^{-1}) \textsf{det}((A – \lambda I)) \textsf{det}(P)\\ &= \textsf{det}(P^{-1}) \textsf{det}(P) \textsf{det}((A – \lambda I))\\ &= \textsf{det}(A – \lambda I)\end{aligned}\\ &\begin{aligned}\because \; \textsf{det}(P^{-1}) \textsf{det}(P) &= \textsf{det}(P^{-1}P)\\ &= \textsf{det}(I)\end{aligned}\end{align} 유사행렬의 특성 유사행렬인 두 정방행렬 A와 B는 'A ~ B' 와 같...

[sympy] Sympy객체의 표현을 위한 함수들

Sympy객체의 표현을 위한 함수들 General simplify(x): 식 x(sympy 객체)를 간단히 정리 합니다. import numpy as np from sympy import * x=symbols("x") a=sin(x)**2+cos(x)**2 a $\sin^{2}{\left(x \right)} + \cos^{2}{\left(x \right)}$ simplify(a) 1 simplify(b) $\frac{x^{3} + x^{2} - x - 1}{x^{2} + 2 x + 1}$ simplify(b) x - 1 c=gamma(x)/gamma(x-2) c $\frac{\Gamma\left(x\right)}{\Gamma\left(x - 2\right)}$ simplify(c) $\displaystyle \left(x - 2\right) \left(x - 1\right)$ 위의 예들 중 객체 c의 감마함수(gamma(x))는 확률분포 등 여러 부분에서 사용되는 표현식으로 다음과 같이 정의 됩니다. 감마함수는 음이 아닌 정수를 제외한 모든 수에서 정의됩니다. 식 1과 같이 자연수에서 감마함수는 factorial(!), 부동소수(양의 실수)인 경우 적분을 적용하여 계산합니다. $$\tag{식 1}\Gamma(n) =\begin{cases}(n-1)!& n:\text{자연수}\\\int^\infty_0x^{n-1}e^{-x}\,dx& n:\text{부동소수}\end{cases}$$ x=symbols('x') gamma(x).subs(x,4) $\displaystyle 6$ factorial 계산은 math.factorial() 함수를 사용할 수 있습니다. import math math.factorial(3) 6 a=gamma(x).subs(x,4.5) a.evalf(3) 11.6 simpilfy() 함수의 알고리즘은 식에서 공통사항을 찾아 정리하...

유리함수 그래프와 점근선 그리기

내용 유리함수(Rational Function) 점근선(asymptote) 유리함수 그래프와 점근선 그리기 유리함수(Rational Function) 유리함수는 분수형태의 함수를 의미합니다. 예를들어 다음 함수는 분수형태의 유리함수입니다. $$f(x)=\frac{x^{2} - 1}{x^{2} + x - 6}$$ 분수의 경우 분모가 0인 경우 정의할 수 없습니다. 이와 마찬가지로 유리함수 f(x)의 정의역은 분모가 0이 아닌 부분이어야 합니다. 그러므로 위함수의 정의역은 분모가 0인 부분을 제외한 부분들로 구성됩니다. sympt=solve(denom(f), a); asympt [-3, 2] $$-\infty \lt x \lt -3, \quad -3 \lt x \lt 2, \quad 2 \lt x \lt \infty$$ 이 정의역을 고려해 그래프를 작성을 위한 사용자 정의함수는 다음과 같습니다. def validX(x, f, symbol): ① a=[] b=[] for i in x: try: b.append(float(f.subs(symbol, i))) a.append(i) except: pass return(a, b) #x는 임의로 지정한 정의역으로 불연속선점을 기준으로 구분된 몇개의 구간으로 전달할 수 있습니다. #그러므로 인수 x는 2차원이어야 합니다. def RationalPlot(x, f, sym, dp=100): fig, ax=plt.subplots(dpi=dp) # ② for k in x: #③ x4, y4=validX(k, f, sym) ax.plot(x4, y4) ax.spines['left'].set_position(('data', 0)) ax.spines['right...