기본 콘텐츠로 건너뛰기

라벨이 lstm인 게시물 표시

통계관련 함수와 메서드 사전

A B C d E F G H I K L M N O P Q R S T U V W Z A statsmodels.ap.stats.anova_lm(x) statsmodels.formula.api.ols 에 의해 생성되는 모형 즉, 클래스 인스턴스(x)를 인수로 받아 anova를 실행합니다. np.argsort(x, axis=-1, kind=None) 객체 x를 정렬할 경우 각 값에 대응하는 인덱스를 반환합니다. Axis는 기준 축을 지정하기 위한 매개변수로서 정렬의 방향을 조정할 수 있음(-1은 기본값으로 마지막 축) pandas.Series.autocorr(lag=1) lag에 전달한 지연수에 따른 값들 사이의 자기상관을 계산 B scipy.stats.bernoulli(x, p) 베르누이분포에 관련된 통계량을 계산하기 위한 클래스를 생성합니다. x: 랜덤변수 p: 단일 시행에서의 확률 scipy.stats.binom(x, n, p) 이항분포에 관련된 통계량을 계산하기 위한 클래스를 생성합니다. x: 랜덤변수 n: 총 시행횟수 p: 단일 시행에서의 확률 C scipy.stats.chi2.pdf(x, df, loc=0, scale=1) 카이제곱분포의 확률밀도함수를 계산 $$f(x, k) =\frac{1}{2^{\frac{k}{2}−1}Γ(\frac{k}{2})}x^{k−1}\exp\left(−\frac{x^2}{2}\right)$$ x: 확률변수 df: 자유도 pd.concat(objs, axis=0, join=’outer’, …) 두 개이상의 객체를 결합한 새로운 객체를 반환. objs: Series, DataFrame 객체. Axis=0은 행단위 즉, 열 방향으로 결합, Axis=1은 열단위 즉, 행 방향으

Sequential Data에 LSTM 적용

내용 시퀀스 데이터(Sequential Data) 전통적 신경망의 한계 RNN Long Short Term Memory (LSTMs) 적용 Sequential Data에 LSTM 적용 시퀀스 데이터(Sequential Data) 시퀀스 데이터는 데이터가 나열되어 있는 순서에 중요한 의미가 부여됩니다. 몇 가지 일반적인 유형의 순차 데이터를 예제와 함께 살펴보겠습니다. Language data 또는 a sentence 예를 들어 “My name is Ahmad”의 문장을 “Name is my Ahmad”와 같이 단어의 순서를 바꾼다면 성립하지 않습니다. 즉, 단어들의 순서가 문장의 의미를 전달하는 데 중요한 요소이기 때문에 순차 데이터입니다. Time Series Data 예를 들어, 회사 A의 연간 주식 시장 가격과 같은 종류의 데이터는 연도별로 확인하고 순서와 추세를 찾아야 합니다. 연도의 순서는 변경할 수 없습니다. Biological Data 예를 들어, DNA 서열은 순서대로 유지되어야 합니다. 관찰하면 시퀀스 데이터는 우리 주변 어디에나 있습니다. 예를 들어 오디오를 음파, 텍스트 데이터 등의 시퀀스로 볼 수 있습니다. 이것들은 순서를 유지해야 하는 시퀀스 데이터의 몇 가지 일반적인 예입니다. 전통적 신경망의 한계 다음의 단순한 신경망을 생각해 봅니다. plt.figure(dpi=100) font1={'family':'nanumgothic', 'size':12, 'weight':'bold'} plt.scatter([1, 2], [1, 1], s=200) plt.annotate("", (1,1), (2,1),arrowprops=dict(color="blue", arrowstyle="-")) plt.text(1, 0.99, 'Input Lay

장단기메모리(LSTM)

RNN의 작동구조 LSTM의 작동구조 입력게이트 삭제게이트 셀상태(장기상태) 출력게이트와 은닉상태(단기상태) 이 글은 " Understanding LSTM Networks "와 " 장단기 메모리(Long Short-Term Memory, LSTM) "를 참고하여 작성하였습니다. LSTM(Long Short-Term Memory) 바닐라RNN: 기본적인 순환신경망으로 비교적 짧은 시퀀스에서만 효과를 보이는 단점이 있습니다. 현재의 은닉층은 현재의 입력과 이전의 은닉상태를 입력받아 계산합니다. 이 과정에서 초기에 계산된 정보(은닉상태)의 영향은 시간단계가 길어지면서 감소됩니다. 초기 시점이 현시점과 충분히 길다면 그 영향은 거의 의미가 없을 수 있습니다. 이러한 단점을 극복하기 위한 다양한 RNN의 변형이 등장하게 되었으며 LSTM(장단기 메모리, Long Short-Term Memory) 역시 그 중의 하나입니다. RNN의 작동구조 다음 그림과 같이 현시점 은닉층(rnn 셀)에서는 현 시점의 입력벡터(x t )와 직전 시점에서의 은닉상태(h t-1 )의 결합의 결과를 tanh()에 의한 비선형화한 결과 즉, 업데이트된 은닉상태(h t )를 새로운 가중치(W y )로 사용하여 출력(y t )을 반환하고 다음 시점의 은닉층으로 전달됩니다. h t = tanh(W x x t + W h h t-1 +b) 그림 1. RNN의 작동구조 LSTM의 작동구조 그림 2. LSTM의 구조 위 lstm 구조의 그림에서 셀 상태(C t )는 이전 시점의 셀상태(C t-1 )의 입력으로 구성됩니다. 여기에 삭제게이트와 입력게이트 그리고 출력게이트가 첨가되어 다음 셀로 전달됩니다. 이 세개의 게이트에 공통적으로 시그모이드(sigmoid, σ) 함수가 적용됩니다. 이 함수는 [0, 1]사이의 값을 반환함으로서 게이트를 조절합니다.