기본 콘텐츠로 건너뛰기

라벨이 Entropy인 게시물 표시

[matplotlib]quiver()함수

[stock]엔트로피(entropy)

엔트로피(entropy) 가격변동성의 정도 또는 무작위성을 측정하는 비교적 덜 일반적인 지표로서 시장의 혼란도나 예측불사능성을 나타냅니다. 엔트로피 증가 → 무작위적이고 예측하기 어려움을 시사 엔트로피 감소 → 가격 움직임이 더 규칙적이고 명확할 가능성을 나타냄 엔트로피 측정의 기본개념은 다음과 같습니다. 가격변화 분포의 불확실성 측정: 가격변화가 특정값 근처에 집중될 수록 엔트로피는 낮아집니다. 상태 공간 복잡성 측정: 가격 변화의 복잡성을 엔트로피로 측정, 많은 고유한 상태 변화가 발생하고 예측하기 어려울수록 엔트로피는 높아짐 예측가능한 패턴이 많을수록 정보 콘텐츠는 낮아지고 엔트로피도 낮아짐 위 개념에 따른 표준된 단일한 공식은 없습니다. 대신 정보이론에서는 사용되는 새넌 엔트로피의 개념을 차용하여 계산합니다. $$H(x)=-\sum^N_{i=1}P(x_i)\log_2(P(x_i))$$ H(X): 확률변수 X(가격변화율)의 엔트로피 n: 가격변화율 구간의 개수 P(x i ): i번째 구간에 속할 확률 pandas_ta.entropy(close, length=None, base=None, offset=None, **kwargs) 로 계산할 수 있습니다. length의 기본값은 10이고 base는 로그의 밑수를 나타내는 것으로 기본값은 2입니다. import numpy as np import pandas as pd import matplotlib.pyplot as plt import pandas_ta as ta import FinanceDataReader as fdr import matplotlib.pyplot as plt import mplfinance as mpf st=pd.Timestamp(2024,9, 1) et=pd.Timestamp(2025, 5,7) trgnme="000660" trg=fdr.DataReader(trgnme, st, et)[["Open...

[ML]엔트로피와 정보획득(Entropy & Infomation Gain)

엔트로피와 정보획득(Entropy & Infomation Gain) 정보와 엔트로피(Infomation & Entropy) 정보의 기본개념은 이벤트, 확률변수, 분포와 같은 항목에서 정보의 양을 정량화하는 것으로 확률을 사용합니다. 직관적으로 정보를 정량화레 대한 기본 아이디어는 대상 이벤트에 대한 불확실성(uncertainty)을 측정한다는 것입니다. 드문 이벤트은 발생할 확률이 낮으므로 불확실성이 증가합니다. 불확실성을 감소시키기 위해 많은 정보가 필요합니다. 매우 다양한 정보량의 높은 정보를 가집니다. 예를 들어 여러 샘플이 포함된 박스에서 특정한 샘플을 선택하는 사건에서 낮은 확률은 샘플의 종류가 많은 경우일 것입니다. 이러한 상황은 데이터의 impurity가 높은 상황입니다. 이것을 엔트로피(entropy)로 나타냅니다. 반대의 상황, 높은 확률,은 낮은 엔트로피를 보입니다. 정리하면 다음과 같이 나타낼 수 있습니다. 낮은 확률 이벤트 : 높은 정보(놀라움) 높은 확률 이벤트 : 낮은 정보(놀랍지 않음) 사건(x)의 확률(p(x))로 부터 정보(info(x))를 정량화하기 위해 식 1과 같이 계산합니다. $$\tag{식 1}\text{Info}(x)=h(x) = -\log(p(x))$$ 결국 정보는 이벤트 설명에 필요한 메모리 수로 간주할 수 있습니다. 그러므로 식 1에서 2진법(bit 수)으로 나타내기 위해 log 2 를 사용할 수 있지만 정보의 절대량보다는 그 변화가 더 중요하므로 일반적으로 자연로그를 사용합니다. 식 1에서 p(x)가 낮을수록 정보(h)는 증가함을 알 수 있습니다. 사건의 확률 1 → h=0 import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns sns.set_style("darkgrid") 다음 코드는 동전 던지기에서 앞면이 나올 확률 p=0.5인 ...