sons dataStory

내용 주가자료의 호출과 정리 인덱스 적용 .mask()적용 결측값 치환 변화량 계산과 표준화 목록화 연속형변수를 목록형변수로 변환 연속형 변수인 주가자료를 종가의 상승과 하락에 대한 추정을 위해 로지스틱 회계분석을 적용할 수 있습니다. 이 분석의 자료는 목록변수이어야 하므로 연속형변수를 목록변수로의 전환이 필요합니다. 이번 포스트에서는 이 과정을 소개합니다. 주가자료의 호출과 정리 파이썬 패키지 FinanceDataReader 를 사용하여 다양한 금융자료를 사용할 수 있습니다. 다음은 일정 기간의 코스피 자료를 호출한 것입니다. import numpy as np import pandas as pd import matplotlib as mpl import matplotlib.pyplot as plt import FinanceDataReader as fdr st=pd.Timestamp(2010,8, 26) et=pd.Timestamp(2022, 5, 27) data=fdr.DataReader('KS11', st, et) data.head(2) Close Open High Low Volume Change Date 2010-08-26 1729.76 1744.08 1744.40 1729.76 303050000.0 -0.0029 2010-08-27 1729.56 1724.00 1732.84 1719.20 245580000.0 -0.0001 호출받은 자료에 0, Na, inf 등 다양한 종류의 결측치가 포함되어 있을 수 있습니다. 이들은 직전 또는 직후 값으로 대체 또는 삭제 할 수 있습니다. 위에서 사용한 모듈로 부터 호출한 자료는 결측치를 0으로 대체하고 있습니다. 다음은 자료의 값이 0인 행과 열을 반환한 것입니다. np.where(data==0) (array([ 450, 473, 541, 571, ...

내용 Vectorize OneHot encoding ColumnTransfer make_column_selector make_column_transformer 목록변수를 순서형변수로 전환 Vectorize 목록변수에 포함된 모든 text를 단어 수준에서 분리합니다. 즉, token화하여 벡터로 변환합니다. 예를 들어 자료의 한 열이 다음과 같이 텍스트로 구성된 경우 벡터화는 다음과 같이 이루어집니다. His Last Bow How Watson Learned the Trick A Moveable Feast The Grapes of Wrath 이 데이터의 포함된 모든 텍스트의 token 각각에 1을 할당하여 다음과 벡터화 할 수 있습니다. text 'bow' 'feast' 'grapes' 'his' 'how' 'last' 'learned', 'moveable' 'of' 'the' 'trick' 'watson' 'wrath' Vector 1 1 1 1 1 1 1 1 1 1 1 1 1 위 표를 기준으로 1행의 "His Last Bow"는 다음과 같이 벡터화할 수 있습니다. text 'bow' 'feast' 'grapes' 'his' 'how' 'last' 'learned', 'moveable' 'of' 'the' 'trick' 'watson' 'wrath' Vector 1 0 0 1 ...

변수의 특성 내용 변수의 종류 테이블 구조 기술통계량 찾기 목록변수의 인코딩(encoding) 비율 변수의 종류 측정, 설문, 연구 등에 의해 생성되는 모든 자료들이 변수가 될 수 있으며 기계학습에서는 특징(feature) 이라는 용어를 사용하기도 합니다. 데이터 셋에서 나타내는 모든 변수들을 포함하는 하나의 세트를 인스턴스 (instance) 또는 샘플(smaple) 이라고 합니다. 예를 들어 표 1은 는 이름, 나이, 성별, 키(height)라는 4개의 변수와 3개의 사건 즉, 인스턴스들을 포함하고 있습니다. 일반적으로 통계분석을 위한 자료는 표 1의 형식과 같이 각 변수는 열(column), 인스턴스는 행(row)으로 구성됩니다. 이러한 자료들의 모음을 데이터 셋(data set) 이라 합니다 표 1 데이터 셋의 일반적인 형태 이름 나이 성별 키 철수 10 남 153 영희 15 여 161 길동 21 남 181 표 2에서 나타낸 것과 같이 모든 변수들은 목록변수와 양적변수로 구분하며 또한 측정 수준에 따라 명목형, 순위형, 이산형, 연속형로 구분합니다. 표 2 변수의 종류 변수 내용 측정수준 목록변수(Categorical variables) 그룹/목록 표시 명목형(Nominal) 순위형(Ordinal) 양적변수(Quantitative variables) 수량/크기 표시 이산형(Discrete) 연속형(Continuous) 목록변수(Categorical variables) 중, 명목형(변수) 은 논리적 순서가 없는 질적 분류만이 가능한 변수입니다. 예로서 사과, 배, 수박의 과일을 분류하기 위해 각각 1,2,3의 숫자를 지정할 수 있습니다. 그러나 이 숫자들은 정성적 또는 정량적인 순위의 의미를 가질 수 없습니다. 순위형 변수 는 단지 순서를 부여하는 것만 가능합니다. 예로서 영화에 대...