sons dataStory

내용 dataset transforms.Totensor 주가자료의 변환 transforms.Compose와 transforms.Normalize torchvision: 데이터 준비 dataset CIFAR-10은 torchvision에 포함된 데이터 셋으로 이 패키지의 서브모듈인 datasets을 사용하여 호출합니다. CIFAR-10 dataset: 10개 클래스 중 1개에 해당하는 정수로 레이블이 지정된 60,000개의 작은 32 × 32 컬러(RGB) 이미지로 구성 비행기(0), 자동차(1), 새(2), 고양이(3), 사슴(4), 개(5), 개구리(6), 말(7), 배(8), 트럭(9) import numpy as np import matplotlib.pyplot as plt from torchvision import datasets from torchvision import transforms data_path='/~/pytorch/' cifar=datasets.CIFAR10(data_path, train=True, download=True) cifar_val=datasets.CIFAR10(data_path, train=False, download=True) datastes.CIFAR10() 함수에 제공하는 첫 번째 인수는 데이터를 다운로드할 위치입니다. 두 번째는 훈련 세트 또는 검증 세트에 관심이 있는지 여부를 지정합니다. 세 번째는 첫 번째 인수에 지정된 위치에서 데이터를 찾을 수 없는 경우 PyTorch가 데이터를 다운로드하도록 허용할지 여부를 나타냅니다. CIFAR10과 마찬가지로 데이터 세트 하위 모듈은 MNIST, Fashion-MNIST, CIFAR-100, SVHN, Coco 및 Omniglot과 같은 가장 인기 있는 컴퓨터 비전 데이터 세트에 대한 사전 준비된 액세스를 제공합니다. 각 경우에 데이터세트는 torch.utils.data.Dataset 의 하...

Data의 정규화(Normalization) 개요 L 1 Normalization L 2 Normalization 개요 각 샘플들이 단위 벡터가 되도록 하는 스케일 과정입니다. 즉, 행과 열로 이루어진 데이터 구조에서 표준화 가 각 열 단위로 스케일을 조정(각 변수별 조정)한다면 정규화는 동일한 행에 위치한 데이터들의 스케일을 조정합니다(샘플별 조정). sklearn.preprocessing.normalizer(x, norm='l2') 함수를 사용합니다. 이 함수의 매개변수 norm의 인자로 'l2'이면 L 2 정규화, 'l1'이면 L 1 정규화를 실행합니다. sklearn.preprocession.Normalizer(norm="l2") 데이터의 각 샘플이 단위벡터가 되도록 변환 인수 norm에 l1, l2 또는 max norm = "l1" → L 1 정규화, x/(∑|x|) norm = "l2" → L 2 정규화, x/(∑x 2 ) 0.5 norm = "max" → x/(max|x|) 기본값은 l2 L 1 Normalization 각 행에서 절대 값의 합이 항상 1이되는 방식으로 데이터 세트 값을 수정하는 방법으로 최소 절대 편차라고도합니다(식 1). $$\begin{align} \text{벡터}\qquad \qquad& \qquad \qquad \text{L}_1\; \text{정규화에 의한 벡터}\\ \begin{matrix} x_{11}&x_{12}& \cdots &x_{1p}\\ x_{21}&x_{22}& \cdots &x_{2p}\\ \vdots&\vdots& \ddots ...