내용

• dataset
• transforms.Totensor
  • 주가자료의 변환
• transforms.Compose와 transforms.Normalize

torchvision: 데이터 준비

dataset

CIFAR-10은 torchvision에 포함된 데이터 셋으로 이 패키지의 서브모듈인 datasets을 사용하여 호출합니다.

CIFAR-10 dataset: 10개 클래스 중 1개에 해당하는 정수로 레이블이 지정된 60,000개의 작은 32 × 32 컬러(RGB) 이미지로 구성

비행기(0), 자동차(1), 새(2), 고양이(3), 사슴(4), 개(5), 개구리(6), 말(7), 배(8), 트럭(9)

import numpy as np
import matplotlib.pyplot as plt
from torchvision import datasets 
from torchvision import transforms

data_path='/~/pytorch/'

cifar=datasets.CIFAR10(data_path, train=True, download=True)
cifar_val=datasets.CIFAR10(data_path, train=False, download=True)

datastes.CIFAR10() 함수에 제공하는 첫 번째 인수는 데이터를 다운로드할 위치입니다. 두 번째는 훈련 세트 또는 검증 세트에 관심이 있는지 여부를 지정합니다. 세 번째는 첫 번째 인수에 지정된 위치에서 데이터를 찾을 수 없는 경우 PyTorch가 데이터를 다운로드하도록 허용할지 여부를 나타냅니다. CIFAR10과 마찬가지로 데이터 세트 하위 모듈은 MNIST, Fashion-MNIST, CIFAR-100, SVHN, Coco 및 Omniglot과 같은 가장 인기 있는 컴퓨터 비전 데이터 세트에 대한 사전 준비된 액세스를 제공합니다. 각 경우에 데이터세트는 torch.utils.data.Dataset의 하위 클래스로 반환됩니다. cifar 인스턴스의 메소드 해결 순서에 기본 클래스로 포함되어 있음을 알 수 있습니다.

type(cifar).__mro__

(torchvision.datasets.cifar.CIFAR10,
     torchvision.datasets.vision.VisionDataset,
     torch.utils.data.dataset.Dataset,
     typing.Generic,
     object)

실제로 torch.utils.data.Dataset의 하위 클래스로 생성된 PyTorch Dataset은 __len__과 __getitem__의 두 가지 메소드를 구현할 수 있습니다. 전자는 데이터세트의 항목 수를 반환 합니다. 후자는 전달한 샘플과 해당 레이블(정수 인덱스)에 대응하는 항목을 반환 합니다. 실제로 Python 객체에 __len__ 메서드가 장착되어 있으면 len Python 내장 함수에 인수로 전달할 수 있습니다.

len(cifar)

50000

img, label=cifar[99]
label

1

plt.imshow(img)
plt.show()

transforms.Totensor

PIL 이미지를 PyTorch 텐서로 변환하는 방법이 필요할 수 있습니다. 바로 그 부분에서 torchvision.transforms가 사용됩니다. 이 모듈은 다양한 함수들을 포함하며 그 목록은 다음과 같이 확인할 수 있습니다.

dir(transforms)

['AutoAugment',
	  ⋮,
     'Compose',
      ⋮,
     'functional_tensor',
     'transforms']

이러한 변환 중 NumPy 배열과 PIL 이미지를 텐서로 바꾸는 ToTensor를 볼 수 있습니다. 또한 출력 텐서의 차원을 C × H × W(채널, 높이, 너비)로 배치하는 데 주의를 기울입니다. 다음 코드와 같이 이미지 파일을 배열 구조로 변환합니다.

toTensor=transforms.ToTensor()
imgT=toTensor(img)
imgT.shape

torch.Size([3, 32, 32])

위와 같은 변환은 모든 데이터에 일괄적으로 적용할 수 있습니다.

tensor_cifar=datasets.CIFAR10(data_path, train=True, download=False, transform=transforms.ToTensor())

img_t, _=tensor_cifar[99] #tensor_cjfar은 feature와 label을 포함. img_t=feature, _=label(_는 in-place를 의미)
type(img_t)

torch.Tensor

img_t.shape, img_t.dtype

(torch.Size([3, 32, 32]), torch.float32)

원래 PIL 이미지의 값 범위가 0에서 255(채널당 8비트)인 반면 ToTensor 변환은 데이터를 채널당 32비트 부동 소수점으로 변환하여 값을 0.0에서 1.0으로 축소합니다. 다음을 확인하겠습니다.

img_t[0]

tensor([[0.2431, 0.1961, 0.1804,  ..., 0.6549, 0.7176, 0.5373],
            [0.2471, 0.2157, 0.2039,  ..., 0.6392, 0.6706, 0.5686],
            [0.2275, 0.2510, 0.2196,  ..., 0.6000, 0.5882, 0.4824],
            ...,
            [0.6745, 0.5608, 0.5098,  ..., 0.3686, 0.5529, 0.5451],
            [0.7176, 0.5882, 0.3137,  ..., 0.3176, 0.5294, 0.5608],
            [0.8196, 0.7137, 0.5451,  ..., 0.2314, 0.5098, 0.6627]])

변환된 이미지 1개를 출력해봅니다. 출력을 위해서는 자료의 차원(axes)을 (H, W, C)로 전치해 주어야 합니다. 이는 .permute() 메소드를 사용합니다.

plt.imshow(img_t.permute(1, 2, 0))
plt.show()

주가자료의 변환

다음은 주식자료를 호출한 것으로 pandas.DataFrame 형식입니다. 이 자료는 .value 속성에 의해 numpy.array 형식으로 전환할 수 있으며 tansforms.ToTensor() 클래스에 의해 torch.tensor로 전환할 수 있습니다.

import FinanceDataReader as fdr
import pandas as pd
st=pd.Timestamp(2022, 3,1)
et=pd.Timestamp(2022, 3,18)
kos=fdr.DataReader("KS11", st, et)

kosT=transforms.ToTensor()(kos.values)
kosT=kosT.type(torch.float32)
kosT.shape, kosT.dtype

(torch.Size([1, 12, 6]), torch.float32)

kosT[0, 0, :]

tensor([2.7035e+03, 2.6983e+03, 2.7165e+03, 2.6922e+03, 5.2795e+08, 1.6000e-03])

transforms.Compose와 transforms.Normalize

변환은 transforms.Compose를 사용하여 연결할 수 있고 데이터 로더에서 직접 정규화 및 데이터 증대를 투명하게 처리할 수 있기 때문에 정말 편리합니다. 예를 들어 각 채널의 평균과 표준 편차가 0, 1이 되도록 데이터 세트를 정규화하는 것이 좋습니다. 자료의 스케일을 축소할수록 학습 속도가 빨라집니다. 또한 동일한 분포를 갖도록 각 채널을 정규화하면 동일한 학습률을 사용하여 경사하강법을 통해 채널 정보를 혼합하고 업데이트할 수 있습니다.

각 채널이 0의 평균과 표준편차 1을 가지도록 하기 위해 데이터세트에서 각 채널의 평균값과 표준편차를 계산하고 다음 변환을 적용할 수 있습니다.

$$\text{v}_n\text{[column]}=\frac{\text{v[column]} - \text{mean[column]}}{\text{std[column]}}$$

위 계산은 transforms.Normalize(mean, stdev) 함수에 의해 이루어집니다. mean 및 stdev 값은 별도로으로 계산해야 합니다(변환에 의해 계산되지 않음). CIFAR-10 훈련 세트에 대해 계산해 보겠습니다. 이 계산을 위해 feature를 추출하여 결합합니다. 여기서는 각 sample을 쌓는 식으로 .stack()메소드를 적용합니다. 즉 차원 (C,H,W,b)에서 b축을 기준으로 합니다.

imgs=torch.stack([img for img,_ in tensor_cifar], dim=3)
imgs.shape

torch.Size([3, 32, 32, 50000])

정규화 또는 표준화를 위해 자료를 벡터화하여야 합니다. 그러므로 각 채널 별로 높이와 너비 차원을 한 차원으로 병합합니다. 이는 .view() 메소드를 사용합니다. 결과는 (3, 32, 32, 50000) → (3, 32×32×50000)로 변환됩니다.

결과적으로 채널 당 평균과 표준편차를 계산합니다.

imgVector=imgs.view(3, -1)
imgVector.shape

torch.Size([3, 51200000])

mu=imgVector.mean(dim=1)
sd=imgVector.std(dim=1)
mu, sd

(tensor([0.4914, 0.4822, 0.4465]), tensor([0.2470, 0.2435, 0.2616]))

transforms.Normalize(mu, sd)

Normalize(mean=tensor([0.4914, 0.4822, 0.4465]), std=tensor([0.2470, 0.2435, 0.2616]))

trans_cifar=datasets.CIFAR10(data_path, train=True, download=False, transform=transforms.Compose([transforms.ToTensor(), transforms.Normalize(mu, sd)]))

img_tran,_=trans_cifar[99]
img_tran.shape

torch.Size([3, 32, 32])

img_tran[0]

tensor([[-1.0050, -1.1955, -1.2590,  ...,  0.6619,  0.9159,  0.1856],
            [-0.9891, -1.1161, -1.1637,  ...,  0.5984,  0.7254,  0.3126],
            [-1.0685, -0.9732, -1.1002,  ...,  0.4396,  0.3920, -0.0366],
            ...,
            [ 0.7412,  0.2809,  0.0745,  ..., -0.4970,  0.2491,  0.2174],
            [ 0.9159,  0.3920, -0.7192,  ..., -0.7034,  0.1539,  0.2809],
            [ 1.3286,  0.9000,  0.2174,  ..., -1.0526,  0.0745,  0.6936]])

plt.imshow(img_tran.permute(1,2,0))
plt.show()

위 그림에 의하면 빨간색외의 다른 색은 검은색으로 변환되었습니다. 이것은 자료의 정규화에 의해 재조정된 영향입니다.