내용

• Pickling
• Pickling Files
• Unpickling Files
• Pickle 파일 압축

Pickle: 객체의 직렬화(Serialization)

데이터는 사전, DataFrame 또는 기타 형식으로 저장하거나 전송하기 위해 객체화할 수 있습니다. 이러한 객체들을 직렬화하여 파일에 저장하고 나중에 프로그램에 다시 로드할 수 있습니다.

[직렬화]
객체의 직렬화란 객체의 내용을 바이트 단위로 변환하여 파일 또는 네트워크를 통해서 스트림(송수신)이 가능하도록 하는 것을 의미합니다.

Pickling

Pickle은 마샬링 또는 평면화라고도 하는 Python 개체 구조를 직렬화 및 역직렬화하는 데 사용됩니다. 직렬화는 메모리의 개체를 디스크에 저장하거나 네트워크를 통해 보낼 수 있는 바이트 스트림으로 변환하는 프로세스를 나타냅니다. 나중에 이 문자 스트림을 검색하여 Python 객체로 역직렬화할 수 있습니다.

pickling는 compression(압축)과는 다릅니다. 즉, 전자는 개체를 한 표현(RAM(Random Access Memory)의 데이터)에서 다른 표현(디스크의 텍스트)으로 변환하는 반면 후자는 디스크 공간을 절약하기 위해 더 적은 비트로 데이터를 인코딩하는 프로세스입니다.

Pickle의 용도와 주의사항

pickle은 데이터에 어느 정도의 지속성이 필요한 애플리케이션에 유용합니다. 프로그램의 상태 데이터를 디스크에 저장할 수 있으므로 나중에 계속 작업할 수 있습니다. 또한 TCP(Transmission Control Protocol) 또는 소켓 연결을 통해 데이터를 보내거나 데이터베이스에 Python 개체를 저장하는 데 사용할 수 있습니다. Pickle은 머신 러닝 알고리즘으로 작업할 때 모든 것을 다시 작성하거나 모델을 다시 훈련할 필요 없이 나중에 새로운 예측을 할 수 있도록 저장하려는 경우에 매우 유용합니다.

다양한 프로그래밍 언어에서 데이터를 사용하려면 pickle을 사용하지 않는 것이 좋습니다. 이 프로토콜은 Python에만 해당하므로 언어간 호환성이 보장되지 않습니다. 다른 버전의 Python 자체에서도 마찬가지입니다. 다른 버전의 Python에서 피클된 파일을 언피클링하면 항상 제대로 작동하지 않을 수 있으므로 동일한 버전을 사용하고 있는지 확인하고 필요한 경우 업데이트를 수행해야 합니다. 또한 신뢰할 수 없는 출처의 데이터를 언피클하지 않도록 해야 합니다. 언피클링 시 파일 내부의 악성 코드가 실행될 수 있습니다.

ickle을 사용하여 변환할 수 있는 데이터의 유형은 다음과 같습니다.

Booleans, Integers, Floats, Complex numbers, (normal and Unicode) Strings, Tuples, Lists, Sets, and Dictionaries that contain picklable objects, class and Function

그러나 generators, inner class, lambda function, defaultdics등은 쉽게 pickle 할 수 없습니다. 람다 함수의 경우 dill이라는 추가 패키지를 사용해야 합니다. defaultdicts를 사용하면 모듈 수준 function로 그 대상을 생성해야 합니다.

JSON(JavaScript Object Notation) 역시 pickle와 같이 변환에 적용되는 언어입니다.(JAVA에서 파생되었지만 독립적으로 사용됩니다.) 이 언어는 Pickle 보다 범용으로 사용될 수 있지만 python 언어 내에서 사용하는 경우 pickle가 좋은 선택이 될 수 있습니다.

Pickling Files

import pickle 
dogs_dict = { 'Ozzy': 3, 'Filou': 8, 'Luna': 5, 'Skippy': 10, 'Barco': 12, 'Balou': 9, 'Laika': 16 }

위 사전 객체 dogs_dict를 피클하려면 먼저 기록할 파일의 이름을 지정해야 합니다. 이 경우에는 dog입니다.
주의: 파일에는 확장자가 없습니다.

쓰기 위해 파일을 열려면 단순히 open() 함수를 사용합니다. 첫 번째 인수는 파일 이름이어야 합니다. 두 번째 인수는 'wb'입니다. w는 쓰기모드를 의미하고 b는 바이너리 모드를 나타냅니다. 이는 데이터가 바이트 개체의 형태로 기록됨을 의미합니다. b를 잊어버린 경우 다음과 같은 에러 메시지가 반환됩니다.

TypeError:는 바이트가 아니라 str이어야 합니다.

때때로 약간 다른 표기법 즉, w+b을 사용하지만 동일한 기능을 합니다.

위 코드의 결과 dog의 파일이 생성됩니다.

filename='dog'
outfile=open(filename, 'wb')

이 생성된 파일에 바이트 변환을 위한 대상을 입력해야 합니다. 그러므로 그 입력(쓰기)을 위해 생성된 파일을 열기위해 pickle.dump()를 사용합니다. 이 인수는 피클하려는 객체(변환하려는 객체)와 객체를 저장해야 하는 파일의 두 가지 인수를 사용합니다. 이 경우 전자는 dog_dict이고 후자는 outfile입니다. close()로 파일을 닫는 것을 잊지 마십시오!

pickle.dump(dogs_dict, outfile)
outfile.close()

이제, dog라는 이름의 새 파일이 Python 스크립트와 동일한 디렉토리에 나타나야 합니다(파일 경로를 파일 이름으로 지정하지 않은 경우).

Unpickling Files

피클된 파일을 다시 Python 프로그램으로 로드하는 프로세스는 pickling 과정과 유사합니다. open() 함수를 다시 사용하지만 이번에는 'wb' 대신 'rb'를 두 번째 인수로 사용합니다. r은 읽기 모드를 나타내고 b는 바이너리 모드를 나타냅니다. 바이너리 파일을 읽게 됩니다. 다음 코드에서는 읽어들인 파일을 infile 객체로 생성하였습니다. 다음으로 infile을 인수로 사용하여 pickle.load()를 사용하고 new_dict에 할당합니다. 이제 파일의 내용이 이 새 변수에 할당됩니다. 다시 말하지만 마지막에 파일을 닫아야 합니다.

infile=open(filename, 'rb')
new_dict=pickle.load(infile)
infile.close()

성공적으로 피클을 해제했는지 확인하려면 사전을 인쇄하고 이전 사전과 비교한 다음 type()으로 유형을 확인할 수 있습니다.

print(new_dict)

{'Ozzy': 3, 'Filou': 8, 'Luna': 5, 'Skippy': 10, 'Barco': 12, 'Balou': 9, 'Laika': 16}

print(new_dict==dogs_dict)

True

print(type(new_dict))

<class 'dict'>

Pickle 파일 압축

큰 데이터 세트를 저장하고 pickling한 파일이 많은 공간을 차지하는 경우 압축할 수 있습니다. 이것은 bzip2 또는 gzip을 사용하여 수행할 수 있습니다. 둘 다 파일을 압축하지만 bzip2는 약간 느립니다. 그러나 gzip은 bzip2보다 약 두 배 큰 파일을 생성합니다. 이 튜토리얼에서는 bzip2를 사용할 것입니다.

압축과 직렬화는 동일하지 않다는 것을 기억하십시오!

import bz2를 사용하여 bzip2를 가져오는 것으로 시작합니다.

import bz2
sfile=bz2.BZ2File('smallerfile', 'w')
pickle.dump(dogs_dict, sfile)
sfile.close()