들어가며

FileStorage 소스와 데스티네이션은 Xplenty에서 가장 많이 사용되는 컴포넌트입니다. 특히 다양한 포맷을 지원하며, 서로 다른 시스템 간의 데이터 연계에 필수적인 존재이기도 합니다.

2024년 초부터는 Parquet 형식의 쓰기 뿐만 아니라 읽기까지 지원하게 되었습니다. 이번 글에서는 Xplenty에서 Parquet으로 쓰기를 설정하는 방법을 소개하고자 합니다.

Parquet 형식의 장단점

이미 많은 고객님들이 알고 계시겠지만, Parquet 형식에 대해 조금 정리해 보겠습니다.
Parquet 형식의 정식 명칭은 Apache Parquet이며, 대량의 데이터를 효율적으로 저장하면서 비교적 높은 읽기 성능을 제공하기 위해 개발된 데이터 저장 형식입니다.

주요 장점은 아래와 같으며, 요약하자면 대용량 데이터를 다루기 쉬워 분석 업무에 적합하다는 점과 디스크 용량을 줄여주는 압축 사양 임에도 불구하고 로딩이 빠르다는 점을 꼽을 수 있습니다.

하지만 세상 모든 것이 장단점이 있듯이 Parquet 형식은 아래와 같은 단점도 있다.

이처럼 Parquet 형식으로 저장된 데이터는 대규모 데이터의 효율적인 쿼리 처리 및 압축에 매우 적합하며, 특히 빅데이터 및 분석 용도에서 높은 성능을 발휘한다. 이런 점에서 Parquet 형식은 대용량 데이터 전송을 전문으로 하는 Xplenty와도 궁합이 잘 맞는 형식이라고 할 수 있다.

Xplenty에서 Parquet 포맷으로 쓰기

Parquet 포맷에 대한 쓰기 기능은 이전부터 제공되어 왔으며, 아래에서 설명할 데모용 패키지는 Xplenty을 통해 대량의 CSV 파일을 Parquet 포맷으로 작성해 보도록 하겠습니다.

1. 대량의 CSV 데이터 준비

Parquet 형식을 이용해 보기 위해서는 대량의 데이터가 필요하다. 이번에는 미국 citibike사의 운행 데이터를 사용할 예정인데, 1년간의 운행 데이터는 압축해도 1기가를 훌쩍 넘기 때문에 parquet 형식 테스트에 적합하고 누구나 사용할 수 있도록 공개되어 있다.

그 중에서 선택한 것은 2020년도 citibike-운행 데이터로 zip으로 압축한 용량이 751.2메가인 단일 파일이다. 얼핏 용량이 작아 보이지만 압축을 풀면 무려 총 합이 3.61기가인 27개의 거대한 CSV 파일군으로, zip의 압축률을 환산하면 약 21%의 압축률입니다. 이번 쓰기 데모에서는 Parquet 형식의 쓰기가 일반 텍스트 CSV에 비해 어느 정도의 압축 효율을 보이는지 살펴보겠습니다.

먼저, 서두에 소개한 링크에서 운행 데이터를 다운로드하고, 로컬에서 압축을 푼 후에 나온 csv 파일들을 아래 그림과 같이 S3나 FTP 서버에 저장한다.

이후부터는 데모용 패키지를 만드는데 3개의 컴포넌트를 사용하여 대량의 CSV 파일을 읽어서 3개의 필드를 추가한 후 Parquet 형식으로 저장합니다.

2. CSV 파일 불러오기

Xplenty의 패키지 편집 화면에서 FileStorage source를 넣고 아래와 같이 상세 설정을 한 후, 모든 필드를 선택하면 아래 그림과 같이 Data Preview에서 데이터 불러오기를 확인할 수 있습니다.

3. 세 가지 수집 날짜 및 시간대 추가

기존 데이터에 추가적으로 세 개의 타임존(UTC, KST, JST)으로 된 데이터 수집 일시 필드들을 추가합니다.
먼저 패키지 편집 화면에서 Select 컴포넌트를 추가하고 Auto-fill 버튼으로 소스의 필드들을 모두 추가해 둡니다.

그 다음 가장 마지막 필드로 이동하여 오른쪽의 +를 클릭하면 새로운 필드가 추가되므로 아래 표에 따라 Alias와 Expression을 그대로 입력합니다. 확인을 위해 아래 그림과 같이 Previewボタンでデータを確認します。

4. Parquet 형식으로 쓰기

데이터 수집 일시 필드들을 추가한 후, 정렬 컴포넌트에서 started_at 필드의 오름차순으로 데이터를 정렬합니다.
마지막으로 FileStorage destination을 연결하고 아래와 같이 세부 설정을 하면 패키지는 완성됩니다.

5. 패키지 실행 및 결과 확인

패키지를 실행하면 정렬을 한 경우에는 18분이 채 걸리지 않고, 정렬을 하지 않았을 경우 7분이 걸렸습니다. 아래 그림은 정렬을 한 경우의 결과를 보여주고 있습니다. 

가장 궁금한 사용된 데이터 용량은 1.66기가가 확인되었습니다.
parquet은 빠른 로딩 속도를 보장하기 위해 Gzip과 같은 압축 소프트웨어에 비해 낮은 46%의 압축률을 보이고 있다.

하지만 압축해서 1.66기가라는 크기에도 불구하고 압축 풀기를 전혀 느끼지 못할 정도로 빠른 속도로 에디터에서 데이터 확인이 가능합니다.

마치며

일반 텍스트의 CSV나 JSON 형식의 대용량 데이터는 용량 문제로 인한 저장 비용의 증가하며, 데이터 압축으로 저장 비용 문제를 낮춘다 해도 필요할 때 압축을 풀어야 하는 번거로움으로 편의성에 문제가 발생합니다. parquet 형식은 빠른 로딩 속도와 저장 공간 절약이라는 두 가지 편의성을 한꺼번에 해결한 형식으로, 대용량 데이터 처리에 안성맞춤인 데이터 형식입니다.

대용량 데이터 전송과 편리한 parquet 포맷을 이용한 데이터 파이프라인 구축에 있어서 Xplenty는 최적의 솔루션입니다.
2주간 무료 체험을 통해 귀사의 대용량 데이터 용량 압축과 비용 절감 효과를 직접 경험해 보시기 바랍니다.