이번 가이드에서는 Xplenty의 스토리지 연계 기능에 대해 자세히 설명합니다.

Xplenty가 지원하는 스토리지 타입

• S3  ※ S3의 권한 설정은 이곳(영어)의 순서를 참고로 설정해 주십시오.
• SFTP  ※ SSH Tunnel 및 Reverse SSH Tunnel 지원
• FTPS  ※ Explicit mode만 가능
• Azure Blob Storage
• Google Cloud Storage
• HDFS(Hadoop Distributed File System)

편리한 기능

1. 유연한 Source 폴더·파일 취득 설정

1-1. 와일드 카드 검색에 의한 조건 설정

와일드 카드 검색을 통해 조건에 맞는 모든 파일 을 검색할 수 있습니다.

1-2. 사용자 변수에 의한 취득 조건 설정

상대 날짜별 조건 설정
함수를 사용하면 오늘이나 어제와 같은 상대 날짜를 기준으로 조건 설정이 가능합니다.

• 어제를 표현하는 함수식:
  ToString(SubtractDuration(SwitchTimeZone(CurrentTime(),'Asia/Seoul'),'PT24H'), 'yyyy/MM/dd')
• 오늘을 표현하는 함수식 :
  ToString(SwitchTimeZone(CurrentTime(),'Asia/Seoul'),'yyyy-MM-dd')

또한 위의 함수식을 변수로 정의하여 데이터를 가져오는 디렉토리와 파일 이름을 보다 유연하게 설정할 수 있습니다.

1-3. 정규 표현에 의한 조건 설정

정규 표현식을 사용하면 보다 풍부한 조건 설정이 가능합니다.

• /2020-01-{01,02,03}/impressions/*
  /2020-01-01/impressions/ , /2020-01-02/impressions/ , /2020-01-03/impressions/* 중 하나와 일치.
• /201[0-9]/01/*
  /2010/01/ , /2011/01/ , /2012/01/* , ... , /2019/01/* 중 하나와 일치.

1-4. 복수의 파일이 검색 조건으로 검색되는 경우

복수 파일이 파일 검색 조건으로 검색되는 경우, 검색된 모든 파일을 취득합니다.
단, 검색된 모든 파일의 필드 이름도 같아야 하는 점에 주의 하십시요.

2. 새로운 파일만 처리

지금까지의 처리완료 이력를 Manifest 파일로 저장하고, 폴더 내의 파일 중 처리완료 이력에 없는 새로운 파일만을 처리하도록 할 수 있습니다. 

Manifest file의 내용은 지금까지 가져온 파일 정보(파일 경로나 파일 사이즈)가 저장되어 있기에 리스트에 없는 파일만을 처리 대상으로서 판별합니다.
==> Manifest의 경로를 지정한 경우, 경로에 지정된 디렉토리가 없으면 자동으로 작성됩니다.

3. 일본어 인코딩에 대응

3-1. 인코딩 옵션：Shift-JIS와 Windows-31J

Xplenty는 Shift-JIS로 인코딩된 CSV, TSV 파일 이외에도 Shift_JIS의 확장 문자 코드인 Windows-31J도 지원하고 있습니다. Windows-31J를 사용으로 인해 Shift-JIS에서는 바르게 표시되지 않는 「①」, 「㈱」등의 확장 문자를 포함한 텍스트 파일에 대해서도 바른 처리가 가능합니다 .
스토리지의 Source 및 Destination 컴포넌트에서 다음과 같이 구성할 수 있습니다.

Source 컴포넌트
Source action에서 Copy, merge and process all files 또는 Process only new files (Incremental load) 를 선택하고 Character encoding 목록 상자에서 Windows-31J 를 선택합니다.

Destination 컴포넌트
Destination action에서 Use intermediate storage and copy files to an existing directory in destination 를 선택하고 Character encoding 목록 상자에서 Windows-31J 를 선택합니다.

3-2. 줄바꿈 코드의 지정

Destination 컴포넌트
Destination 컴포넌트로 파일 저장시에 줄바꿈 코드의 지정이 가능하게 되었습니다. 이를 통해 LF(Unix, Linux)외에도 CRLF(Windows)도 저장할 수 있습니다.

3-3. 이스케이프 문자 지정

Source / Destination 컴포넌트

마지막으로

Xplenty의 스토리지 연계 기능을 사용하면 스토리지와 DB사이 또는 스토리지와 SaaS사이의 연계를 보다 유연하고 간단하게 실현할 수 있습니다. CSV, TSV, 로그 파일은 물론 JSON과 XML 파일의 연계 도 변환을 포함하여 유연하게 실현할 수 있습니다.

Xplenty의 스토리지 연계에 관심이 있는 분은 꼭 이 링크를 통해 온라인 데모신청으로 내용을 확인해 보시기 바랍니다.