どんなビジネスも、日々の業務において数多くの IT システムに依存しています。そのシステムには、成果メトリクスの追跡、将来動向の予測、日常業務のモニタリング、そして最重要事項である、ビジネスを適切な方向に導くのに不可欠な貴重なデータが含まれています。

ただ、クラウドデータウェアハウスにデータを統合して分析するための「データ変換のパイプライン」は、簡単に作れるものではありません。実際、BigQueryのようなデータウェアハウス用のデータパイプラインを1つでも開発・維持しようとすると、金銭的コストは言うに及ばず、膨大な遅延、データコンプライアンスの問題、コーディングの不具合、IT部門の負担のような結果を引き起こします。

そこで Integrate.ioの出番です。 強力で使いやすいサービスとしてのデータ統合プラットフォームである Integrate.ioは、Google Cloud 対応の BigQueryパートナーであり、技術経験に関係なく、誰もが1行のコードさえも書き込みなしでカスタム データ パイプラインを速やかにかつ手頃な価格で開発できるようにします。 

本記事では、Integrate.ioとGoogle BigQueryの連携と、Xenon Partnersがどのように両技術を使ってウェブとセールスファネル分析を強化したのかお話します。

ソリューションの概要

BigQueryは、AI 対応のBI（ビジネスインテリジェンス）ツールが大規模なデータセットに対して、高速な SQL クエリを実行しながら運用できるようにするものです。Integrate.ioには、データ統合パイプラインを介してBigQueryに情報を流すためのノーコード/ローコードツールがあり、データを再び取り出すためのリバースETLも行います。BigQuery と Integrate.io を組み合わせることで、強力で柔軟、かつ非常に手頃な価格のデータ管理および分析ソリューションが実現するのです。

Integrate.io のデータパイプラインは、(1) さまざまなシステムからのデータ取得、(2) コンプライアンス、互換性、可読性を目的としたデータ変換、(3) BigQuery または他のデータウェアハウスへのデータの格納、(4) リバース ETL または API を通じて運営システムへのデータ提供が可能です。このような機能のすべて、または任意の組み合わせを単一のデータパイプラインで実行する能力を持つ Integrate.io は、ETL（抽出、変換、格納）、ELT（抽出、格納、変換）、CDC（変更データキャプチャ）、リバースETL、および API 管理の幅広いユースケースに対応可能です。

つまり、Integrate.ioは、正確なBIが必要とする大容量・高品質のデータをすべてBigQueryに提供する、万能な橋渡し役として機能するのです。 

Google Cloud Ready - BigQueryのパートナーとして、Integrate.io は厳しいデータ統合テストを完了し、Google のエンジニアリングチーム パートナーの統合基準をすべてクリアしています。つまり、Integrate.io と BigQuery が完全に互換性を持ち、各プラットフォームのそれぞれの顧客が利用できるということです。

Integrate.ioは、Google BigQueryのユーザーに対して、以下のコア機能を提供します：

  • 何百もの既成のコネクタ：Integrate.ioのコネクタは、最も一般的なプラットフォーム、データベース、データウェアハウスから情報を抽出し、BigQueryに格納します。
  • REST API コネクタ：REST API コネクタにより、Integrate.io は REST APIを持つあらゆるソースや目的地（デスティネーション）との速やかな接続ができます。 
  • ドラッグ＆ドロップ可能な15種類の変換コンポーネント：ドラッグアンドドロップによるデータ変換により、ユーザーは一行のコードも書かずに、【FILTER】、【JOIN】、【SELECT】、【LIMIT】、【CLONE】などのパイプライン内の変換の設定ができます。
  • SQL スクリプトエディタとネイティブスクリプト言語：Integrate.io 独自のスクリプト言語により、上級者ユーザーは 200以上の既成の関数を使用してカスタムデータ変換のコーディングができます
  • 最先端のセキュリティ、暗号化、およびデータコンプライアンス機能：Integrate.ioでは、SOC 2、SOX、PCI、GDPR、CCPA、HIPAA、SSL/TLSの標準に準拠するため、PIIおよびPHIデータのマスク、暗号化、および/またはスクラビングを行うことができます。
  • 無制限のユーザーサポート：Integrate.io のすべてのユーザーは、アカウントに割り当てられた専任の統合スペシャリストから無料かつ無制限のサポートを受けることができます。電話、メール、ビデオ電話で対応可能な各アカウントの統合スペシャリストは、技術に詳しくない顧客が最も高度なデータ統合の目標を達成できるようサポートするためのトレーニングを受けています。
  • Integrate.ioの追加機能：追加機能として、変動する要件に対応する無制限のスケーリング、データパイプラインの構築と管理のためのポイント＆クリック式のノーコード/ローコードダッシュボード、進行中のタスクのリアルタイムモニタリングと進捗アップデート、自動メールアップデート/アラート、Salesforceデータを抽出し、データを変換/強化し、Salesforceに戻すことのできる双方向Salesforce間統合などがあります。

Integrate.io は、強力で洗練されたILM（情報ライフサイクル管理 ） データ統合パイプラインを作成する権限をユーザーに与えるだけではありません。このプラットフォームは、ポイント・アンド・クリックのインターフェースで使いやすく、経験の浅いユーザーでも数分でデータパイプラインを開発できるようにします。

さらに、Integrate.io のコネクターごとの課金構造は、ユーザーがデータ接続を追加または削除しない限り、毎月全く同じ課金を行うという、予測可能で予算化しやすいスケジュールになっており、こういった特徴と事実上無制限のスケーラビリティにより、Integrate.ioは企業や中小企業にとってお手頃な価格となっています。

Xenon PartnersのIntegrate.ioデータパイプラインの仕組み

Integrate.ioのデータパイプラインがどのように機能するかを理解するために、このセクションでは、技術系のプライベート・エクイティ企業であるXenon Partnersが生産している2つのパイプラインをご紹介します。

Xenon Partnersは、複数のパイプラインを活用して、（1）運営データソースからのデータを抽出、（2）互換性とデータコンプライアンスの目的での情報変換、（3）Google BigQueryへの格納、をします。そこからLooker BIプラットフォームがGoogle BigQueryに接続してデータを分析し、主要なビジネスメトリクスをカラフルでインタラクティブな見た目とグラフで表示します（下の画像を参照）。

thumbnail image

Xenon Partnersは、Integrate.ioを使って、一行のコードも書かずに以下のようなパイプラインを作成しました：

例1：セールスファネル分析

最初のデータパイプラインは、左から2番目の列のメトリクスを計算するために、セールスファネルデータを抽出、準備し、【Google BigQuery】に格納します（下図を参照）。この数値は、見込み客、デモ、PQLなどセールスファネルの各ステージにいる見込み客の数を表しています。また、あるステージから次のステージへの見込み客のコンバージョン率も示しています。

thumbnail image

114、2、17など、上記の欄の左側の数字を計算するために、Integrate.ioは【Pipedrive】のCRMから【BigQuery】に「案件データ」を送信しています。その際、どの案件がセールスファネルのどのステージにあるのかを計算するために、データを変換しています。

Integrate.ioのデータパイプラインでは、これを実現するのに次のような重要なステップが必要です：

  1. 【Pipedrive】のCRMから案件データを取り込む
  2. 「Curl」機能でPipedriveの他のエンドポイントから各案件のデータを引き出す
  3. ステップ1の取引データをステップ2のデータで充実させ、各取引の詳細を追加する
  4. 見込み客やデモなど、ダッシュボード内の特定のステージに関するデータのフィルタリングをする
  5. パイプラインを通過する値に基づいて条件付きロジックを適用するのに、ケースステートメントを使用する
  6. ステージ内の直近のタイムスタンプ取得のために集計を行う
  7. さらにケースステートメントを使用して 2 つの新しいフィールドを作成し、前のステップで作成した MAX タイムスタンプに基づいた値を割り当てる。この最終計算により、各案件がどのステージにあり、いつそのステージに移行したかが明らかになる

このユースケースのデータパイプラインを示すIntegrate.ioのビジュアルインターフェースを以下に示します：

thumbnail image

例２：

Xenon Partnersは、以下のデータ統合パイプラインを活用して、下の画像の左側の列にある0.9%、5.3%などのメトリクスや、その列の上部にある「訪問者」の数値を算出するためのデータも含めて提供しています。

このデータパイプラインは、まず先のパイプラインで作成した2つのBigQueryのテーブルから「案件データ」を抽出することから始まります。そして、そのデータを変換して、メトリクスを開発します。

Integrate.ioのデータパイプラインでは、これを実現するために次のような重要なステップが必要です：

  1. 前のパイプラインで作成した2つのBigQueryのテーブルから、案件データを取り出す
  2. SUM集計機能を使って、ステージごとの案件数、4週間以内でのウェブサイトへの訪問者数を算出する
  3. 訪問者から見込み客、見込み客からデモなどへ遷移した案件数を算出する

このユースケースのデータパイプラインを示すIntegrate.ioのビジュアルインターフェースは以下にあります：

thumbnail image

このようなデータパイプラインを導入したことで、Xenon Partnersは現在、上記の計算されたコンバージョン率を4週間×8回分の期間にわたってモニタリングしています。このデータパイプラインにより、BigQueryとLookerは、過去4週間のセールスファネルキャンペーンの成功に関する明確で実用的なメトリクスを算出し、そのメトリクスを以前の4週間と比較し、さらに32週間まで遡ることができるのです。

Xenon Partnersがこのようなデータパイプラインをわずか数時間で構築でき、開発やメンテナンスに関わる諸経費を最小限に抑えられるというのは、Integrate.io の最も素晴らしい点の 1 つといえます。実際、Xenon Partners は Integrate.io を活用して、より使いにくく高価なデータ統合プラットフォームで達成するよりも優れたデータ統合結果を達成しているのです。

まとめ

Google Cloud Ready - BigQuery パートナーである Integrate.ioは、高度なデータ統合パイプラインを開発・維持するための強力なツールを、ほぼすべてのスケールにおけるほぼすべてのユースケースで備えています。そして何より、このプラットフォームは、データ統合のスペシャリストによる専任チームへの無制限アクセスを全ユーザーに提供しており、そのスペシャリストは、Google BigQueryとの間でデータの抽出、変換、格納、リバースETLを行うカスタムデータパイプラインの作成を常時サポートしています。

Integrate.ioを活用してデータ統合のボトルネックを克服したいとお考えでしたら、デモを予約して、プラットフォームの無料トライアルにぜひお申し込みください！