今回のブログでは、アナリティクス業界において現在進行形の4つのトレンドに対して、なぜクラウドベースのETLが適しているかについて紹介します。

Table of Contents

1. データをパブリック・クラウドで管理する企業が増加する
2. リモートワークの推進
3. SaaSアプリケーションの採用が進む
4. ビジネスユーザーが開発に参加する

1. データをパブリック・クラウドで管理する企業が増加する

オンプレミスへの回帰が一部であるにしても、これからビジネスをスタートする企業も含め、パブリック・クラウドの増加トレンドを止めることはできないでしょう。特にアナリティクス・ワークロードのパブリッククラウドへの移行は、近年もっとも重要なビッグデータにおけるトレンドの１つです。

Forrester社の2018年のリサーチによると、

  • 51%の大企業はパブリッククラウド上で複雑なデータ分析で行なっている。
  • 72%の大企業は依然としてオンプレミスのデータセンターでそれを行なっている。

Forrester社は、2021年までにそれらの数値が逆転すると予想しています。

  • 61%の大企業は複雑なデータ分析にパブリッククラウドを利用するようになる。
  • 44%の大企業は依然としてオンプレミスのデータセンターでそれを行っている。

アナリティクス・アーキテクチャのクラウド化が進んでいく中で、以下の課題は避けては通れません。

  1. コストや機能面で自社に最適なデータウェアハウスの選択
  2. 様々なデータソースのデータインテグレーションのニーズ
  3. 自社エンジニアの新しいテクノロジーへの適応もしくは専門技術を持つ人材の採用

また、パブリッククラウドでデータを管理する際は、セキュリティに関しても対応する必要があるでしょう。

クラウドベースのETLであるIntegrate.ioは、データは一時的にパイプライン処理時にのみクラスターで管理され、処理が完了するとともにクラウドETL上のデータは、処理を実施したクラスターとともに全て削除されるため安全です。また、クラウド時代において最もポピュラーなデータウェアハウスであるRedshift, Snowflake, BigQueryの他にMicrosoftのAzure SQL Databaseなど豊富なデータベースをサポートしています。さらにAmazon S3やGoogle Cloud Storage、Azure Blob Storageといったストレージとのデータ連携も対応しています。

2. リモートワークの推進

コロナウイルスの感染拡大の影響により、GMOをはじめ、資生堂やパナソニックなどの大企業でもリモートワークが取り入れられています。こうした背景を受け、これまでのようにオフィスに出社しなければ作業できないといった働く場所の制約に対して、リモートでも仕事ができるソリューションが注目を集めています。データエンジニアについても、出社できない状況において、アナリティクスの開発・運用業務をどう維持していくかは、大きな課題です。

クラウドベースのETLであれば、クライアントPCにソフトウェアをインストールする必要はなく、全ての作業がクラウド上（ブラウザのみ）で完結します。データエンジニアは、リモートからパイプラインの開発、ワークフローやスケジュール設定、メンテナンスが可能になります。もちろん一部のアナリティクス・ワークロードにおいてオンプレミスは残り続けますし、完全にデータエンジニアの業務をリモートワーク化することは出来ないにしても、可能な限りの業務をリモートで実施できるようにするために、クラウドベースのETLの採用を検討してみてはいかがでしょうか？

3. SaaSアプリケーションの採用が進む

SaaSのビジネスアプリケーションを導入している企業は、年々増加しています。こういったSaaSアプリケーションのデータをBI /アナリティクス製品で活用するためのデータ統合ニーズに対し、クラウドベースETLは非常に最適です。クラウド→オンプレミス→クラウドといったデータの流れではなく、クラウド間でデータ連携が可能となり、自社のアナリティクス・アーキテクチャはよりシンプルになります。また、プログラミングが不要な豊富なコネクターとパワフルな変換機能により、様々なクラウドアプリケーション、データ形式に対応することが出来るため、データ統合において最も悩ましい問題である接続の可否や複雑な変換処理といった問題で困ることはありません。

4. ビジネスユーザーが開発に参加する

エンジニアリソースの不足は深刻化しています。現在もエンジニアの採用は依然ニーズが高く、エンジニアは引く手数多です。アナリティクス・ワークロードのクラウド化が進むことで、それを支えるために適切なスキルセットを持っているエンジニアの採用をどう解決していくのかが課題になります。こうした状況の中、データドリブンを重視する企業において、エンジニア不足をビジネスユーザーによるセルフサービスでカバー出来ないかと考えるのは当然の流れです。しかし、これまでの製品のようにクライアントツールをビジネスユーザーのPCにセットアップしなければ使えないものは、ビジネスユーザーにはハードルが高く、簡単に使える製品とは言えません。

こうした課題を受け、以前ブログでも取り扱いましたが、Low-Code開発環境が１つの解決策として注目を浴びています。ビジネスユーザーでも開発できるようにするためには、シンプルなドラッグ＆ドロップベースのUI、ブラウザのみで操作が可能なクラウドベースのETLが最適です。Integrate.ioのようなクラウドベースETLを使用することで、これまで開発に参加できなかったビジネスユーザーでも、シンプルなパイプライン作成であれば、分析に必要なデータ準備を自分自身で担うことができます。Low-Code開発を取り入れた企業の実際のユースケースを知りたい方はこちらのブログも参考ください。

まとめ

アナリティクス・ワークロードをクラウドで実施する企業が増えることとエンジニア不足は無関係ではありません。アナリティクスシステムの刷新が進むことで、それに関連したシステムインテグレーションプロジェクトやアナリティクス・プロジェクトが発生するため、エンジニア不足に拍車をかけることになります。また、こうしたプロジェクトの多くは一過性のものではなく、継続的な改善が求められるため、今後もエンジニアのリソース不足に悩む企業は多いかと思います。こうした状況において、これまでのように開発できる「人材」および「場所」が制限されるような仕組みではなく、新しい仕組みを検討してみてはいかがでしょうか？

クラウドベースETL「Integrate.io」について詳しく知りたい方は、ページ右上のボタンからデモをお申し込みください 。