新しい会社に入社したら、最初の90日間は、成功するために非常に重要です。新しいデータソース、データタイプ、アプリケーションに効率的に対応する必要があります。かつてないほど増え続けるデータ量に立ち向かわなければなりません。
入社してすぐの段階では、他の人に自分を印象づける必要があります。データエンジニアリング（データ収集と分析に関する）戦略を見直すことで、それを実現することができます。データがかつてないほど外部からの攻撃を受けやすく、データ収集に関する法律がより厳しくなってきている世界では、正しい戦略は、3か月の限られた期間であなたの仕事をアピールするのに役立ちます。
あなたが出来ることとして以下があります。あなたの仕事に最も役に立ちそうなトピックを自由に選択してください。
-
課題を認識する
-
時間を無駄にしない
-
データ戦略のどのように実行するかを考える
-
詳細を詰める
-
ファイナンスについて考える
-
チームを作る
-
データ戦略ロードマップを作成する
-
データのサイロ化問題を解決する
-
データエンジニアと同じくらいデータエンジニアリングを理解する
-
データ収集と共有を最適化する
-
法律を理解する
-
データガバナンス担当をアサインする
-
経営陣の承認を得る
課題を認識する
最初の90日間は以下のような課題があるでしょう。
- サイロ：サービス環境または法律により、一部のデータエンジニアリングプロセスが妨げられ、データサイエンスが阻害されている。
- プロセス：低速で一貫性のないデータエンジニアリングプロセスが、組織全体の速度を低下させている。
- テクノロジー：間違ったツールが、データエンジニアリングの成功を妨げ、デジタルの進化を妨げている。
- 文化：データエンジニアリングを重視しない企業風土が、あなたの仕事をやりづらくする。
これらの潜在的な結果に対する解決策を早期に見つけて、戦略に含めるようにしてください。データに関する施策を実行できるように、これらの課題をどのように克服するかを定義します。
時間を無駄にしない
初日に次の質問を自問してください。
- どのデータを保持しておく必要がありますか？
- どのデータを捨てるべきですか？
- データをどのように構造化しますか？データウェアハウスで？データレイク？イベントストリーム？
- データをどこに保存しますか？クラウドで？仮想化？フェデレーション？ Hadoop？
- データをどのように統合しますか？ ETL？コグニティブプロファイリング？
- データをどのようにクレンジングしますか？
最初の90日間は、多くの課題に直面しますが、すぐに効果的なデータエンジニアリング戦略を策定します。
どのようにデータ戦略を実行するかを考える
入社してすぐの段階で同僚にアピールするための戦略をどのように実行すべきでしょうか？
戦略は以下のようにあるべきです。
- 複数の共同編集者がコメントや編集を行えるように、共同編集機能があること
- エンジニア、科学者、幹部がどこにそのファイルがあり、内容を知ることができるように、アクセス可能な形式であること
次に、戦略に何を含めるかを考えましょう。組織としてパフォーマンスを達成するために重要なデータは何でしょうか？
データの目的と範囲について考えましょう。
- そのデータは何を実現してくれますか？
- データはビジネス戦略を補完しますか？
- データの価値はどれくらいですか？
- データ戦略の成功の可否をどのように測定しますか？
データエンジニアリングは時間の経過とともに進化する終わりのないプロセスですが、長期的な目標を意識することで、施策の優先順位付けとリソースの最適化に役立ちます。
詳細を詰める
戦略の基本構造を認識したら、新しい組織のデータエンジニアリングと開発の詳細を検討します。
- データをどのくらいの頻度で準備しますか？
- どのくらいの頻度でデータを転送しますか？
- どのデータが最も必要ですか？
- データサイエンティストとどの程度密接に連携しますか？
- どのくらいの頻度でデータをアーカイブしますか？
- データサイロにどのように対処しますか？
ここでは、データ接続間のすべての点を結合し、戦略の諸条件を定義します。データに関する施策の価値を最大化して、非効率性を減らし、データエンジニアリングとサイエンスの間のギャップを埋める必要があります。 94％の組織がクラウドコンピューティングを使用しており、84％がマルチクラウドデータ戦略を使用しています。業界に応じて、クラウドソフトウェアをデータ戦略に統合して、セキュリティおよびコンプライアンスの法律を順守することを検討してください。
次に、マイルストーンや施策の提案と一緒に、戦略を実施するためのタイムラインを作成します。もちろん、戦略の実行はほぼ完全にファイナンスに依存しています。
ファイナンスについて考える
データエンジニアリングはデータドリブンな組織にとって不可欠ですが、目標を達成するために無限に予算を期待することはできません。ビジネスの他の分野とは異なり、データエンジニアリングにより多くのお金を費やしても、必ずしも金銭的なメリットが得られるとは限りません。
データサイエンスの多くの専門家は、データエンジニアリングを「ゼロサムゲーム」と考えています。これは、利益を生まないが、代わりにチームの他の人々が適切に仕事をするのを助けてくれるものだと。なぜなら、適切なデータエンジニアリング戦略により、販売からマーケティング、給与計算まで、組織のほぼすべてのコンポーネントがメリットを享受できるからです。適切なデータを適切なタイミングで、適切な人が使用することで、全体的なビジネスオペレーションを効率的に進めることができます。
それでも、すべてをスムーズに実行するには、データエンジニアリングにかなりの金額を費やす必要があります。ここでの最大の出費は、チームのために他のデータエンジニアリングの専門家を雇うことです（詳細は後ほど説明します）が、優秀な人材であっても適切なソフトウェアがなければ成果を上げることはできません。最適なアルゴリズム開発、機械学習分野、およびデータエンジニアリングに関連する定量的研究手法を生み出すプログラムに投資する必要があります。
データを収益化し、組織にもたらす価値を確認する方法を理解しましょう。これにより、企業全体のデータ管理が改善されます。
社内の経営陣からの賛同が必要な場合は、データエンジニアリング戦略が組織にどのように役立つかを証明するための準備をしてください。実際の例を使用して、自身の意見をバックアップします。既にデータを活用して競合優位を確立している競合他社の例を利用することができます。あなたの主張を保証してもらうため他の部門を招きましょう。たとえば、営業部門では、タスクを容易にするためにより多くのデータが必要であり、あなたの戦略に賛同してくれるかもしれません。
もちろん、多くの既成のソリューションがありますが、大きな課題に取り組むには、データを適切に準備、処理、統合できるソフトウェアが必要です。コーディングが得意でない場合、Integrate.ioのようなソフトウェアを使用すれば、あまりデータエンジニアリングの経験がなくてもパイプライン全体を構築できます。
チームを作る
データエンジニアは、データサイエンティストと協力して、組織内のすべての情報を収集および検証します。データサイエンティストによっては、ETL部分も担当したりしていますが、これらのタスクを実行するために別のエンジニアを雇うことをお勧めします。
90日間の中で爪痕を残したい場合は、新しいスタッフを雇用することがTo Doリストの優先事項である必要があります。採用および採用プロセスには時間がかかる場合があるため、できるだけ早く開始することをお勧めします。
ヒント：LinkedInはスタートするのに適した場所です。世界中の最も才能のあるデータエンジニアとつながって、お互いにコミュニケーションし、採用の段階を短縮化することができます。
スタッフを雇用する際には、組織がデータに関する施策を最適化するために必要な組織変更と、これらの組織変更をどのように行うかのプランについて説明してください。早い段階で自問すべき質問が1つあります。
「アウトソーシングすべきですか？」
これはすべて、組織のスコープに依存します。異なる種類のシステムからクリーンなデータを収集することは、専任のチームが必要となる大きな取り組みのため、データサイエンティストよりもあなたのために働いてくれるデータエンジニアが多くいる方が有益です。ただし、重要なデータパイプラインをサポートできるように、適切なプログラミングおよびシステム構築スキルを持つエンジニアを選ぶことが重要です。
社内のエンジニアを外注するか自社で採用するかに関わらず、最初の90日間で重要なのは、適切なスタッフです。過去数年間にわたる巨額の投資にもかかわらず、ほぼ半数の企業は、データおよびアナリティクスを本番環境で稼働させるのに依然として頭を抱えています。優れたデータエンジニアは、長期的にもあなたに有益であり、最初の3か月間を非常に楽にしてくれます。
データ戦略ロードマップを作成する
90日間の戦略的目標を作成したら、それぞれの目標をどのように達成するかを定義します。ロードマップを作成し、そのマップの各目標に対して以下を設定します。
- 使用するプロセス
- 使用するテクノロジー
- タスクを担当するチームメンバー
- 予算金額
- 期間
90日を経過したら、これらの目標を評価することができます。
ヒント：チームのスキルギャップを早期に特定して、従業員に追加のトレーニングを提供したり、目標を達成するために新しいテクノロジーに投資したりできるようにしましょう。
データのサイロ化問題を解決する
サイロ化されたデータを減らすと、組織全体でのデータの統合とデータに関する施策の改善が容易になります。データを1つの集約化されたシステムに統合する必要があります。これにより、すべての部門が必要な情報に簡単にアクセスできるようになります。これにより、ビジネスにおけるデータドリブンプロジェクトが育まれ、データ活用が向上します。
1つの集約化されたシステムにより、データは次のようになります。
- アクセシブル
- アクショナブル（すぐにアクションにつながる）
- 可視化
データエンジニアリング戦略でサイロを「いつ」「どのように」解決するのかを説明します。どのくらい時間がかかりますか？どう実現しますか？どの技術を使用しますか？
データエンジニアと同じくらいデータエンジニアリングを理解する
シニアの役職で働くことにあぐらをかいてはいけません。最初の90日間（およびそれ以降）で成功したいのであれば、最新のデータエンジニアリングのトレンドをキャッチアップし、よりスマートで迅速な意思決定を行う必要があります。これは、常に以下について学習することを意味します。
- ミドルウェア
- アナリティクス
- データ統合
- データポータル
- ETL vs ELTソフトウェア
これはまた、Java、Scala、Python、およびあなたとデータエンジニアが使用する他のすべてのプログラミング言語に関する最新情報を学ぶことを意味します。
データエンジニアリングには困難がつきものです。データの不一致やフィールドのないデータなど、データ関連の問題に取り組みます。
ただし以下は含みません。：
- 遅くまで働く
- 無限のコーディング
- データエンジニアリングリソースをすべて使い切る
また、コンプライアンスとセキュリティを真剣に考え、プロセスとシステムに影響を与える可能性のある最新のトレンドについて学ぶ必要があります。ガートナーによると：
ビジネスインテリジェンス（BI）環境のセキュリティに重点を置く企業は、通常、データウェアハウスとエンドユーザーに提示されるデータの範囲を制限します。賢い企業は、データウェアハウスおよび関連するデータマートのデータが安全であることを保証し、クエリおよびレポートツールのアクセスを制限します。
もしあなたにとってデータセキュリティが必要不可欠な場合、Integrate.ioに連絡して、我々がAmazon KMSを使用してどのようにフィールドレベルの暗号化を我々のユーザーに提供しているかについて学習してください。
データ収集と共有を最適化する
データ戦略により、部門内でのデータ収集と共有の条件が確立されます。これにより、データサイエンティストが使用する高品質のデータを簡単に収集して転送できます。その結果、データからより多くの価値を得ることができます。
データエンジニアリング戦略において、データの収集と共有を最適化する方法を確立しましょう。これには、データ値のルール決めやデータの命名規則、さらにメタデータへのアクセスのベストプラクティスの検討が含まれます。
法律を理解する
組織がデータを収集、処理、および保存する方法は、絶え間なく変化しています。国内外の議員からのデータコンプライアンスに関連する新しい法律は、最初の90日間であなたとあなたのデータエンジニアリングが行う決定に影響を与えます。
データ収集に関して言えば、法律がすぐに変更されることがあります。多くの場合、すぐに通知されるので、新しい仕事もあなたの前の仕事と同じだと決めつけないようにしてください。
- たとえば、最近のGDPRの法律。これは、欧州連合の顧客や取引先から情報を収集する米国の企業に影響を与えます。
- また、健康に関連するデータを処理する企業にとって絶えず変化し続けるHIPAAガイドライン。
最初の90日間であなたが同僚に説明したいことではないでしょうが、データ侵害や違反に対して高額の罰金が課せられる可能性があります。あなたの仕事に影響を与える最新の法律を知っているか確認しておきましょう。
データガバナンス担当をアサインする
法律を理解したら、チーム内でデータガバナンス担当をアサインします。以下のデータガバナンスタスクをチームメンバーに委任することができます。
- 法律の遵守を確保する
- 企業内基準の維持
- ポリシー変更の追跡
これらの明確に定義された役割は、データのガバナンスと保護に関する説明責任を高めます。
経営陣の承認を得る
データエンジニアリング戦略を確立したら、会社の上司や経営陣からの承認が必要となります。事業計画を準備し、戦略を上司に伝えます。上司や経営陣は、以下の点で戦略の構築を助けてくれます。
- 戦略を改善する方法
- 設備投資など、戦略を実施するために必要なリソース
- 戦略を実行するために必要なスタッフ
最後に
新しい仕事での最初の90日間は、同僚や投資家にとって重要な「パルスチェック」です。上記のガイドに従って、データエンジニアリング戦略に懸念がないか確認してください。
新しい仕事で成功を収めるために、データ戦略にIntegrate.ioを含めることを検討してください。 100を超えるソース、ディスティネーション、および事前に構築された変換を備えた、使いやすいクラウドベースのETLプラットフォームです。トライアルはこちらよりお申し込みいただけます。
