データエンジニアとは～役割、他のエンジニアとの違いなど～

データエンジニアとは

データエンジニアとは一言で言えば、データ活用基盤、すなわちデータ活用を前提にデータを収集したり、整理したり、管理したりする基盤を作るITエンジニアです。

データ活用の裏には必ずデータエンジニアがいて、データを利活用するための非常に重要な役割を担っています。特に中長期的な意思決定をしたり、大量のデータを扱ったりするためにはデータ活用基盤が必須になりますから、データエンジニアの存在も同じく必須になると認識しています。

データエンジニアに求められる役割

データ活用をしたくても、分析に必要なほとんどのデータは埋もれています。現在データ活用率は3％程度と言われており、日の目を見ないまま埋もれている97％のデータを掘り起こすことがデータエンジニアに求められているのです。

データが生のままで使えることはほぼなく、整理・加工して使えるようにするのがデータエンジニアに求められるスキルであり、役割であるということです。繰り返しになりますが、特に中長期的にビジネス的な示唆を得たい場合や、大量のデータを扱う必要がある場合にはデータエンジニアは欠かせない存在となります。

【関連】【連載】数億円規模のプロジェクトを率いるITコンサル/PMに聞く、データ活用支援プロジェクトの魅力 〜大手化粧品メーカーのマーケティングを支えるデータ活用支援事例～

データエンジニアと類似職種との違い

データサイエンティストやデータアナリストとの違い

「データエンジニアです」と自己紹介した際に、最も多く聞かれるのが「データサイエンティストやデータアナリストとどう違うのか？」ということです。

同じデータを扱う職種のため混同されがちなのですが、実は担当する領域も求められるスキルもかなり違います。

データを活用できる形に整備するのがデータエンジニアの役割で、活用できるようになったデータを分析しビジネスの意思決定につなげるのがデータサイエンティストやデータアナリストの役割です。

データサイエンティストとデータアナリストを強いて分けると、データサイエンティストがデータ分析寄りの職種で、データアナリストがビジネスの意思決定寄りの職種と説明することがあります。しかしながらブレインパッドでは、ビジネス理解に基づいたデータ分析能力が求められますので、社内では特に区別せず、単にデータサイエンティストと呼んでいます。

【関連記事】
【社員が解説】データサイエンティストとは？仕事内容やAI・DX時代に必要なスキル

BIエンジニアとの違い

BIエンジニアもデータ分析関連の職種として、データエンジニアと類似しています。多様な場所にある分析用のデータはまずデータレイクに収集し、整理・加工したものをDWH（データウェアハウス）に格納します。BIツールを使って分析する場合には、DWHからさらにデータマートとして切り出したものをBIツールで分析するという流れになります。

BIエンジニアはBIツールの導入と、BIツールに連携するデータマート作成などが主な役割です。

一方で、データマートを作成するまでがデータエンジニアの主な役割ですので、データエンジニアにはインフラの知識（ネットワーク、分散処理、データベースのパフォーマンスチューニングなど）がより必要になります。

データベースエンジニアとの違い

また、データベースエンジニアとの違いもよく聞かれます。どちらもデータベースに関連する職種ですが扱うデータの質が大きく異なり、求められるスキルセットも異なる部分があります。

データベースエンジニアは、基幹系システムなどを含めた社内データベース全体を管理する職種で、機密性の高いシステム構築を求められます。

一方でデータエンジニアはデータ分析用のデータ基盤構築に特化しています。分析用のデータは往々にして、データソースが様々な場所に分散しており、それらのデータ量が極めて多いことが特徴です。様々な場所にあるデータを大量に収集できる、拡張性や耐久性のあるシステム構築を求められます。したがってクラウドや分散処理に関する知識を有することが必要です。

重要となる、データサイエンティストとの関わり合い

前述したように、データの収集・加工・管理するためのデータ活用基盤作りがデータエンジニア、その整備されたデータを使って分析するのがデータサイエンティストの役割になります。しかしながら、、それぞれの職種が単独でプロジェクトを進めることも往々にしてあります。

データエンジニアがデータサイエンスなしでプロジェクトを進める例として、BIツールや弊社が提供するパーソナライズツール・Rtoasterといったプロダクトと連携する場合があげられます。データの使い方がはっきりしていますので、データサイエンティストがいなくても、そのためのデータ活用基盤を作ることができます。

一方で、データサイエンティストがデータエンジニアなしで進めるケースもあります。大量データを必要としないアドホックな分析をする場合には、データサイエンティストが必要なデータを集め、クレンジングを行い、そのデータを使って分析します。

データエンジニアとデータサイエンティストがそれぞれで仕事をするのは、特定の型にはめても中長期的な示唆を得続けることが出来る場合や、短期的なデータ分析と活用を行いたい場合です。

逆に中長期的でかつ多種多様なデータ活用を行いたい場合は、データエンジニアとデータサイエンティストがタッグを組みます。データエンジニアとデータサイエンティストの協働により得られる価値は、中長期的にかつクリティカルなものであるため、社会に対してより大きなインパクトを与えることが出来ると考えています。

そもそものデータ活用方針が決まっていないような場合でも、データサイエンティストとデータエンジニアの協働によりビジネス的な価値を提供することができます。スモールスタートでデータサイエンティストがアドホックに分析を行い、その上でデータエンジニアがデータ活用基盤を構築することで、クライアントのビジネスを加速していきます。

一般的にデータエンジニアに求められるスキル

ここで、データエンジニアに求められる具体的なスキルを紹介したいと思います。一般的には、以下のようなものがあると言われています。

• RDBに関する知識とRDBを扱うためのSQL
• セキュリティも含めたネットワーク設計
• クラウドに関する知識
• 分散処理に関する知識
• データ処理ワークフローなどを構築するためのプログラミング技術（エラーハンドリング等、細かい処理が必要）

さらにデータ活用の方向性によっては以下のようなプラスアルファなスキルを求められることもあります。

• データサイエンティストと会話あるいはクライアントへの提案に役立つレベルの統計の知識
• 教師データを作成するための機械学習の知識

ブレインパッドが考える「データエンジニア像」とキャリアパス

最後に、私たちブレインパッドが考えるデータエンジニア像をお伝えしたいと思います。

私たちの仕事はクライアントワーク、つまりクライアントからの依頼に基づいて開発したり、サービスを提供したりするものですので、そもそも高い論点整理能力が求められます。

さらにデータ分析プロジェクトの特徴として、ゴールや進め方が明確でないうちに開始されることが多いので、進めながら筋道を立てていく必要が出てきます。

クライアントの中にはデータ分析プロジェクトの経験が少ない会社も多いので、今何をやっているのかをわかりやすく説明する能力も求められます。パワーポイントでわかりやすい資料を作れるといった能力もその1つです。

また、データ分析用のデータセットについては、基幹系システムほどの堅牢なセキュリティではなく、多くの人がアクセスできるようなオープン性が重視されることが多いと言えます。

しかし情報システム部門や情報系子会社など実際にデータ分析基盤を運用する方々からは、かなり堅牢なセキュリティが求められることがあり、それではデータ分析には使えないといったケースが出てきます。そういう場合は、データ分析を推進しているキーマンと固い信頼関係を構築した上で、そのキーマンに解決を依頼することになります。このような信頼関係構築のためのコミュニケーションスキルも、ブレインパッドのデータエンジニアには必要とされるのです。

【関連】クライアントと密な関係性を築き、成功に導いた事例
【前編】「分析力の研鑽」を目指すニッセンのデータ基盤 ～BrainPad DX Conference 2022～ テーマ別 企業DX対談

冒頭にお話しした通り、私はITコンサルタントに至るキャリアパスの初期段階のデータエンジニアとして働いています。ITコンサルタントの仕事はクライアントの課題を解決する提案をすることです。私の未来像としては、ただ解決策を提案するのではなく、ビジネスを加速させる本質的な提案ができるようになりたいと考えています。そのためには、きちんと経験を積むことが大事だと考えており、データエンジニアからスタートすることが最適な道だと思っています。

データ活用基盤を作るためには、データの意味・内容はもちろんデータの成り立ちについて知る必要があります。これはクライアントに実業務について詳しく聞かないとわからないことで、そのためにはヒアリングができるだけのビジネスドメイン知識が要求されます。

そしてヒアリングしていくうちにさらにビジネスドメイン知識が深まっていきます。つまりビジネスドメイン知識を広げ、深めていくのにもデータエンジニアという職種は最適なのです。

データエンジニアにビジネスドメイン知識が加われば、クライアントのビジネスを加速させる提案ができるITコンサルタントになれるという考えで、ブレインパッドではITコンサルタントのキャリアパスが用意されています。

私はこうした育成方針の下で、新卒で入社したときからデータエンジニアを担当していますが、もちろん新人からでなければデータエンジニアになれないわけではありません。私の先輩の中で、前職でBIエンジニアとして活躍していたけども、もっとデータを深く理解したいとデータエンジニアに転職された方もいます。また、オンプレミスのシステム構築に従事されていた方で、クラウドを使いながら多種多様なデータを扱う分散処理システムを構築したいという理由でブレインパッドに転職し、データエンジニアになった方もいます。

【関連】【連載】ブレインパッドでデータエンジニアとして働く魅力 ー ビジネスに必要なヒト・モノ・カネをデータで捉える仕事、企業経営に貢献するデータ活用の支援を通じて ー

このようにデータエンジニアにキャリア変更することはある程度ITの素養があれば、誰でも可能なことだと思います。重要なのは、データ活用から価値を提供し、クライアントのビジネスを加速させたいという気持ちと、それを実現するための技術に対して真摯に向き合い続けられるかどうかだと考えています。

同じ志をお持ちの方には、ぜひ、データ活用を支えるデータエンジニアの道へチャレンジしていただけたらと思っています。

関連記事

• データエンジニアリング×データ活用支援企業の現在地とこれから
• 【シリーズ】リスキリング×データエンジニア CASE1：菅井熱志
• DXプロジェクトを成功に導くエンジニアのスキルセットとは？
• アナリティクスエンジニアが、DX実現に向けて考えていること

この記事の続きはこちら

データエンジニアリング×データ活用支援企業の現在地とこれから