【自己紹介】
#Twitter：@Nurruttan / #YouTube：@Nurruttan
【転職支援サービス】
転職を検討しているデータサイエンティスト向けに【完全無料の】転職支援サービスを実施しています！
詳しくは下記をご覧ください！
【キャリア相談サービス】
キャリアに悩むデータサイエンティスト向けにキャリア相談サービスをやっています！
詳しくは下記をご覧ください！
- いままでのデータサイエンスのトレンド
- 今後のデータサイエンスの潮流
はい、こんにちは。ぬるったんです。
今回は「【時流を読もう！】データ活用のトレンドを徹底解説」というテーマでお話ししていきたいと思います。
データサイエンティストのよくある悩みとして、
- どんなデータサイエンティストの需要が高いかわからない
といった悩みはよく聞きます。
そこで今回は、長年データサイエンティストとして仕事をしているぬるったんの経験を活かして、いままでのデータ分析の歴史・いまのトレンドを解説していきたいと思います。
データ分析のいままでの歴史やトレンドを知ることで、どのようなデータサイエンティストが今後求められていくのか、を知ることができます。
今回は、データ分析の歴史・トレンドに絞って解説していきます。
今後どんなデータサイエンティストが需要が高まるのかを解説する内容は別で作成していく予定です。
そのため、今回の内容は「データ活用の歴史を振り返り、未来の時流を読める内容」となっています。
ぜひ、最後までご覧ください。
データ活用の歴史・トレンド
では、データ活用の歴史・トレンドについて解説していきます。
今回はこちらの5つのフェーズで解説していきます。
- オンプレミスからクラウドへ
オンプレミス環境のデータをクラウド環境に移管して、「柔軟性」「拡張性」を向上さえるフェーズ - クラウド内データの分析
クラウドに集まったデータを利用して、データ分析からビジネス現場で活用 - BIツールでデータ分析の浸透
クラウドのデータにBIツールを接続して、専門家レスの分析環境を構築 - データの横断活用の推進
自社データを横断活用するために、サイロ化しているデータを一元集約 - 生成AIへのデータ活用
元集約されたデータを生成AIの学習に活用するためデータ管理を高度化
それぞれのフェーズに対して、生じる課題があり、その課題を解決するために新たなトレンドが巻き起こる構造です。
課題に関しては、後ほどそれぞれ詳しく解説していきます。
では、それぞれにフェーズについて一つ一つ解説していきます。
①オンプレミスからクラウドへのデータ移行
トレンド
当時のトレンドとして、データの柔軟性や拡張性を向上させるためにクラウド環境へのデータ移行が進みました。
オンプレミスでの管理はサーバーの運用費や管理費がかかるだけでなく、システム開発を実施する際には、物理的なサーバーを購入する必要があったり、なにかと柔軟性に欠けるシステムになります。
そのため、クラウド環境にデータを移行することがトレンドとなり、多くの企業がデータをクラウドに移行することを推進しました。
課題
クラウドにデータが移行されるようになった中で、課題に挙がってきたのが、データサイエンティストのようなデータ分析人材の不足です。
クラウドにデータを移行して、使い勝手が良くなったデータを活用する機運が高まり、ビッグデータを活用するニーズが増してきました。
新たなトレンド
そのような中で、データサイエンティストの需要が急増する新たなトレンドが巻き起こりました。
クラウドという柔軟な環境にデータが格納されるようになり、クラウドからデータを引っこ抜いて分析できるデータサイエンティストが注目され、需要が高い人材として位置づけられるようになりました。
これが、一つ目のフェーズである、「オンプレミスからクラウドへ」のフェーズです。
②クラウド内データの分析
トレンド
次なるトレンドが「クラウド内データの分析」です。
クラウド内のデータを分析して、ビジネス活用を推進することが潮流となりました。
並行して、深層学習などの流行もあり、機械学習、高度なデータ活用、といったことも注目され、多くのデータサイエンティストが企業のデータを分析して、ビジネス活用を進めるトレンドが巻き起こりました。
このフェーズだと単純なデータをクラウドから引っこ抜くこと自体にプログラミングなどの専門性が必要であることから、単純なデータ抽出のような作業も多く、「データサイエンティストは意外と泥臭い職業」と感じる方も多かったのは事実です。
課題
このような中で、データ分析のコストが高いという課題を目にするようになりました。
クラウドデータを抽出するだけで、市場では割高なデータサイエンティストを雇う必要があり、分析のコストが膨大になることが課題として、語られるようになってきました。
新たなトレンド
そこで、新たな潮流となったのが、「BIツールによる分析環境整備」です。
BIツールとは、ビジネスインテリジェンスツールの略称で、TableauやQlik Viewsなど、直感的なユーザーインターフェースでデータ分析ができるツールをさします。
③BIツールによる分析環境整備
トレンド
BIツールの活用により、ノンプログラミングでも分析できる環境を構築して、ビジネスマンでも簡単に分析できる環境を構築していこうという流れです。
この簡易な分析環境を実現するために、クラウド環境にBIツールをつなぎ、多くのビジネスマンがデータ分析をできる環境を構築して、企業全体のデータ活用を一気に推進しようという流れが強まりました。
そこで、新たに巻き起こった潮流が「BIツールでデータ分析の浸透」です。
クラウドデータをBIツールで分析できるような環境を構築して、専門家がいらない状態での分析を推進する流れができてきています。
いわゆる、シチズンデータサイエンティストという考え方になります。
このように、ノンプログラミングでのデータ活用が進む中で、新たな課題も生じてきました。
課題
それが、「分析可能なデータが限定的」という課題です。
過去のシステム構成により、データのサイロ化が発生して、横断的なデータ分析ができないといった課題が発生します。
これは、特に大企業ではほぼ確実に発生する課題であり、事業買収を多くしている会社であれば、システムの整合性が取り切れず、横断的なデータ活用に耐えられないといった課題は多く発生します。
自社内にあるはずのデータがBIツールで見ることができず、より横断的にデータ活用する需要が増加しています。
新たなトレンド
そのため、新たなトレンドとして、データを一元管理するためのシステム構築が求められるようになってきました。
データを一元管理して、データを横断的に管理するようなシステム構成を作り、データを最大活用できる需要が増加しています。
そして、4つ目の「データの横断活用の推進」というフェーズに移ります。
④データの横断活用の推進
トレンド
上の図のように、各システムと分析環境、BIツールの連携が限定的で、すべてのデータを活用しきれないといった課題が発生します。
そのような課題を解決するために、下のように一つのデータウェアハウスにデータを連携して、各種分析環境を一元管理したデータウェアハウスにつなげて、横断的なデータ活用を進める潮流が起きています。
このような潮流の中で、トレンドとなっているソリューションが「スノーフレーク」です。
最近耳にすることも多い、データ関連の技術の一つです。
課題
データを一つの箱に入れて、横断的なデータ活用を進める中でさらに新たな課題が発生します。
それは、高度な活用がしにくいということです。
つまり、この4つ目のフェーズでは単にデータウェアハウスにデータを流し込んでいるだけの状態であり、高度にデータを活用するには用途に応じて、適切にデータが管理されなければなりません。
トレンド
そのため、適切なデータ管理を実現することが次のトレンドなってきます。
さらに、このトレンドに拍車をかけているのが生成AIです。
生成AIに社内データを活用しようとするためには、データの持たせ方や処理系統などを適切にする前処理が必要です。
そのため、一元管理したデータを活用方法に適した形で管理することが新たなトレンドとして、浮上しています。
そこで最後の「生成AIへのデータ活用」のフェーズです。
⑤生成AIへのデータ活用
トレンド
生成AIに社内データを読み込ませて、活用するためにデータ管理を最適化する需要が増加しています。
そのためには、AIの知識も必要でありながら、データ基盤の構築にも詳しいハイブリッドな人材が求められ始めます。
課題
そこで今後発生する課題としては、AI×基盤構築人材といった、高度な人材が不足することが予測されます。
そのため、AIに詳しい方は、データ基盤を学ぶことも求められ、データ基盤を構築する人材もAIを学ぶことが必要となるかもしれません。
現在ではAIの活用は非常に強いトレンドであり、数年に一回の大きな時流となっています。
データサイエンティストとしてキャリアを築いていく上で、時流を呼んで上手くトレンドに乗っていくことが重要考え方になります。
と、いうところで今回はデータ活用の歴史・トレンドについて解説をしてきました。
まとめ
本記事のまとめはこちらです。
- データ活用のトレンドは日々変わるもの
- 新たなトレンドの後には必ず次のトレンドがある
- データサイエンティストは時流を呼んで必要なスキルを見極めよう
データ活用のトレンドを読んで、上手にキャリアを形成しましょう！
本日は以上です、ありがとうございました。
にほんブログ村
