ビッグデータ収集、ビッグデータとAIの活用

2020.04.27

Contents

AIで使うデータ数を増やす
スクレイピングシステムなどでビックデータ収集

既存収集データやスクレイピングシステムでビッグデータ収集

よりシステムやレポートの精度を高めるビックデータコンテンツ

2019年、2020年は、AI（人工知能）やBI（ビジネスインテリジェンス）の実用化が進んでいる状況です。そんな中、この2つのIT技術において、重要なことは、技術以外に、情報があります。どちらも、DB内にある、あるいは、システムで解析できるデータ量が多ければ、多いほど、AIにせよ、BIにせよ、そのシステム精度は向上します。それゆえ、どんどんデータを増やしていく必要があります。そこで、登場するのが、ビックデータです。しかし、ビックデータとは、そもそも、何なのでしょうか？

実は、ビックデータとは、明確な定義のないものなんです。つまり、大量で、さまざまな種類のあるデータ。という定義くらいなんですよね。IT用語辞典のサイトでも、ビッグデータの定義としては、様々な種類・形式が含まれる非構造化データとされています。つかみどころがないのです。しかし、このビックデータの概念、とても重要です。いろいろな種類のデータをかけあわせることで、システムが、そのデータから、答えを出してくれるからです。

ビックデータの活用例として、よくあるのは、天気データ×ECの売上データでしょうか。雨の日は、売れやすい、というのが本当なのか、それは、お天気データとECサイトの売れ行きをぶつけてみれば、統計データとしてでてきます。そして、そこから、このくらいの温度、天気なら、食品ジャンルのこういう商品が売れやすい、といったシミュレーション情報に置き換えることができるのが、システムです。

ビッグデータを活用することで、できることはたくさんありますが、このほかにも、twitterでよく使われている言葉と、ECの売上の関連性などを調べたりもできます。同じく、インスタグラムでの投稿数とECでの売上相関性などもシステムで調べることもできるでしょう。しかし、これらのシステムはできたところで、何に活用するの？ということになります。それゆえ、ビッグデータの活用は、まずは、目的から、考えていかないと、無駄な投資にもなりかねません。まずは、何をしたいか？その目的を明確にすることが大事ですね。

ビッグデータは大量のデータなので、統計データとしては、優れています。それゆえ、シミュレーションシステムでの活用は、一番応用性が高くなります。もう一方で、言語処理やパーソナライズを得意とするAI（人工知能）とも相性がよいです。たとえば、AI（人工知能）に、あるビッグデータを与えます。それによって、言語を習得してもらい、Twitterに、その分野で自然な言語で、自動的につぶやきを投稿してもらう、といったシステムを構築することも可能です。これは応用として、LINEのメッセージAPIを活用すれば、ECである商品をX回買ってくれたユーザーには、ありがとうクーポンを、自然な言葉で送る！ということもできます。こうなってくると販売促進目的でのビッグデータの活用にもなるわけです。

しかし、ビッグデータを活用したサービスをいきなり開発するのは難易度が高いです。それはビッグデータがないからです。クロトでは、そこに注目しました。ロケットスタートできるよう、ビッグデータを集められるよう、サービス展開できないか？と思ったのです。そして、試行錯誤の末、ビッグデータの収集サービスを提供開始しました。

このビッグデータ収集サービスは、すでにクロトで集めている提供データで、ビッグデータが成立するなら、これを活用したり、それでも足りない場合は、スクレイピングシステムを活用したりして、データを集めてきます。もちろん、御社にて、構築しているシステムによって、収集するデータ、提供するデータ形式は異なります。それゆえ、どのようにデータを提供するか、などは、お打ち合わせなどを通して、展開することが可能です。

このビッグデータ収集におけるメリットは、やはり、サービスインを速めることができるかもしれない、という点。スピードです。また、すでに収集しているデータを活用することができるかもしれないのも、メリットです。過去のデータは、場合によっては収集できないケースもあります。そういった情報をもっていることも、ビッグデータ提供サービスのメリットの１つとなります。

ビッグデータとニュースでよく聞くから、自社でも、何かできないかと思っているというweb担当者の方。持っているデータによっては、AIのシステムを開発することで、既存ビジネスの効率化や、既存ビジネスのCV促進につながるかもしれません。こういったデータマーケティングは、今後どんどん増えていきます。そして、自社データを活用すれば、結果的に、他社差別化を実現できる大きな武器になっていきます。ビッグデータは、かけあわせが重要になってきますので、データマーケティングをロジカルに強化していきたいのであれば、ぜひ、ご相談ください。感覚的に、このバナーの色は赤がいい、というようなwebデザインと異なり、データマーケティングは、XXという答えが、これだけのデータの中にいっぱいあります、というドキュメントに残せて、上司や会社側に説明がしやすいマーケティングになります。失敗しても、感覚の問題ではなく、どこかにロジカルな問題があることが因数分解できるようになっています。ビッグデータは、そういったマーケティングを戦略的に行うための、１つの素材、コンテンツなのです。ご相談は無料です。ぜひお問い合わせください。

ビッグデータ収集、ビッグデータとAIの活用概要

【実施の流れ】
・ビッグデータ活用の目的や情報の形式、御社の課題などを教えてください
・方法やデータについてご提案
・ビックデータ収集基盤の構築
・進行方法などのすりあわせ
・お見積り、データの提供

・データマーケティングとして、以下のような施策はいかがでしょうか？

　　１．人に沿って、広告配信できるDSP広告

　　２．LINEログイン機能(LINEのソーシャルログイン)の活用

　　３．ダイナミック広告で具体的に御社商品を広告PR

　　４．AI対応！LINEやチャットボットでの商品レコメンド

　　５．エリアマーケティング×PUSH型広告

※ホームページ制作の詳細→ホームページ制作ならクロト

ビッグデータデータ集積の方法

良くも悪くも、ビックデータは、その名のとおり、大量のデータを扱います。それゆえ、インフラ基盤は重要です。

スピードのあるGCP（Googleのクラウドサービス）を活用していくと、この辺は解決できるかもですが、もう一方で、どうデータを集めるの？という話もあります。

ここでは、データを集める方法について、代表的な方法を紹介します。

データストリーミング
リアルタイムで生成されるデータを収集する方法です。
センサー、IoTデバイス、SNSなどからのデータをストリーミング処理技術を用いて即座に集積します。
見守り、監視などの動画データが多いです。
バッチ処理
大量のデータを一定の時間間隔でまとめて処理する方法です。
データを定期的に収集し、後で分析するためにストレージに保存します。
たとえば、上記の取得した動画データ。
日付や名前などを、リスト化、テキスト化するのに、活用するのが、バッチ処理ですね。
データウェアハウス
様々なソースからデータをもらってきて、統合し、分析や報告のために整理する方法で、いわゆる、ローデータを取り込むなどで、データを集めます。
そのため、データウェアハウスの本質は、データベースです。
データを集積し、クエリや分析に最適化された形式で保存します。
これぞ、データ解析！というものですね。
APIやWebスクレイピング
外部のデータソースから情報を収集する方法です。APIを利用してデータを取得したり、Webサイトから必要な情報を自動的に収集する手法です。
Google mapやビジネスプロフィールのAPI、metaのインスタのAPIなどが、これに値しますね。