米大企業の7割が導入する「Databricks」とは何者か？ 評価額20兆円の「AI向けデータ基盤」

最近、「Databricks」（データブリックス）という名前を耳にする機会が増えてきました。まるでIT業界の隠れた巨人といった趣ですが、実は世界の大企業の7割が利用し、その評価額はなんと約20兆円にも上る、とてつもない会社なんです。

Databricksが何をしている会社かというと、簡単に言えば「AI（人工知能）が賢くなるために必要なデータのお世話をする会社」です。AIが何かを判断したり、新しいものを生み出したりするには、大量のデータが不可欠ですよね。例えば、あるAIが顧客の好みを予測するとしましょう。そのためには、過去の購買履歴や閲覧データなど、膨大な情報をAIに「食べさせる」必要があります。

しかし、この「データを食べさせる」作業が意外と大変なんです。企業が持っているデータは、形も種類もバラバラで、そのままではAIが扱えません。まるで、色々な国の料理がごちゃ混ぜになったバイキング会場のようなものです。AIがきちんと食事をするためには、それぞれの料理を分類し、食べやすい形に整える必要があります。

Databricksは、まさにこの「データ整理整頓からAIへの供給まで」を一手に引き受ける「データ基盤」を提供しています。彼らの強みは、オープンソースの「Apache Spark」（アパッチ・スパーク）という技術をベースにしている点です。Sparkは、とてつもなくたくさんのデータを高速で処理できる技術で、例えるなら、巨大な倉庫に散らばった商品を、あっという間に仕分けして必要な場所に届けるスーパーロボットのようなものです。このSparkの生みの親たちが2013年に創業したのがDatabricksなんです。

彼らのサービスを使うと、企業はバラバラだったデータを一箇所に集めて、きれいに整理し、AIがすぐに使える形に加工できます。そして、その加工されたデータを元に、AIが顧客の行動を予測したり、新しい製品を開発したり、業務を効率化したりと、様々な「賢い仕事」ができるようになるわけです。まるで、散らかった書斎を整理整頓して、すぐに必要な本が見つかるようにする、優秀な秘書のような役割を果たしていると言えるでしょう。

Databricksの登場は、企業がAIを活用する上で、これまで大きな壁となっていた「データ準備」の課題を大きく解決しました。これにより、より多くの企業がAIを導入しやすくなり、私たちの生活にもAIによる恩恵がさらに広がる可能性があります。例えば、よりパーソナルなサービスが受けられたり、医療の診断精度が上がったり、交通渋滞が緩和されたりといった変化が期待できます。彼らは、AIの進化を裏側から支える、まさに縁の下の力持ちのような存在と言えるでしょう。