1. Spark SQL最適化の基本とアーキテクチャ理解 Databricks上でのデータ変換処理は、PySparkだけでなくSpark SQLを用いて宣言的に実装するのが一般的です。 ただし、単にSQLを書くのではなく、「どう最適化されるか」を理解して記述することがパフォーマンスの ...

電通デジタルのエンゲージメントソリューション事業部の小林です。 先日、Databricks社の「Databricks Certified Data Engineer Associate」という資格に合格したので、合格体験記としてまとめました。 本記事では、同じく合格を目指す方向けに勉強方法や参考情報をお ...

CData Software Japan 合同会社（本社：アメリカノースカロライナ州、日本オフィス：宮城県仙台市、代表社員 職務執行者：疋田 圭介、以下CData）は、2024年11月14日（木）に開催されるデータブリックス･ジャパン株式会社主催のイベント『Data + AI World Tour Tokyo ...

Databricksは、カルフォルニア州立大学バークレー校において、CEO兼共同設立者のアリ・ゴディシ(Ali Ghodsi)氏をはじめ、データとAIなどを研究するOSSの分散処理フレームワーク「Apache Spark」のクリエイター20人により、2013年にサンフランシスコで創業した。