ログインして、InfoQのすべての体験をアンロックしましょう！お気に入りの著者やトピックの最新情報を入手し、コンテンツと交流し、限定リソースをダウンロードできます。 “AI活用”をキーワードに「AIを使い倒し／使いこなす」企業の最前線をお届けし ...

この文章は以下のことをデモンストレーションする。 Scala で Spark Structured Streaming の example アプリケーションを作る。 ビルドツールは sbt を使用する。Java と Maven より Scala と sbt に詳しいので… ビルドのコマンドライン操作も記録する。 作った Spark Structured ...

チュートリアル:HDInsight で Apache Kafka による Apache Spark 構造化ストリーミングを使用する このチュートリアルでは、Azure HDInsight で Apache Kafkaによる Apache Spark 構造化ストリーミングを使用してデータを読み書きする方法について説明します。 Spark 構造化 ...

前回の前編の続きです。 Spark 4.0 previewをもとに、spark 4系では何が変わるのか整理したいと思います。 今回は、以下の内容について紹介していきます。Structured Streaming周りの内容が中心です。 Streaming State Data Source Structured Streamingの状態データ（State Data)に ...

『Databricks──ゼロから触ってわかった！Databricks非公式ガイド』 クラウド時代の分析基盤を “体験的” に学べるベストセラー入門書。 Databricksの操作、SQL／DataFrame、Delta Lakeの基本、ノートブック操作などを 初心者でも迷わず進められる構成で解説してい ...

サンフランシスコ - 2022 年 6 月 28日 - 「データとAIの民主化」を推進するDatabricks(*1) 社（本社：米国カリフォルニア州サンフランシスコ、以下：データブリックス）は、Delta Lake、MLflow、Apache Spark™ をはじめとする人気の高いデータと AI のオープンソース ...