ログインして、InfoQのすべての体験をアンロックしましょう！お気に入りの著者やトピックの最新情報を入手し、コンテンツと交流し、限定リソースをダウンロードできます。 “AI活用”をキーワードに「AIを使い倒し／使いこなす」企業の最前線をお届けし ...

この文章は以下のことをデモンストレーションする。 Scala で Spark Structured Streaming の example アプリケーションを作る。 ビルドツールは sbt を使用する。Java と Maven より Scala と sbt に詳しいので… ビルドのコマンドライン操作も記録する。 作った Spark Structured ...

『Databricks──ゼロから触ってわかった！Databricks非公式ガイド』 クラウド時代の分析基盤を “体験的” に学べるベストセラー入門書。 Databricksの操作、SQL／DataFrame、Delta Lakeの基本、ノートブック操作などを 初心者でも迷わず進められる構成で解説してい ...

チュートリアル:HDInsight で Apache Kafka による Apache Spark 構造化ストリーミングを使用する このチュートリアルでは、Azure HDInsight で Apache Kafkaによる Apache Spark 構造化ストリーミングを使用してデータを読み書きする方法について説明します。 Spark 構造化 ...

DatabricksのStructured Streamingは、Apache Sparkのストリーミング処理をベースに、バッチ処理と同じコードでリアルタイムデータを扱えるのが特徴です。継続的に到着するイベントデータをDataFrameやDatasetとして統一的に処理でき、SQLやSpark APIを活用して集計・変換 ...

あけましておめでとうございます。 例年、 Apache HadoopやApache Sparkを中心に並列分散処理ミドルウェアの動向や展望についてご紹介しています。 今年は NTTデータに所属する 岩崎正剛 （Hadoopコミッタ⁠）⁠、 猿田浩輔 （Sparkコミッタ⁠）⁠、 鯵坂明 （Hadoopコ ...