先日作成したIF関数を使ったこちらのSQL。 詳細な分析をしている中で改良の必要性が生じたのですが、COALESCE関数を使って無事解決することができました。今回はCOALESCE関数を紹介します。 やりたいこと 先日作ったクエリは、2つのカラムで日時情報(回答 ...
SparkやDatabricksで大規模データを処理する際、処理の効率を大きく左右するのが「パーティション数」です。データは複数のパーティションに分割され並列処理されますが、分割数が多すぎるとオーバーヘッドが増え、少なすぎると並列度が下がり処理が遅く ...