今回は、 ImpalaにおけるI/ Oの高速化技法について説明します。 前回説明したように、 Impalaの実行エンジンは可能な限りメモリ上で処理をすることでアドホッククエリのレイテンシを下げ、 スループットを向上させる、 という設計方針で開発されています。

今回から3回に渡って、 Hadoop上で動作するデータ処理ソフトウェアの1つであるApache Impala （incubating) （以下、 Impala） について、 以下の流れで説明していきます。 Impala概要 （今回） クエリ実行時の並列化の仕組み （第18回） I/ O処理における高速化の仕組み ...