まず、必要なデータを用意しましょう。前回のデータに加えてpi2.txt, pi3.txtファイルを用意します。これらのデータもラズベリーパイ等IoTデバイスで計測した冷蔵庫などの温度データだと考えてください。pi1.txt,pi2.txt,pi3.txtファイルの内容は以下のようになっ ...

まず処理するデータを準備します。これまでは正常に記録されたデータを扱いました。しかし、IoTデバイスなどで計測したデータはデータそのものが記録されていない場合があります。欠損データというやつですが、AWKなどでデータ処理する前に、これらの ...

本連載では第一線のPerlハッカーが回替わりで執筆していきます。今回のハッカーは、 デジタルガレージにてデータ分析のお仕事をしている下野寿之さんで、 テーマは 「表形式データを操るUNIXシェル型Perl製コマンド群」 です。各コマンドの実体はPerlで ...

前回の （1） はこちらから。 クロス集計表の作成 ─⁠─crosstable crosstableの基本機能は、 クロス集計表を出力することです。Excelのピボットテーブルとほぼ同じですが、 Excelだとマウス操作を伴うので再現性に難があります。シェル芸やSQLでは実現困難です。

逆に同じIDを持つ行をひとまとめにしたい場合は、本バージョンで新設された[行を結合]コマンドを利用すればよい。[行を結合]ダイアログでキーにする列（重複を調べる列）と結合する列を指定すれば、CSVの入れ子化が可能となる。結合されたデータを配列にする際の区切り文字や、配列の ...

このようなデータの場合でもpasteコマンドを使えば列単位に整形することができます。今回は3つの機器からのデータで3列にすれば良いので以下のようにコマンドを入力します。pasteコマンドの後の-がポイントで、列の数だけ指定します。保存する場合は ...