鈍足ランナーのIT日記

走るのが好きな5流のITエンジニアのブログ。

趣味の範囲は広いけど、どれも中途半端なクソブロガー楽しめるWebアプリを作ってあっと言わせたい。サーバーサイドPerl(Mojolicious)、クライアントサイドVue.js。Arduinoにも触手を伸ばす予定。

csvファイルにあるキー項目に重複あった場合。出力しない

CSVを調査したりするのはawkを使いますが、ちょっとプログラムチックな事をするときは
Perlワンライナーを使います。

$F[2],$F[6]がキー項目で、重複データが含まれるちょっとおかしなデータから重複をフィルタリングしたい場合のワンライナー

  • Fオプションを//で囲むとうまくいかなく焦った。なぜだろう。
sh >

$ cat test.csv | perl -F'\t' -anle 'BEGIN{@keys=();} {$key = "$F[2]$F[6]"; if ( !defined $keys{$key} ) {print "$_"; $keys{$key}=1;}}'
|