CSVを調査したりするのはawkを使いますが、ちょっとプログラムチックな事をするときは
Perlワンライナーを使います。
$F[2],$F[6]がキー項目で、重複データが含まれるちょっとおかしなデータから重複をフィルタリングしたい場合のワンライナー。
- Fオプションを//で囲むとうまくいかなく焦った。なぜだろう。
$ cat test.csv | perl -F'\t' -anle 'BEGIN{@keys=();} {$key = "$F[2]$F[6]"; if ( !defined $keys{$key} ) {print "$_"; $keys{$key}=1;}}'
|