Dateien zusammenfassen und um Duplikate bereinigen

April

17

2009
Bild des Benutzers Frank Holldorff
Geschrieben von Frank Holldorff
abgelegt in

Ein Kunde wünschte, dass wir unerwünschte Bots von seinem System fernhalten. Also habe ich ein wenig gesucht und entsprechende Listen mit Spam-Harvester etc gefunden. Leider mehr als eine Liste und keine war wirklich vollständig.

Ich wollte das nun nicht händisch abgleichen. Linux sei Dank gibt es ja einige Konsolenbefehle, die mir die Arbeit abgenommen haben.

Zuerst fasse ich die Dateien mit dem Befehl cat zu einer Datei zusammen:

cat datei01.txt datei02.txt datei03.txt > datei04.txt

Im Anschluss wird die neue Datei erst sortiert und dann die Dubletten herausgelöscht:

sort datei04.txt|uniq > datei05.txt

So einfach geht es mit Linux in der Konsole. Smile

Trackback URL für diesen Beitrag:

http://blog.erdfisch.de/trackback/231

Neueste Kommentare

Letzte Tweets

  • [Blog] Business und Community-Spirit: Die DrupalCon Kopenhagen 2010 http://is.gd/eSVBD — 3 Tage 3 Stunden ago
  • [Blog] Darstellungs-Effekte aus CSS3 werden alltagstauglich – Teil 2 http://is.gd/eSUny — 3 Tage 4 Stunden ago
  • @dereine und nun auch @sanduhrs berichten von der #drupalcon #cph #dugrn — 4 Tage 19 Stunden ago
  • 11 Mann/Frauen und es müssen Stühle dazu gestellt werden. #dugrn — 4 Tage 19 Stunden ago
  • 9 Mann, äh und Frauen sind heute da und es fehlen noch mindestens zwei Mann. Es wird eng am Tisch. #dugrn — 4 Tage 19 Stunden ago
Weiter