tool/script zum entfernen doppelter Zeilen?

[below]

Hallo,

ich suche ein Kommandozeilentool / Script zum entfernen von doppelten Zeilen. Wenn möglich sollte die Ordnung der Zeilen eingehalten werden. Ist aber auch nicht sooo schlimm wenn nicht

Danke

Alex

 

[maceis]

Wie genau definierst Du "doppelte Zeilen"?
Grundsätzlich ließe sich das mit einem sed-, awk oder Perlskript lösen.

 

[below]

Wie kann man denn "gleiche Zeilen" unterschiedlich definieren? Wenn strcmp dazu "0" sagt

ab
ab
abc
abcd
abc

Da oben kommt "ab" und "abc" doppelt vor. Die will ich weg haben.

Alex

 

[oneOeight]

erst ein "sort" und dann "uniq"

 

[maceis]

Wie kann man denn "gleiche Zeilen" unterschiedlich definieren?
...

z. B. indem man festlegt,
- ob damit beliebige identische Zeilen gemeint sind oder nur solche, die unmittelbar aufeinander folge
- ob leere Zeilen und solche mit nur Whitespaces als "gleich" gewertet sollen
- ob Leerzeilen überhaupt berücksichtigt werden sollen
etc.

 

[below]

z. B. indem man festlegt,
- ob damit beliebige identische Zeilen gemeint sind oder nur solche, die unmittelbar aufeinander folge

Jede beliebige identische Zeilen

- ob leere Zeilen und solche mit nur Whitespaces als "gleich" gewertet sollen
- ob Leerzeilen überhaupt berücksichtigt werden sollen
etc.

Mir relativ egal, leere Zeilen würde ich sowieso in einem extra schritt entfernen.

Aber ich denke mit sort und uniq ist mir schonmal geholfen

Danke

Alex