tool/script zum entfernen doppelter Zeilen?

Dieses Thema im Forum "Mac OS X - Unix & Terminal" wurde erstellt von below, 30.11.2006.

  1. below

    below Thread Starter MacUser Mitglied

    Beiträge:
    13.297
    Zustimmungen:
    1.086
    MacUser seit:
    15.03.2004
    Hallo,

    ich suche ein Kommandozeilentool / Script zum entfernen von doppelten Zeilen. Wenn möglich sollte die Ordnung der Zeilen eingehalten werden. Ist aber auch nicht sooo schlimm wenn nicht

    Danke

    Alex
     
  2. maceis

    maceis MacUser Mitglied

    Beiträge:
    16.647
    Zustimmungen:
    596
    MacUser seit:
    24.09.2003
    Wie genau definierst Du "doppelte Zeilen"?
    Grundsätzlich ließe sich das mit einem sed-, awk oder Perlskript lösen.
     
  3. below

    below Thread Starter MacUser Mitglied

    Beiträge:
    13.297
    Zustimmungen:
    1.086
    MacUser seit:
    15.03.2004
    Wie kann man denn "gleiche Zeilen" unterschiedlich definieren? Wenn strcmp dazu "0" sagt ;)

    ab
    ab
    abc
    abcd
    abc

    Da oben kommt "ab" und "abc" doppelt vor. Die will ich weg haben.

    Alex
     
  4. oneOeight

    oneOeight MacUser Mitglied

    Beiträge:
    47.126
    Zustimmungen:
    3.680
    MacUser seit:
    23.11.2004
    erst ein "sort" und dann "uniq"
     
  5. maceis

    maceis MacUser Mitglied

    Beiträge:
    16.647
    Zustimmungen:
    596
    MacUser seit:
    24.09.2003
    z. B. indem man festlegt,
    - ob damit beliebige identische Zeilen gemeint sind oder nur solche, die unmittelbar aufeinander folge
    - ob leere Zeilen und solche mit nur Whitespaces als "gleich" gewertet sollen
    - ob Leerzeilen überhaupt berücksichtigt werden sollen
    etc.
     
  6. below

    below Thread Starter MacUser Mitglied

    Beiträge:
    13.297
    Zustimmungen:
    1.086
    MacUser seit:
    15.03.2004
    Jede beliebige identische Zeilen

    Mir relativ egal, leere Zeilen würde ich sowieso in einem extra schritt entfernen.

    Aber ich denke mit sort und uniq ist mir schonmal geholfen ;)

    Danke

    Alex
     
Die Seite wird geladen...

Diese Seite empfehlen