tool/script zum entfernen doppelter Zeilen?

Dieses Thema im Forum "Mac OS - Unix & Terminal" wurde erstellt von below, 30.11.2006.

  1. below

    below Thread Starter MacUser Mitglied

    Beiträge:
    13.276
    Zustimmungen:
    1.086
    Mitglied seit:
    15.03.2004
    Hallo,

    ich suche ein Kommandozeilentool / Script zum entfernen von doppelten Zeilen. Wenn möglich sollte die Ordnung der Zeilen eingehalten werden. Ist aber auch nicht sooo schlimm wenn nicht

    Danke

    Alex
     
  2. maceis

    maceis MacUser Mitglied

    Beiträge:
    16.693
    Zustimmungen:
    602
    Mitglied seit:
    24.09.2003
    Wie genau definierst Du "doppelte Zeilen"?
    Grundsätzlich ließe sich das mit einem sed-, awk oder Perlskript lösen.
     
  3. below

    below Thread Starter MacUser Mitglied

    Beiträge:
    13.276
    Zustimmungen:
    1.086
    Mitglied seit:
    15.03.2004
    Wie kann man denn "gleiche Zeilen" unterschiedlich definieren? Wenn strcmp dazu "0" sagt ;)

    ab
    ab
    abc
    abcd
    abc

    Da oben kommt "ab" und "abc" doppelt vor. Die will ich weg haben.

    Alex
     
  4. oneOeight

    oneOeight MacUser Mitglied

    Beiträge:
    47.819
    Zustimmungen:
    3.798
    Mitglied seit:
    23.11.2004
    erst ein "sort" und dann "uniq"
     
  5. maceis

    maceis MacUser Mitglied

    Beiträge:
    16.693
    Zustimmungen:
    602
    Mitglied seit:
    24.09.2003
    z. B. indem man festlegt,
    - ob damit beliebige identische Zeilen gemeint sind oder nur solche, die unmittelbar aufeinander folge
    - ob leere Zeilen und solche mit nur Whitespaces als "gleich" gewertet sollen
    - ob Leerzeilen überhaupt berücksichtigt werden sollen
    etc.
     
  6. below

    below Thread Starter MacUser Mitglied

    Beiträge:
    13.276
    Zustimmungen:
    1.086
    Mitglied seit:
    15.03.2004
    Jede beliebige identische Zeilen

    Mir relativ egal, leere Zeilen würde ich sowieso in einem extra schritt entfernen.

    Aber ich denke mit sort und uniq ist mir schonmal geholfen ;)

    Danke

    Alex
     
Die Seite wird geladen...

Diese Seite empfehlen