tool/script zum entfernen doppelter Zeilen?

  1. below

    below Thread Starter MacUser Mitglied

    Mitglied seit:
    15.03.2004
    Beiträge:
    13.289
    Zustimmungen:
    1.086
    Hallo,

    ich suche ein Kommandozeilentool / Script zum entfernen von doppelten Zeilen. Wenn möglich sollte die Ordnung der Zeilen eingehalten werden. Ist aber auch nicht sooo schlimm wenn nicht

    Danke

    Alex
     
    below, 30.11.2006
    #1
  2. maceis

    maceis MacUser Mitglied

    Mitglied seit:
    24.09.2003
    Beiträge:
    16.696
    Zustimmungen:
    602
    Wie genau definierst Du "doppelte Zeilen"?
    Grundsätzlich ließe sich das mit einem sed-, awk oder Perlskript lösen.
     
    maceis, 30.11.2006
    #2
  3. below

    below Thread Starter MacUser Mitglied

    Mitglied seit:
    15.03.2004
    Beiträge:
    13.289
    Zustimmungen:
    1.086
    Wie kann man denn "gleiche Zeilen" unterschiedlich definieren? Wenn strcmp dazu "0" sagt ;)

    ab
    ab
    abc
    abcd
    abc

    Da oben kommt "ab" und "abc" doppelt vor. Die will ich weg haben.

    Alex
     
    below, 30.11.2006
    #3
  4. oneOeight

    oneOeight MacUser Mitglied

    Mitglied seit:
    23.11.2004
    Beiträge:
    48.160
    Zustimmungen:
    3.885
    erst ein "sort" und dann "uniq"
     
    oneOeight, 30.11.2006
    #4
  5. maceis

    maceis MacUser Mitglied

    Mitglied seit:
    24.09.2003
    Beiträge:
    16.696
    Zustimmungen:
    602
    z. B. indem man festlegt,
    - ob damit beliebige identische Zeilen gemeint sind oder nur solche, die unmittelbar aufeinander folge
    - ob leere Zeilen und solche mit nur Whitespaces als "gleich" gewertet sollen
    - ob Leerzeilen überhaupt berücksichtigt werden sollen
    etc.
     
    maceis, 30.11.2006
    #5
  6. below

    below Thread Starter MacUser Mitglied

    Mitglied seit:
    15.03.2004
    Beiträge:
    13.289
    Zustimmungen:
    1.086
    Jede beliebige identische Zeilen

    Mir relativ egal, leere Zeilen würde ich sowieso in einem extra schritt entfernen.

    Aber ich denke mit sort und uniq ist mir schonmal geholfen ;)

    Danke

    Alex
     
    below, 30.11.2006
    #6
Die Seite wird geladen...
Ähnliche Themen - tool script zum
  1. Merlok
    Antworten:
    26
    Aufrufe:
    1.417
    Olivetti
    28.02.2017
  2. fantaeiner
    Antworten:
    10
    Aufrufe:
    639
    Hausbesetzer
    25.01.2017
  3. Konze
    Antworten:
    17
    Aufrufe:
    2.212
    Konze
    04.10.2009
  4. MacMännchen
    Antworten:
    2
    Aufrufe:
    5.995
    maceis
    08.11.2007
  5. srmcore
    Antworten:
    1
    Aufrufe:
    534
    srmcore
    15.01.2007