Packer mit Multicore- / Multithreading-Unterstützung ???

X-File

X-File

Mitglied
Thread Starter
Dabei seit
10.07.2004
Beiträge
75
Reaktionspunkte
2
Hi all,

mir ist wieder mal aufgefallen, daß nur ein Kern ausgelastet ist, wenn ich ein ZIP erstelle :motz:
Also habe ich mir mal die Packerwelt angesehen und etliche ausprobiert und siehe da: Die machen das alle so. Ganz schön blöd...

Kennt also jemand einen Packer (der auf jeden Fall auch ZIP können sollte), der tatsächlich mehr als einen CPU-Kern beim komprimieren nutzt?

Für Tips wäre ich echt dankbar!



LG... X-File
 
Es gibt für die Shell ein paar Packer, die parallel können, wie z.B. pigz. Das kann man sich u.a. via Brew installieren.
 
agrajag schrieb:
Es gibt für die Shell ein paar Packer, die parallel können, wie z.B. pigz. Das kann man sich u.a. via Brew installieren.
Zum Vergrößern anklicken....
pigz kann gzip und gzip ist so weit ich gesehen habe multi-threading-fähig, zip in der Regel nicht so weit ich es gesehen habe. rar ist auch multi-threading-fähig, lzma/lzma2 (voreingestelltes Kompressionsverfahren des 7z-Formats) auch.
 
Auch auf einem File?
 
Wow, vielen Dank für die schnellen Antworten :upten:

Ich hab gleich mal pigz via MacPorts installiert und das rennt auch, ist aber natürlich nicht so comfi wie "Rechts-Klick - ZIP erstellen". Und zum Packen ganzer Verzeichnisse braucht mal wieder sowas wie tar.

Geht schon, aber gehofft hatte ich eher auf sowas wie BetterZIP (das übrigens NICHT multithreading-fähig ist, hatte ich getestet).



Trotzdem auf jeden Fall vielen Dank für diese und weitere Tips!!!
 
im terminal kannst auch rar 5 nutzen, musst allerdings wohl das 5 format nehmen, damit es multi-threaded ist.
 
Kurzer Benchmark: Via pigz rund 20GB gepackt mit "pigz -r --best --keep --zip /Users/Desktop/Test-VHD" auf rund 8GB ZIP-Datei in ca. 4,5 Minuten

Das ganze mit dem internen OSX-Zipper: 24 Minuten
 
TGY schrieb:
Bei einem File sehr nur bis zu 100% (1 Kern), bei mehreren Dateien/Ordnern werden alle Kerne benutzt.
Zum Vergrößern anklicken....

Hm, komisch, habe gerade mit BetterZIP einen Ordner mit Unterordnern und mehreren Dutzend Files gepackt.
Zuerst sind alle Kerne angesprungen, aber nach ein paar Sekunden war es doch nur noch einer ?!?


Grüße... X-File
 
Ich teste auch gerade. Nachdem ich "20GB auf 8GB in 4,5min" gelesen habe... Hast du normales zip oder 7z genommen? Und was genau hast du komprimiert, dass du damit soviel einsparen konntest?

Also, ich nehme mal 8 Ordner mit Musik (150 Dateien, ~2,5GB) aus meiner itunes-Bibliothek auf der externen Festplatte, wähle in Betterzip 7z mit bester Kompression aus (ohne Bereinigen). Dann Rechtsklick und von den 4 echten / 8 virtuellen Kernen werden immer so 3 bis 4 bei 40-50% gezeigt, CPU insgesamt für den 7z Prozess um die 160%, 3 Threads. Aber es dauert einfach wesentlich länger als dein Benchmark (>10min).

Vielleicht installiert ich mir pigz auch mal, aber eigentlich ich habe keine Lust, die Apple Developer Tools oder Homebrew/Fink etc. zu installieren. Es gibt zwar noch rudix....
 
TGY schrieb:
Ich teste auch gerade. Nachdem ich "20GB auf 8GB in 4,5min" gelesen habe... Hast du normales zip oder 7z genommen? Und was genau hast du komprimiert, dass du damit soviel einsparen konntest?
Zum Vergrößern anklicken....
Habe auch etwas mit pigz, zip und rar getestet und es scheint eben nicht die beste Lösung zu geben. Auf dem alten MBP late 08 ist rar trotz multi-threading teils deutlich langsamer als zip dafür ist bei den hier getesteten Daten die rar-Datei kleiner als die zip-Datei.

Vielleicht installiert ich mir pigz auch mal, aber eigentlich ich habe keine Lust, die Apple Developer Tools oder Homebrew/Fink etc. zu installieren. Es gibt zwar noch rudix....
Zum Vergrößern anklicken....
Für pigz brauchst du nur Xcode mit entsprechenden Tools.

Sollte Interesse bestehen kann ich die nächsten Tage eine sehr einfache Anleitung posten wie man etliche CLI-Tools (zip, pigz, rar, ...) einbindet so dass man mittels CTRL+Klick (oder Rechtsklick) auf Dateien/Ordner diese entpacken bzw. packen kann.
 
  • Gefällt mir
Reaktionen: Meilenstein, TGY und X-File
TGY schrieb:
Ich teste auch gerade. Nachdem ich "20GB auf 8GB in 4,5min" gelesen habe... Hast du normales zip oder 7z genommen? Und was genau hast du komprimiert, dass du damit soviel einsparen konntest?
Zum Vergrößern anklicken....

Das war eine Virtual Harddisk (VHD) mit Win 8.1 drauf. Ich habe aus Kompatibilitätsgründen jetzt mal ZIP genommen.
Vorteil ist natürlich, daß ich hier nur ein File habe. Bei einem Ordner mit 1000 MP3s bekommst Du (ohne TAR) halt auch 1000x MP3.zip :hum:
Der Fehler ist mir beim rumprobieren passiert, als ich einen Dreher im Pfad hatte und mir der ganze Inhalt des Desktops einzeln gezippt wurde, inkl. aller Ordnerinhalte.

Homebrew ist selbst relativ schlank, aber um die DevTools kommst Du natürlich nicht drumrum...
 
TGY schrieb:
Aber es dauert einfach wesentlich länger als dein Benchmark
Zum Vergrößern anklicken....

Ach so, vielleicht sollte ich noch anmerken, daß ich gerade auf einem 2010er Mac Pro, aufgerüstet auf 12 Kerne, teste.
Deswegen ist es ja so ärgerlich, wenn nur ein Kern genutzt wird ;-)
 
terz3 schrieb:
Sollte Interesse bestehen kann ich die nächsten Tage eine sehr einfache Anleitung posten wie man etliche CLI-Tools (zip, pigz, rar, ...) einbindet so dass man mittels CTRL+Klick (oder Rechtsklick) auf Dateien/Ordner diese entpacken bzw. packen kann.
Zum Vergrößern anklicken....

*Handheb* :jaja:
 
  • Gefällt mir
Reaktionen: X-File
So, ich habe jetzt mal so ein Dienst-PlugIn gebastelt, das via TAR/PIGZ einen kompletten Ordner zippt, so wie man das haben möchte.

Das Ganze funktioniert, allerdings sieht das resultierende ZIP komisch aus, wenn man mit Quicklook oder BetterZIP reinschaut: Es wird eine enthaltene Datei "-" angezeigt, keine Ordnerstruktur.
Aber beim Auspacken über den OS X-eigenen Packer (rechts-klick -> "Öffenen mit: Archivierungsprogramm.app") funktioniert aber alles perfekt :d

Wer das auch mal testen will: Hier der Link zum fertigen PlugIn.
Zum Ausprobieren die Datei entpacken und in /Library/Services/ oder ~/Library/Services/ legen.


LG... X-File


PS: PIGZ muß auf eurem Rechner schon vorhanden sein, das Binary habe ich nicht beigepackt...
 
  • Gefällt mir
Reaktionen: Bozol
X-File schrieb:
Das Ganze funktioniert, allerdings sieht das resultierende ZIP komisch aus, wenn man mit Quicklook oder BetterZIP reinschaut: Es wird eine enthaltene Datei "-" angezeigt, keine Ordnerstruktur.
Zum Vergrößern anklicken....
Probier doch 7za (CLI-Version von 7-zip), soweit ich getestet habe kann 7za ganze Ordner zip-en.
 
Du musst dich einloggen oder registrieren, um hier zu antworten.
Zurück
Oben Unten