9.3Datenkompression * 

Damit Daten weniger Platz auf dem Datenträger einnehmen, werden sie komprimiert. Bei Netzwerkverbindungen ist die logische Konsequenz, dass weniger Daten natürlich auch schneller übertragen werden. Über alle Plattformen hinweg haben sich Standards gebildet. Zwei Kompressionsstandards sollen an dieser Stelle beschrieben werden.

compress/uncompress, gzip/gunzip

Seitdem der LZW-Algorithmus im Juni 1984 im IEEE-Journal beschrieben wurde, gibt es in jedem Unix-System die Dienstprogramme compress und uncompress, die verlustfrei Daten zusammenpacken und wieder auspacken.[ 91 ](Interessanterweise wurde danach der LZW-Algorithmus von der Sperry Company patentiert – dies zeigt eigentlich, wie unsinnig das Patentrecht in den USA ist.)gzip und gunzip[ 92 ](Gibt es sogar für den C64: http://www.cs.tut.fi/~albert/Dev/gunzip/) sind freie Unix-Tools von compress/uncompress und unterliegen der GNU Public License. Das Format enthält eine zyklische Überprüfung bezüglich defekter Daten. Die Endung einer Datei, die mit gzip gepackt ist, wird mit .gz angegeben, wobei die Endung unter compress nur .Z ist. gzip behält die Rechte und Zeitattribute der Dateien bei.

ZIP

Das Dienstprogramm zip bündelt in einem Archiv mehrere Dateien und kann die hierarchische Struktur der Ordner erhalten. Auf jede Datei im ZIP-Archiv lässt sich anschließend individuell zugreifen. Programme wie 7-Zip können unter Windows ZIP-Dateien verarbeiten. Obwohl zip und gzip von der Anwendung her unterschiedlich arbeiten – gzip stellt einen Filter dar, der einen Datenstrom komprimiert –, verwenden sie denselben Algorithmus. Beide basieren auf Algorithmen, die im RFC 1952 definiert sind.

Es gibt auch unkomprimierte ZIP-Archive (allerdings selten). Ein Beispiel dafür waren die Java-Archive des frühen Internet Explorers. Die größte Datei war unkomprimiert 5,3 MB groß, gepackt wäre sie 2 MB leicht. Sie wurde aus Gründen der Geschwindigkeit nicht gepackt, da sich die Daten aus unkomprimierten Archiven schneller lesen lassen, weil keine Prozessorleistung für das Entpacken aufzuwenden ist.

Das Archivformat und Archivierungsprogramm tar

Das unter Unix-Systemen bekannte Dienstprogramm tar[ 93 ](»tar« steht für tape archiver, was übersetzt Bandarchivierer heißt.) bündelt mehrere Dateien zu einer neuen Datei, ohne sie zu komprimieren. Das Ergebnis, ein TAR-Archiv, wird oft anschließend mit dem Tool gzip bzw. bzip2 gepackt. Die Endung ist dann .tar.Z. Werden mehrere Daten erst in einem TAR-Archiv zusammengefasst und dann gepackt, ist die Kompressionsrate höher, als wenn jede Datei einzeln komprimiert wird. Der Grund ist simpel: Das Kompressionsprogramm kann die Redundanz besser ausnutzen. Der Nachteil ist freilich, dass für eine Datei gleich das ganze TAR-Archiv ausgepackt werden muss.

 

9.3.1Java-Unterstützung beim Komprimieren 

Unter Java ist ein Paket java.util.zip eingerichtet, um mit komprimierten Dateien zu operieren. Das Paket bietet zur Komprimierung zwei allgemein gebräuchliche Formate: gzip/gunzip zum Komprimieren bzw. Dekomprimieren von Datenströmen und ZIP zum Behandeln von Archiven und zum Komprimieren von Dateien. Auch wird das eigene Archiv-Format JAR (Java Archive) durch das Paket java.util.jar unterstützt. JAR ist eine Erweiterung des ZIP-Formats. Speziell Klassendateien (.class-Dateien) in Java-Archiven können durch java.util.jar.Pack200 noch höher komprimiert werden.

Ingesamt finden sich in der Java-Standard-API Klassen zum

• Packen/Entpacken von Bytefeldern,

• Behandeln von ZIP-/JAR-Archiven und zum

• (De-)Komprimieren von Datenströmen.

Für JAR und das Pack200-Format gibt es im bin-Verzeichnis vom JDK auch entsprechende Kommandozeilenwerkzeuge, namentlich jar, pack200 und unpack200.

Unterstützung von tar und bzip2 von Drittanbietern

TAR-Archive werden nicht unterstützt, doch gibt es eine Reihe freier Implementierungen, unter anderem von der Apache Software Foundation: http://tutego.de/go/tarcvs; sie definieren Ein- und Ausgabeströme. Für bzip2 bietet die Apache Foundation Unterstützung über das Paket Commons Compress (http://tutego.de/go/bzip2). Neben der Unterstützung durch das Paket java.util.zip für bzip2-Ströme und ZIP-Dateien ist TrueZIP (http://truezip.java.net/) eine sehr interessante Open-Source-Bibliothek, die die Archivarbeit stark vereinfacht, etwa erlaubt, Einträge in ZIP-Dateien hinzuzufügen. Mit NIO.2 lässt sich auf ZIP-Archiven wie auf einem Dateisystem arbeiten, doch implementiert TrueZip neben ZIP noch weitere Containerformate, für die das JDK aktuell keine Unterstützung mitbringt. TrueZIP integriert sich nahtlos als FileSystem-Provider in Java 7.

 

9.3.2Daten packen und entpacken 

Im Mittelpunkt der Kompression/Dekompression stehen die Klassen java.util.zip.Deflater (komprimieren) und java.util.zip.Inflater (entpacken). Dort sind die zentralen Methoden deflate(…) und inflate(…) zu finden. Ein Beispiel zeigt die Nutzung anschaulich:

Listing 9.3com/tutego/insel/io/zip/InflaterDeflaterDemo.java, main()

Dem Deflater kann im Konstruktor eine Kompressionsqualität mitgegeben werden; ohne Angabe ist das DEFAULT_COMPRESSION. Als Nächstes werden dem Deflater die zu komprimierenden Daten übergeben – das übernimmt setInput(…), eine Methode, die es auch überladen gibt, um nur einen Ausschnitt eines Arrays beachten zu können. Die finish()-Methode signalisiert, dass die Kompression mit den gegebenen Daten endet. deflate(…) startet die eigentliche Kompression und schreibt das Ergebnis in das übergebene Byte-Array. Die Rückgabe der Methode sagt etwas über die komprimierten Bytes aus. Die Feldgröße muss für das komprimierte Ergebnis groß genug sein, andernfalls wird das Ergebnis einfach abgeschnitten, und die Rückgabe ist gleich der Feldgröße, was wenig nützlich ist.

Das Entpacken ist im Prinzip genauso zu verstehen. Dem Inflater ist nicht die Kompressionsqualität zu übergeben, die steckt im komprimierten Feld selbst. Die Eingabe setzt setInput(…), wobei auch diese Methode wieder überladen ist. Da wir hier nur einen Teil des Puffers betrachten, ist die Methode mit dem Feld, Start- und Endwert genau richtig. Abschließend packt inflate(…) aus und setzt das unkomprimierte Ergebnis in das Feld, das der Methode übergeben wurde. Die Rückgabe ist die Anzahl entpackter Bytes. end() gibt Ressourcen frei. Damit folgt die Ausgabe:

Die Klassen Deflater und Inflater sind einfach gestrickt und behandeln nur Arrays, sind aber keine Datenströme (InputStream/OutputStream), mit denen Entwickler oft Daten verarbeiten. Daher bietet die Java-Bibliothek spezielle Stream-Klassen, die im Hintergrund mit den Deflater/Inflater-Klassen arbeiten.

 

9.3.3Datenströme komprimieren 

Zum Packen und Entpacken von Strömen wollen wir uns im Folgenden das populäre gzip-Kompressionsformat und die Datenströme java.util.zip.GZIPInputStream (ein spezieller FilterInputStream) und java.util.zip.GZIPOutputStream (ein FilterOutputStream) genauer anschauen.

Abbildung 9.1UML-Diagramm mit den GZIPXXXStream-Klassen

Daten packen

Das Paket java.util.zip bietet zwei Unterklassen von DeflaterOutputStream (eine Unterklasse von FilterOutputStream), die das Schreiben komprimierter Daten ermöglichen: GZIPOutputStream und ZipOutputStream. Um Daten unter dem gzip-Algorithmus zu packen, müssen wir einfach einen vorhandenen Datenstrom zu einem GZIPOutputStream erweitern. Die Klasse ZipOutputStream dient ZIP-Archiven, denen wir uns später widmen werden.

Abbildung 9.2Klassendiagramm mit Methoden aus GZIPOutputStream und ihrer Oberklasse

• GZIPOutputStream(OutputStream out)
  Erzeugt einen packenden Datenstrom mit der voreingestellten Puffergröße von 512 Byte.

• GZIPOutputStream(OutputStream out, int size)
  Erzeugt einen packenden Datenstrom mit einem Puffer der Größe size.

gzip-Kommandozeilenprogramm

Das folgende Programm soll eine Datei nach dem gzip-Format packen. Es verhält sich in der Arbeitsweise ähnlich wie das unter Unix bekannte Programm gzip:

Listing 9.4com/tutego/insel/io/zip/gzip.java

Das Programm prüft zuerst, ob ein Argument auf der Kommandozeile vorhanden ist. Aus diesem Argument konstruiert es einen Pfad mit der Endung .gz. Den OutputStream dekoriert anschließend der GZIPOutputStream. Mit Files.copy(…) bekommen wir automatisch den Pfad geöffnet, alle Bytes ausgelesen und in den Ausgabestrom kopiert. Wir müssen also nicht von Hand aus dem Eingabestrom Block für Block per read(…) auslesen und per write(…) in den Ausgabestrom übertragen, sondern diese Funktionalität steckt schon in der copy(…)-Methode.

Daten entpacken

Um die Daten zu entpacken, müssen wir nur den umgekehrten Weg beschreiten. Zum Einsatz kommt hier eine der beiden Unterklassen von DeflaterInputStream (einer direkten Unterklasse von FilterInputStream). Wieder wickeln wir einen GZIPInputStream um einen InputStream und lesen dann daraus.

• GZIPInputStream(InputStream in, int size)
  Erzeugt einen auspackenden Datenstrom mit einem Puffer der Größe size.

• GZIPInputStream(InputStream in)
  Erzeugt einen auspackenden Datenstrom mit der voreingestellten Puffergröße von 512 Byte.

gunzip-Kommandozeilenprogramm

Zum Java-Programm gzip wollen wir eine zweite Anwendung hinzunehmen, die sich so verhält, wie das unter Unix bekannte Kommandozeilenprogramm gunzip:

Listing 9.5com/tutego/insel/io/zip/gunzip.java

Endet die Datei auf .gz, so entwickeln wir daraus den herkömmlichen Dateinamen. Endet sie nicht auf dieses Suffix, so nehmen wir einfach an, dass die gepackte Datei diese Endung besitzt, der Benutzer diese aber nicht angegeben hat. Nach dem Zusammensetzen des Dateinamens holen wir von der gepackten Datei einen InputStream und packen einen GZIPInputStream darum. Das Kopieren der Bytes aus dem entpackenden Eingabestrom in die Ausgabe übernimmt die praktische Files.copy(…)-Methode.

 

9.3.4ZIP-Archive 

Der Zugriff auf die Daten eines ZIP-Archivs unterscheidet sich schon deshalb vom Zugriff auf die Daten eines gzip-Streams, weil diese in Form eines Archivs vorliegen. Unter ZIP wird jede eingebettete Datei einzeln und unabhängig komprimiert. Wurden etwa über TAR vorher alle Dateien in ein unkomprimiertes Archiv übernommen, kann der Packalgorithmus gzip beim Packen dieser Dateisammlung bessere Ergebnisse erzielen, als wenn – wie beim ZIP-Verfahren – alle Dateien einzeln gepackt würden.

Das ursprüngliche ZIP-Format behandelt nur Dateien bis 4 GB. Diese Beschränkung behebt ZIP64, was Java ebenfalls ab der Version 7 unterstützt.

Die Klassen ZipFile und ZipEntry

Objekte der Klasse ZipFile repräsentieren ein ZIP-Archiv. Die Einträge im ZIP-Archiv sind Dateien und Ordner, die Java durch die Klasse ZipEntry darstellt. Liegt einmal ein ZipEntry-Objekt vor, können ihm durch verschiedene Methoden Dateiattribute entlockt werden, beispielsweise die Originalgröße, das Kompressionsverhältnis, das Datum, wann die Datei angelegt wurde und weitere Informationen. Auch kann ein Datenstrom erzeugt werden, sodass sich eine komprimierte Datei im Archiv lesen und schreiben lässt.

Um auf die Dateien eines Archivs zuzugreifen, muss zunächst ein ZipFile-Objekt erzeugt werden:

• ZipFile(String name) throws ZipException, IOException

• ZipFile(File file) throws ZipException, IOException
  Öffnet ein ZIP-Archiv zum Lesen über den Dateinamen oder das File-Objekt.

• ZipFile(File file, int mode) throws ZipException, IOException
  Öffnet ein ZIP-Archiv mit dem gegebenen File-Objekt. Der Modus ZipFile.OPEN_READ oder ZipFile.OPEN_READ|ZipFile.OPEN_DELETE bestimmt den Zugriff auf das Archiv.

Eine ZipException ist eine Unterklasse von IOException.

Die im ZIP-Archiv abgelegten Dateien oder Verzeichnisse, also die ZipEntry-Einträge, können auf zwei Arten ermittelt werden:

• Die Methode entries() von ZipFile liefert eine Aufzählung von ZipEntry-Einträgen. Genauer gesagt ist der Rückgabetyp Enumeration<? extends ZipEntry>.

• Ist der Name der komprimierten Datei oder des Ordners bekannt, liefert getEntry(String) sofort ein ZipEntry-Objekt.

• ZipEntry getEntry(String name)
  Liefert eine Datei aus dem Archiv. Liefert null, wenn kein Eintrag mit dem Namen existiert.

• Enumeration<? extends ZipEntry> entries()
  Gibt eine Aufzählung des ZIP-Archivs in Form von ZipEntry-Objekten zurück.

• Stream<? extends ZipEntry> stream()
  Liefert einen Stream mit ZipEntry-Objekt. Neu in Java 8.

• String getName()
  Liefert den Pfadnamen des ZIP-Archivs.

• int size()
  Gibt die Anzahl der Einträge im ZIP-Archiv zurück.

• void close() throws IOException
  Schließt das ZIP-Archiv.

Eine IllegalStateException ist bei getEntry(String) und entries() die Folge, wenn das ZIP-Archiv schon geschlossen wurde.

ZipEntry und die Datei-Attribute

Ein ZipEntry-Objekt repräsentiert eine Datei oder ein Verzeichnis eines Archivs. Diese Datei kann gepackt (dafür ist die Konstante ZipEntry.DEFLATED reserviert) oder auch ungepackt sein (angezeigt durch die Konstante ZipEntry.STORED). Auf dem Objekt können verschiedene Attribute gesetzt und abgefragt werden. Dadurch lassen sich Statistiken über Kompressionsraten und Weiteres ermitteln:

Listing 9.6com/tutego/insel/io/zip/ZipListDemo.java, main()

Die Ausgabe könnte zum Beispiel sein:

• String getName()
  Liefert den Namen des Eintrags.

• void setTime(long time)
  Ändert die Modifikationszeit des Eintrags.

• long getTime()
  Liefert die Modifikationszeit des Eintrags oder –1, wenn diese nicht angegeben ist.

• void setSize(long size)
  Setzt die Größe der unkomprimierten Datei. Wir werden mit einer IllegalArgumentException bestraft, wenn die Größe kleiner 0 oder größer 0xFFFFFFFF ist.

• long getSize()
  Liefert die Größe der unkomprimierten Datei oder –1, falls diese unbekannt ist.

• long getCrc()
  Liefert die CRC-32-Checksumme der unkomprimierten Datei oder –1, falls diese unbekannt ist.

• void setMethod(int method)
  Setzt die Kompressionsmethode entweder auf STORED oder auf DEFLATED.

• int getMethod()
  Liefert die Kompressionsmethode. Die Rückgabe ist entweder STORED, DEFLATED oder –1, falls unbekannt.

• void setExtra(byte[] extra)
  Setzt das optionale Zusatzfeld für den Eintrag. Übersteigt die Größe des Zusatzfeldes 0xFFFF Byte, dann wird eine IllegalArgumentException ausgelöst.

• byte[] getExtra()
  Liefert das Extrafeld oder null, falls es nicht belegt ist.

• void setComment(String comment)
  Setzt einen Kommentar-String, der 0xFFFF Zeichen lang sein darf (sonst wird eine IllegalArgumentException ausgelöst).

• String getComment()
  Gibt den Kommentar oder null zurück.

• long getCompressedSize()
  Liefert die Dateigröße nach dem Komprimieren oder –1, falls diese unbekannt ist. Ist der Kompressionstyp ZipEntry.STORED, dann stimmt diese Größe natürlich mit dem Rückgabewert von getSize() überein.

• boolean isDirectory()
  Liefert true, falls der Eintrag ein Verzeichnis ist. Der Name der Datei endet mit einem Slash (/).

Seit Java 8 lässt sich auch der Zeitstempel eines ZipEntry auslesen und ändern. Die neuen Methoden sind:

• ZipEntry setCreationTime(FileTime time)

• FileTime getCreationTime()

• ZipEntry setLastModifiedTime(FileTime time)

• FileTime getLastModifiedTime()

• ZipEntry setLastAccessTime(FileTime time)

• FileTime getLastAccessTime()

Der Typ java.nio.file.attribute.FileTime repräsentiert Dateizeiten und fällt etwas aus dem Rahmen, da hier java.util.zip mit java.nio gemischt wird, aber so ist das heutzutage, wo sich APIs weiterentwickeln.

Auch überschreibt ZipEntry die Methoden toString() (entspricht getName()), hashCode() (entspricht getName().hashCode()) und clone() aus Object, equals(Object) aber merkwürdigerweise nicht; eine Hashcode-Implementierung ohne Gleichheitstest ist quasi wertlos.

Dateien auspacken

Um Dateien auszupacken, bietet die Java-Bibliothek zwei Möglichkeiten. Die erste ist, mittels getInputStream(ZipEntry) ein InputStream-Objekt zu holen und dann auf den Inhalt der Datei zuzugreifen (es ist bemerkenswert, dass getInputStream(ZipEntry) keine Methode von ZipEntry ist, sondern von ZipFile). Die andere Variante arbeitet über ZipInputStream, einen Weg, den wir hier nicht weiter beschreiben.

• InputStream getInputStream(ZipEntry entry) throws IOException
  Gibt einen Eingabestrom zurück, mit dem auf den Inhalt einer Datei zugegriffen werden kann. Es folgt eine IllegalStateException, wenn das ZIP-Archiv schon geschlossen wurde.

Ein Archiv Datei für Datei entpacken

Damit ein Java-Programm das gesamte ZIP-Archiv entpackt, lässt sich mit der Aufzählung von entries() durch das Archiv laufen und für jeden Eintrag eine Datei oder ein Verzeichnis erzeugen. Das Speichern soll eine eigene Methode extractEntry(ZipFile, ZipEntry, String) übernehmen, die zunächst erkennt, ob es sich bei der Datei im ZIP-Archiv um ein Verzeichnis handelt oder nicht:

• Liefert das ZipEntry-Objekt bei isDirectory() ein true, dann legen wir nur Ordner mittels Files.createDirectories() an und keine Datei.

• Steht das ZipEntry für eine Datei, dann kann diese in einem Unterordner stehen, und es müssen ebenfalls die nötigen Ordner angelegt werden. Nachdem für ein Ziel ein OutputStream angelegt wurde, lassen sich alle ZipFile-Bytes von getInputStream(ZipEntry) kopieren.

So sieht das fertige Programm aus:

Listing 9.7com/tutego/insel/io/zip/unzip.java

ZIP-Archiv aufbauen und Dateien hinzufügen

Das Hinzufügen von Dateien zu einem neuen ZIP-Archiv unterscheidet sich ein wenig vom Lesen der Dateien, da hier die Klasse ZipFile nicht benötigt wird. Im Mittelpunkt steht die Klasse ZipOutputStream mit zwei Schritten:

1. Ein ZipOutputStream wird aufgebaut, etwa über new ZipOutputStream(Files.newOutputStream(zipfilePath)).

2. new ZipEntry(String) oder new ZipEntry(ZipEntry) erzeugt einen Archiv-Eintrag, und putNextEntry(ZipEntry) verbindet diesen mit dem ZipOutputStream. Nach dem Schreiben schließt closeEntry() das Hinzufügen ab.

Erzeugt ZipOutputStream eine Datei, lässt sich die Kompressionsrate über die Methode setLevel(int) einstellen. Der Level ist eine Zahl zwischen 0 und 9. Die Kompression übernimmt ein Deflater-Objekt, das im DeflaterOutputStream (das ist die Oberklasse von ZipOutputStream) verwaltet wird. So ruft ZipOutputStream lediglich vom Deflater die Methode setLevel(int) auf.

 

9.3.5JAR-Archive 

JAR-Archive sind mit ZIP-Archiven vergleichbar, mit dem Unterschied, dass sie eine Manifest-Datei beinhalten. Die Arbeitsweise und der Zugriff auf die Einträge sind daher denen der ZIP-Dateien sehr ähnlich. Die Klasse java.util.jar.JarFile repräsentiert ein JAR-Archiv, und ein java.util.jar.JarEntry ist ein Eintrag in dem Archiv. JarFile ist eine Unterklasse von ZipFile, und JarEntry ist eine Unterklasse von ZipEntry.