Unsupervised Domain Adaptation

Allgemeine Informationen

Gruppenprojekt für den Kurs Deep Learning des Masterstudiengangs Informatik an der Universität Trient.

Beschreibung & Zielsetzung

Das Hauptaugenmerk dieses Projekts liegt auf der Entwicklung, dem Training und der Evaluierung eines Deep-Learning-Frameworks auf einem Standarddatensatz von [Unsupervised Domain Adaptation (UDA)] (https://en.wikipedia.org/wiki/Domain_adaptation).

Der Testdatensatz, auf dem die vorgeschlagenen Methoden getestet werden, ist der Adaptiope, ein groß angelegter, vielfältiger UDA-Datensatz mit 3 Domänen: synthetische, Produkt- und reale Daten.

Die implementierten Netzwerke werden trainiert:

• auf überwachte Weise in der Quelldomäne;
• auf unbeaufsichtigte Weise auf der Zieldomäne.

Der Gewinn, d. h. die Höhe der Verbesserung, die wir bei Verwendung des Rahmens für die Domänenanpassung im Vergleich zu dem Ergebnis erhalten, das wir ohne jeglichen Ansatz für die Domänenanpassung erhalten, wird zur Bewertung der Qualität der Strategie für die Domänenanpassung verwendet. Der Gewinn kann mathematisch wie folgt dargestellt werden:

Dies wurde in beiden Richtungen zwischen den beiden ausgewählten Domänen durchgeführt, wobei als Bewertungsmaßstab die Validierungsgenauigkeit auf der Zieldomäne verwendet wurde:

Wobei:

• $TP$ steht für echte Positive, d. h. Fälle, in denen der Algorithmus die positive Klasse korrekt vorhergesagt hat.
• $TN$ steht für echte Negative, d.h. Fälle, in denen der Algorithmus die negative Klasse richtig vorhergesagt hat.
• $FP$ steht für falsch positive Ergebnisse, d. h. Fälle, in denen Proben der positiven Klasse zugeordnet werden, obwohl sie zur negativen Klasse gehören. (Auch bekannt als “Fehler vom Typ I”.)
• $FN$ steht für falsch negativ, d. h. für Fälle, in denen Proben der negativen Klasse zugeordnet werden, obwohl sie der positiven Klasse angehören. (Auch bekannt als “Fehler vom Typ II”.)

Schließlich werden untere und obere Schranken berechnet, indem die Netze nur auf einer bestimmten Domäne trainiert werden (Quelldomäne für eine untere Schranke, Zieldomäne für eine obere Schranke), so dass wir einige Überlegungen zu den Leistungen unserer Architekturen anstellen können.

Domänenanpassung

Um einen formalen Hintergrund zu schaffen, stützen wir uns auf die Definition von Domain Adaptation von [Gabriela Csurka et.al] (https://arxiv.org/pdf/1702.05374.pdf), die im folgenden Unterabschnitt vorgestellt wird.

Dieser Prozess wird als Transferlernen bezeichnet.

Außerdem wird im Bereich der Domänenanpassung zwischen zwei Szenarien unterschieden:

1. Unüberwachte Domänenanpassung, bei der Beschriftungen nur für die Quelldomäne verfügbar sind.
2. Halbüberwachte Bereichsanpassung, bei der nur eine begrenzte Anzahl von Zielproben beschriftet ist.

Vorgeschlagene Lösungen

Bei der Lösung von Problemen der Deep Domain Adaptation gibt es drei Hauptansätze:

1. Diskrepanzbasierte Methoden: Diese Methoden gleichen die Darstellung der Domänendaten mit Hilfe statistischer Maße ab.
2. Adversarial-basierte Methoden: Sie beinhalten einen Domänendiskriminator, um Domänenkonfusion zu erzwingen.
3. Rekonstruktionsbasierte Methoden: Diese Methoden verwenden eine zusätzliche Rekonstruktionsaufgabe, um eine domäneninvariante Merkmalsdarstellung zu gewährleisten.

Dieses Repository enthält Lösungen für jede dieser Methoden sowie eine benutzerdefinierte Lösung, die zwei von ihnen kombiniert: diskrepanzbasierte und rekonstruktionsbasierte (DSN + MEDM).

Aufgrund der begrenzten Verfügbarkeit von Beispielen hat das Training eines Netzwerks von Grund auf keine zufriedenstellenden Ergebnisse geliefert. Daher beginnen wir mit einem Merkmalsextraktor, der auf dem ImageNet Objekterkennungsdatensatz trainiert wurde.

Um die vorgeschlagenen Methoden gründlich zu untersuchen, bieten wir außerdem die Möglichkeit, die Domänenanpassungsmethode mit zwei verschiedenen Backbone-Netzwerken zu evaluieren: AlexNet und ResNet18.

Netzwerk-Architekturen

Um die Herausforderung der Domänenanpassung effektiv zu bewältigen, haben wir verschiedene Netzwerkarchitekturen implementiert, die aus einschlägigen Forschungsarbeiten übernommen und auf unsere Anforderungen zugeschnitten wurden.

Unser primäres Ziel ist es, wie in der Einleitung erwähnt, die Leistung (Gewinn) einiger der wichtigsten Ansätze im Bereich der Domänenanpassung zu bewerten, die in zwei der bekanntesten Architekturen für faltbare neuronale Netze integriert sind: AlexNet” und “ResNet”.

In diesem Repository decken wir ab:

• Deep Domain Confusion Networks
• Domain Adversarial Neural Network
• Domain Separation Networks
• Rotation loss Network
• Entropy Minimization vs. Diversity Maximization for Domain Adaptation
• Unser Versuch, MEDM mit DANN zu kombinieren
• Ein anderer Ansatz, MEDM mit DSN zu kombinieren

Ergebnisse

In diesem Projekt haben wir verschiedene Architekturkategorien für Domänenanpassungstechniken erforscht, darunter Diskrepanz-basiert, Adversarial-basiert und Rekonstruktions-basiert. Die effektivsten Ansätze waren DANN und MEDM.

MEDM” ist ein vielseitiger Ansatz, der sich nahtlos in jede Architektur integrieren lässt und sich durch zwei einfache Entropieverluste auszeichnet, die zu stabilem Training und beeindruckender Leistung führen. Im Gegensatz dazu ist DANN anfälliger für Hyperparameter-Variationen und führt oft zu instabilem Training.

Bei unseren Experimenten haben wir festgestellt, dass die Kombination von DSN und MEDM sich als effektiv erwiesen hat, während die Kombination von MEDM und DANN keine konsistente Verbesserung brachte.

Die Anpassung von der Produktdomäne an die reale Welt ist schwieriger, bietet aber ein größeres Verbesserungspotenzial, da mehr Spielraum zwischen der Basislinie und der oberen Grenze besteht. Umgekehrt gewährleistet der Übergang von der realen Welt zu Produktbildern eine höhere Genauigkeit, da die Netze zuvor auf “ImageNet” trainiert worden sind. Folglich ist die Lücke zwischen der Basislinie und der realen Welt kleiner, was signifikante Fortschritte schwieriger macht.

Nachdem wir sowohl AlexNet als auch ResNet18 als Backbone-Architekturen getestet hatten, stellten wir fest, dass ResNet18 nicht nur höhere Werte für die Basislinie und die obere Grenze aufwies, sondern dass alle Domänenanpassungsstrategien auch wesentlich größere Gewinne erzielten.

Die t-SNE-Diagramme zeigen deutlich, dass unsere endgültige Lösung effektiv relevante Merkmale aus beiden Domänen extrahiert und gleichzeitig eine genaue Klassifizierung gewährleistet. Die Verteilungen ähneln sehr stark den optimalen Verteilungen, die durch das Modell “ResNet18” mit der oberen Grenze dargestellt werden.

Plots der Verteilungsanpassung

Wir haben Diagramme eingefügt, die veranschaulichen, wie die Merkmale der Ziel- und Quelldomäne mithilfe von Dimensionalitätsreduktionstechniken verteilt werden.

Wir stellen zum Beispiel die “Produkt-zu-Realwelt”-Domänenanpassung dar und konzentrieren uns dabei auf das leistungsstärkste Modell, nämlich “DSN” + “MEDM”. Um eine effektive Darstellung der Verteilungsanpassung zu ermöglichen und den wichtigsten Graphen für unser Projekt zu konsolidieren, stellen wir zwei Graphen vor:

1. Die Verteilung der Merkmale, die vom neuronalen Backbone-Netz (in beiden Fällen ResNet18) gelernt wurden, ohne die Klassifizierungs- oder Engpass-Schichten.
2. Die vorhergesagte Klassenverteilung.

Anmerkung: Beide Diagramme werden auf der Grundlage der Zieldomäne (reale Welt) erstellt, zu der der Ansatz “DSN+MEDM” keinen Zugang hat.

Im Idealfall soll unser Domänenanpassungsmodell eine ähnliche Leistung erzielen wie das Modell der oberen Grenze, das die beste Verallgemeinerung sowohl für die Quell- als auch für die Zieldomäne bietet. Daher ist die Merkmalsverteilung des Modells ein wertvoller Maßstab für die Bewertung der Qualität der Domänenanpassungstechnik.

Verteilung der Merkmale der oberen Schranke im Testsatz:

Obergrenzen-Klassenverteilung auf der Testmenge:

Wir erwarten, dass sowohl die Klassen- als auch die Merkmalsverteilung eng mit den Zielverteilungen übereinstimmen, da das Modell eine bemerkenswerte Leistung erzielt hat.

DSN + MEDM Features Verteilung auf dem Testset:

Wie die nachstehenden Klassenverteilungen zeigen, clustert der Klassifikator des Modells die Beispiele effektiv und behält dabei eine hohe Genauigkeit bei. Die Cluster sind gut definiert und voneinander getrennt, auch für die Beispiele aus dem Zielbereich, die korrekt klassifiziert werden.

DSN + MEDM-Klassenverteilung auf der Testmenge:

In beiden Fällen lieferte die PCA keine signifikanten Einblicke in die Ergebnisse, da eine lineare Transformation möglicherweise zu einfach ist, um hochdimensionale Daten auf eine niedriger dimensionale Einbettung zu reduzieren.

Leistung

Hier sind die Ergebnisse, die wir mit der kleineren Version von Adaptiope erzielt haben:

Mitwirkende

• Samuele Bortolotti
• Luca De Menego