Concept Whitening bringt Licht in die Black Box: Neue Technik ermöglicht Einblick in Deep Learning Modelle
Tiefe neuronale Netze können dank ihres extrem großen und komplizierten Netzes von Parametern wunderbare Leistungen vollbringen. Doch ihre Komplexität ist auch ihr Fluch: Das Innenleben neuronaler Netze ist oft ein Rätsel - selbst für ihre Schöpfer.
Parallel zur Ausweitung von Deep Learning in verschiedenen Bereichen und Anwendungen ist das Interesse an der Entwicklung von Techniken gewachsen, die versuchen, neuronale Netzwerke durch die Untersuchung ihrer Ergebnisse und gelernten Parameter zu erklären. Aber diese Erklärungen sind oft fehlerhaft und irreführend. Zudem bieten sie wenig Anhaltspunkte, um mögliche Fehler zu beheben, die während des Trainings in Deep Learning Modelle eingebettet werden.
In einer Arbeit, die in der Fachzeitschrift Nature Machine Intelligence veröffentlicht wurde, schlagen Wissenschaftler der Duke University "Concept Whitening" vor. Diese Technik kann dabei helfen, neuronale Netzwerke in Richtung des Lernens spezifischer Konzepte zu lenken, ohne die Leistung zu beeinträchtigen. Concept Whitening ermöglicht Interpretierbarkeit von Deep Learning Modellen anstatt in Millionen von trainierten Parametern nach Antworten zu suchen. Die Technik, die auf faltungsneuronale Netze angewendet werden kann, zeigt vielversprechende Ergebnisse und kann große Auswirkungen darauf haben, wie wir die zukünftige Forschung in der künstlichen Intelligenz wahrnehmen.
Post-hoc-Erklärungen von neuronalen Netzwerken
Viele Deep Learning Erklärungstechniken sind post hoc, d. h. sie versuchen, einem trainierten neuronalen Netzwerk einen Sinn zu geben, indem sie seine Ausgabe und seine Parameterwerte untersuchen. Obwohl diese Methoden hilfreich sind, behandeln sie Deep Learning Modelle immer noch wie Black Boxes und zeichnen kein eindeutiges Bild von der Funktionsweise neuronaler Netzwerke.
Das Ziel des Concept Whitening ist es, neuronale Netzwerke zu entwickeln, deren latenter Raum auf die für die Aufgabe relevanten Konzepte ausgerichtet ist. Dieser Ansatz macht das Deep Learning Modell interpretierbar und erleichtert es, die Beziehungen zwischen den Merkmalen eines Eingabebildes und der Ausgabe des neuronalen Netzes herauszufinden.
Einbrennen von Konzepten in neuronale Netze
Deep Learning Modelle werden in der Regel auf einem einzelnen Datensatz mit annotierten Beispielen trainiert. Durch das Aufhellen von Konzepten wird ein zweiter Datensatz eingeführt, der Beispiele für die Konzepte enthält. Diese Konzepte sind mit der Hauptaufgabe des KI-Modells verbunden.
Beim Concept Whitening durchläuft das Deep Learning Modell zwei parallele Trainingszyklen. Während das neuronale Netzwerk seine Gesamtparameter abstimmt, um die Klassen in der Hauptaufgabe zu repräsentieren, passt das Concept Whitening spezifische Neuronen in jeder Schicht an, um sie mit den im Konzeptdatensatz enthaltenen Klassen abzugleichen.
Das Ergebnis ist ein entwirrter latenter Raum, in dem die Konzepte in jeder Schicht sauber getrennt sind und die Aktivierung der Neuronen mit ihren jeweiligen Konzepten übereinstimmt; das neuronale Netzwerk wird weniger anfällig für offensichtliche Fehler.
Die Architektur des Concept Whitening lässt sich einfach in bestehende Deep Learning Modelle integrieren.
Mehr dazu unter