Diese Plattform dreht sich rund um das Thema Künstliche Intelligenz. Sie haben bereits verschiedene Modelle kennengelernt – zum Beispiel für das Klassifizieren von Objekten in digitalen Bildern. In diesem Bereich der Wissensdrehscheibe beginnen wir unsere Diskussion mit einem realen Pferd. Hans, oder auch clever Hans, war ein Orlow-Traber und lebte vor dem zweiten Weltkrieg. Was dieses Pferd berühmt machte, war die Tatsache, dass es (vermeintlich) rechnen konnte. Gestellte mathematische Aufgaben wurden gelöst und das Ergebnis wurde in Form von Hufschlägen präsentiert – und diese waren richtig. Das Problem war nur, dass Hans sich auf den Fragensteller konzentrierte und Gesichtsausdrücke gut lesen konnte. Er klopfte so lange, bis er eine Änderung im Gesicht erkannte. Das spannende hierbei ist: die Antwort ist richtig – aber die Gründe dafür sind es nicht.
Abbildung 1: Der clevere Hans und sein Besitzer (Quelle: https://de.wikipedia.org/wiki/Kluger_Hans)
Sie fragen sich nun berechtigt, ob Sie einem falschen Link gefolgt sind und wirklich auf der Wissensdrehscheibe AIAV sind und nicht auf einem Biologieblog gelandet sind. NEIN – der kluge Hans (clever Hans) hat einen bleibenden Eindruck hinterlassen und wurde zu einem Begriff in der Statistik und damit auch im maschinellen Lernen. Bengio erklärt in seiner Arbeit, dass eine „künstliche Intelligenz“ die Welt verstehen muss, und dass dies nur durch die Aufdeckung realer fundamentaler Zusammenhänge möglich ist (Bengio, 2012). Was bedeutet das für hochkomplexe blackbox-Modelle? Im folgenden Video wird das clever Hans Problem im Kontext der Künstlichen Intelligenz diskutiert.
Was bedeutet das nun konkret für die Künstliche Intelligenz und maschinelles Lernen im industriellen Kontext? Kann man hier von „betrügenden“ Modellen sprechen? Nein, so schlimm ist es nicht. Bleiben wir bei dem Beispiel der convolutional neural networks (CNNs). Wie funktionieren diese Modelle? Sehen wir uns die Architektur vereinfacht an:
Abbildung 2: Darstellung eines einfachen VGG16 CNNs (Quelle: https://medium.com/@mygreatlearning/what-is-vgg16-introduction-to-vgg16-f2d63849f615). Die farbigen Blöcke sind unterschiedliche Arten von Layern. ReLU ist die definierte Aktivierungsfunktion.
Dieses CNN ist ein hochflexibles und nichtlineares Modell, das versucht, relevante Information aus Bildern zu lernen. Und das kann es ziemlich gut. Diese Brillanz ist es auch, welche zum clever Hans Problem führt.
Das Ziel des Netzwerks ist es, eine richtige Klassifizierung zu erlernen. Also vereinfacht ausgedrückt soll das Netzwerk einen Weg finden, um von den vielen Pixeln im Bild eine Aussage bezüglich Bildinhalt zu treffen (z.B.: in diesem Bild ist ein Auto zu sehen). Da Bilder nur aus Zahlenwerten bestehen, ist das keine einfache Aufgabe. Die Struktur des CNNs ist so ausgelegt, dass es sehr „flexibel“ ist. Diese Flexibilität ist es aber auch, die das clever Hans Problem ermöglicht. Das CNN wird „supervised“ trainiert. Das heißt, dass Informationen zum Inhalt eines jeden Bildes im Trainingsdatensatz vorhanden sind. Das Netzwerk wird mit diesem Wissen im Trainingsprozess verbessert. Das Netzwerk lernt die Bildinhalte so zu nutzen, um eine richtige Aussage zu generieren. Ob hier reale Zusammenhänge gelernt werden oder nicht – das kann das CNN nicht wissen. Sehen wir uns folgendes Beispiel an, um das Problem zu visualisieren. Auf der linken Seite ist ein Eingangsbild, und auf der rechten Seite zeigt die Heatmap welche Bildbereiche für die Klassifizierung genutzt wurden.
Abbildung 3: Visualisierung des celver Hans Effekts (Lapushkin, 2019). Das obere Bild wird aus den falschen Gründen richtig klassifiziert. Sobald das Wasserzeichen entfernt wurde (untere Reihe) wird das Bild falsch klassifiziert.
Das CNN klassifiziert das Bild nur dann richtig, wenn sich ein Wasserzeichen im linken unteren Eck befindet. Wie ist das möglich? Es hat sich herausgestellt, dass im Trainingsdatensatz Bilder mit Pferden Wasserzeichen beinhalten. Diese sind „eindeutiger“ als die Variabilität von Pferden. Also hat das CNN gelernt, Pferde anhand des Wasserzeichens zu klassifizieren.
Ist das Betrügen? Müssen wir nun Angst vor solchen Modellen haben? Nein, so schlimm ist es nicht. Das CNN wird im Training optimiert. Das bedeutet, dass alle Parameter im Netzwerk anhand des „Ziels“ des Users so adaptiert werden, um dieses Ziel möglichst gut zu erreichen. Ob diese Optimierung sinnvoll ist oder nicht, weiß das CNN nicht. Ob die Gewichtungen des Netzwerks demnach in realen Zusammenhängen resultieren (z.B.: Kopfform des Pferdes) ist unbekannt und kann auch nicht während des Trainings erzwungen werden (eine Anmerkung an dieser Stelle: Es gibt eine Forschungsarbeit, die via clever Hans Effekt das Netzwerk in erklärbare Bereiche bringen will).
Was können Sie nun machen, um solche Effekte zu verhindern?
Seien Sie kritisch: Sie sind typischerweise die Domänenspezialistin/der Domänenspezialist und können einschätzen, ob die Performance der Modelle realistisch ist.
Visualisieren Sie: Nutzen Sie Visualisierungsmöglichkeiten für Ihre Modelle wie LRP, GradCAM oder SpRAy. (siehe unser Use Case)
Analysieren Sie die Trainingsdaten: Vielleicht erkennen Sie schon einen Bias.
Eine Anmerkung zum Schluss: Dieses Problem ist bezieht sich nicht nur auf CNNs.