Deep Learning

Geschichtete Repräsentation von Bildern auf mehreren Abstraktionsebenen

Links: Eingangsschicht (input layer) mit in diesem Fall drei Eingangsneuronen. Rechts: Ausgabeschicht mit den Ausgangsneuronen, in diesem Bild zwei. Die mittlere Schicht wird als verborgen bezeichnet (hidden layer), da ihre Neuronen weder Eingänge noch Ausgänge sind. Hier ist nur eine verborgene Schicht zu sehen, aber viele Netzwerke haben deutlich mehr. Die notwendige Anzahl von Ebenen, ab denen man von „Deep Learning“ spricht, ist nicht genau festgelegt.

Deep Learning ist ein Teilbereich des maschinellen Lernens, bei dem künstliche neuronale Netze mit vielen Schichten (tiefen Netzen) verwendet werden, um komplexe Muster in großen Datenmengen zu erkennen und zu lernen.

Überblick

Im Gegensatz zu flachen Netzwerken, die nur eine oder zwei Schichten haben, sind tiefe neuronale Netze in der Lage, hierarchische Merkmale aus den Daten zu extrahieren. Jede Schicht des Netzes transformiert die Eingabe auf eine Art und Weise, die es dem Netzwerk ermöglicht, immer abstraktere Merkmale der Daten zu lernen. Zum Beispiel kann eine erste Schicht in einem Bilderkennungsnetzwerk Kanten und Linien erkennen, während spätere Schichten komplexere Merkmale wie Formen, Texturen und Objekte erkennen.

Deep-Learning-Modelle werden typischerweise durch Training mit einem großen Datensatz von Eingabe- und Zielbeispielen erstellt. Während des Trainings wird das Netzwerk aufgefordert, die korrekten Ausgaben für jede Eingabe zu generieren. Durch die Anpassung der Gewichte in den Neuronen des Netzes wird das Modell so angepasst, dass es in der Lage ist, genaue Vorhersagen für neue, bisher ungesehene Eingabedaten zu machen.

Eines der bemerkenswertesten Merkmale von Deep Learning ist, dass es in vielen Anwendungen besser abschneidet als traditionelle Machine-Learning-Modelle. Deep-Learning-Modelle haben zum Beispiel in der Bilderkennung, der Spracherkennung, der Sprachübersetzung, der Textgenerierung und der Robotik beeindruckende Ergebnisse erzielt.

Voraussetzungen und Grundlagen

Die in der Anfangszeit der künstlichen Intelligenz gelösten Probleme waren für den Menschen intellektuell schwierig, aber für Computer einfach zu verarbeiten. Diese Probleme ließen sich durch formale mathematische Regeln beschreiben. Die wahre Herausforderung an die künstliche Intelligenz bestand jedoch in der Lösung von Aufgaben, die für die Menschen leicht durchzuführen sind, deren Lösung sich aber nur schwer durch mathematische Regeln formulieren lassen. Dies sind Aufgaben, die der Mensch intuitiv löst, wie zum Beispiel Sprach- oder Gesichtserkennung.

Eine computerbasierte Lösung für diese Art von Aufgaben beinhaltet die Fähigkeit von Computern, aus der Erfahrung zu lernen und die Welt in Bezug auf eine Hierarchie von Konzepten zu verstehen. Hierbei ist jedes Konzept durch seine Beziehung zu einfacheren Konzepten definiert. Durch das Sammeln von Wissen aus der Erfahrung vermeidet dieser Ansatz die Notwendigkeit für die menschlichen Bediener, all das Wissen, das der Computer für seine Arbeit benötigt, formal spezifizieren zu müssen. Die Hierarchie der Konzepte erlaubt es dem Computer, komplizierte Konzepte zu erlernen, indem er sie aus einfacheren zusammensetzt. Wenn man ein Diagramm zeichnet, das zeigt, wie diese Konzepte übereinander aufgebaut werden, dann ist das Diagramm tief, mit vielen Schichten. Aus diesem Grund wird dieser Ansatz in der künstlichen Intelligenz „Deep Learning“ genannt.

Es ist schwierig für einen Computer, die Bedeutung von rohen sensorischen Eingangsdaten zu verstehen, wie beispielsweise in der Handschrifterkennung, wo ein Text zunächst nur als eine Sammlung von Bildpunkten existiert. Die Überführung einer Menge von Bildpunkten in eine Kette von Ziffern und Buchstaben ist sehr kompliziert. Komplexe Muster müssen aus Rohdaten extrahiert werden. Das Lernen oder Auswerten dieser Zuordnung scheint unüberwindbar schwierig, wenn sie manuell programmiert werden würde.

Eine der häufigsten Techniken in der künstlichen Intelligenz ist maschinelles Lernen. Maschinelles Lernen ist ein selbstadaptiver Algorithmus. Deep Learning, eine Teilmenge des maschinellen Lernens, nutzt eine Reihe hierarchischer Schichten bzw. eine Hierarchie von Konzepten, um den Prozess des maschinellen Lernens durchzuführen. Die hierbei benutzten künstlichen neuronalen Netze sind wie das menschliche Gehirn gebaut, wobei die Neuronen wie ein Netz miteinander verbunden sind. Die erste Schicht des neuronalen Netzes, die sichtbare Eingangsschicht, verarbeitet eine Rohdateneingabe, wie beispielsweise die einzelnen Pixel eines Bildes. Die Dateneingabe enthält Variablen, die der Beobachtung zugänglich sind, daher „sichtbare Schicht“.

Diese erste Schicht leitet ihre Ausgaben an die nächste Schicht weiter. Diese zweite Schicht verarbeitet die Informationen der vorherigen Schicht und gibt das Ergebnis ebenfalls weiter. Die nächste Schicht nimmt die Informationen der zweiten Schicht entgegen und verarbeitet sie weiter. Diese Schichten werden als versteckte Ebenen (eng. hidden layers) bezeichnet. Die in ihnen enthaltenen Merkmale werden zunehmend abstrakt. Ihre Werte sind nicht in den Ursprungsdaten angegeben. Stattdessen muss das Modell bestimmen, welche Konzepte für die Erklärung der Beziehungen in den beobachteten Daten nützlich sind. Dies geht über alle Ebenen des künstlichen neuronalen Netzes so weiter. Das Ergebnis wird in der sichtbaren letzten Schicht ausgegeben. Hierdurch wird die gewünschte komplizierte Datenverarbeitung in eine Reihe von verschachtelten einfachen Zuordnungen unterteilt, die jeweils durch eine andere Schicht des Modells beschrieben werden.

Geschichte

Diagramm einer McCulloch-Pitts-Zelle nach Marvin Minsky.

Die Geschichte von Deep Learning geht zurück auf die Entdeckung der künstlichen neuronalen Netze (ANNs) in den 1940er Jahren durch Warren McCulloch und Walter Pitts. Das erste ANN-Modell war ein einfaches binäres Modell, das in der Lage war, einfache logische Funktionen zu lernen.

In den folgenden Jahrzehnten entwickelten Wissenschaftler weitere neuronale Netzwerkarchitekturen, darunter das Perzeptron in den 1950er Jahren und das Backpropagation-Verfahren zur effizienten Trainierung neuronaler Netze in den 1980er Jahren. Trotz dieser Fortschritte waren neuronale Netze jedoch immer noch relativ flach und konnten nur begrenzt komplexe Muster in Daten erkennen.

Dies änderte sich jedoch mit der Entwicklung von Deep Learning in den 2000er Jahren. Eine der Schlüsseltechnologien, die diese Entwicklung ermöglichte, war die Verfügbarkeit von großen Datenmengen, die durch das Wachstum des Internets und der Digitalisierung entstanden waren.

Ein weiterer wichtiger Faktor war der Fortschritt in der Rechenleistung, insbesondere durch die Entwicklung von Grafikprozessoren (GPUs), die schnelle lineare Algebra-Berechnungen durchführen können, die in der Verarbeitung großer neuronaler Netze benötigt werden.

2006 demonstrierten Geoffrey Hinton, Yoshua Bengio und Yann LeCun den Nutzen von tiefen neuronalen Netzen bei der Verarbeitung von Bildern und begannen damit eine Renaissance des Deep Learning. Ein Durchbruch in der Texterkennung wurde erzielt, als Alex Krizhevsky und seine Kollegen 2012 das Convolutional Neural Network (CNN) einführten und damit den ImageNet Large Scale Visual Recognition Challenge (ILSVRC) gewannen.

Seitdem hat das Deep Learning rasant Fortschritte gemacht und ist zu einem wichtigen Teilbereich des maschinellen Lernens geworden. Heute wird Deep Learning in einer Vielzahl von Anwendungen eingesetzt, einschließlich Bild- und Spracherkennung, Übersetzung, Sprachsynthese, Robotik und sogar in der Kunst und Musik.

Die Zukunft von Deep Learning sieht vielversprechend aus, da Forscher weiterhin neue Architekturen, Algorithmen und Anwendungen entwickeln, die auf noch tiefere und effizientere neuronale Netze setzen.

Risiken

Obwohl Deep Learning viele Vorteile und Chancen bietet, gibt es auch einige Risiken und Herausforderungen, die mit dieser Technologie verbunden sind. Hier sind einige der wichtigsten Risiken:

• Datenschutz und Datensicherheit: Deep Learning-Modelle sind darauf angewiesen, große Datenmengen zu trainieren. Dies bedeutet, dass es notwendig ist, Daten zu sammeln und zu speichern, was zu Datenschutz- und Sicherheitsproblemen führen kann, wenn die Daten nicht richtig geschützt werden.
• Bias und Diskriminierung: Deep Learning-Modelle können aufgrund der verwendeten Daten und Algorithmen verzerrte und diskriminierende Ergebnisse produzieren. Wenn die Trainingsdaten beispielsweise nur aus einer bestimmten Gruppe von Menschen stammen, kann das Modell möglicherweise nicht gut auf Personen außerhalb dieser Gruppe generalisieren.
• Black-Box-Problem: Ein weiteres Risiko von Deep Learning ist, dass die Modelle oft als "Black Boxes" betrachtet werden, was bedeutet, dass die Entscheidungsprozesse und das Verhalten der Modelle schwer nachzuvollziehen sind. Dies kann zu Schwierigkeiten führen, wenn das Modell fehlerhaft ist oder unvorhergesehene Auswirkungen hat.
• Abhängigkeit von Datenqualität: Deep Learning-Modelle sind auf qualitativ hochwertige Trainingsdaten angewiesen. Wenn die Daten fehlerhaft, unvollständig oder ungleichmäßig sind, kann das Modell möglicherweise keine genauen Vorhersagen treffen.
• Ethische Fragen: Schließlich gibt es auch ethische Fragen im Zusammenhang mit Deep Learning. Zum Beispiel können Deep Learning-Modelle in der Lage sein, menschliche Entscheidungen zu ersetzen, was zu Arbeitsplatzverlusten und anderen sozialen Folgen führen kann.

Es ist wichtig, diese Risiken zu erkennen und sich auf mögliche Lösungen und Best Practices zu konzentrieren, um sicherzustellen, dass Deep Learning verantwortungsvoll und effektiv eingesetzt wird.

Siehe auch

• Deep Learning - Artikel in der deutschen Wikipedia

Literatur

•  François Chollet: Deep Learning mit Python und Keras: Das Praxis-Handbuch vom Entwickler der Keras-Bibliothek. mitp, 2018, ISBN 978-3-95845-838-3.
• Ian Goodfellow, Yoshua Bengio, Aaron Courville: Deep Learning: Adaptive Computation and Machine Learning. MIT Press, Cambridge USA 2016, ISBN 978-0-262-03561-3.
• Jürgen Schmidhuber: Deep learning in neural networks: An overview. In: Neural Networks, 61, 2015, S. 85, arxiv:1404.7828 [cs.NE].
• Rob F. Walker: Artifical Intelligence in Business: Balancing Risk and Reward, 2017, Seite 1–23.