Highlights vom Deep Learning Summit 2019

RE-Work hat einmal mehr ein enorm spannendes Programm rund um Deep Learning am Deep Learning Summit 2019 angeboten. Dieses Jahr kamen über 90 Sprecher aus Forschung und Wirtschaft zusammen, um über die neuesten Anwendungsfälle für Deep Learning im Einzelhandel, Maschinenbau, Gesundheitswesen und vielen weiteren Bereichen zu reden. Den Themen im Einzelhandel und virtuellen Assistenten galt mit je 30 Tagungen ein spezifischer Fokus.

Machine Learning und Deep Learning – UseCase Automatisierung Rechnungseingang

Auf dem Weg, künstliche Intelligenz in unsere Geschäftsabläufe einzubauen, müssen noch viele Hürden überwunden werden. Das Ziel ist fast immer, sich wiederholende Abläufe vollständig zu automatisieren. Um die Automatisierung zu erreichen, muss dem System meist entsprechend trainiert werden. Zum Beispiel soll eine Rechnung von der Zahlungsplattform ins Finanzprogramm kopiert werden. Dies können herkömmliche Systeme auch ohne KI schon lange, ein einfacher programmierter Ablauf erledigt das in Millisekunden. Doch was ist, wenn diese Rechnung per Fax geschickt wird? Oder dreimal ausgedruckt und viermal eingescannt wird? Oft werden Mitarbeitende beauftragt, eine Rechnung zu prüfen und Informationen, die für das Finanzprogramm wichtig sind, zu identifizieren. Um diese Prozesse zu automatisieren braucht es gewisse Intelligenz. Wenn alle Rechnungen immer im selben Format sind, kann ein System mit Bilderkennung trainiert werden, um die Daten aus den richtigen Feldern zu extrahieren. Dies geschieht mittels Machine Learning: Ein für eine bestimmte Aufgabe vordefinierter und programmierter Algorithmus wird anhand von Beispielen trainiert und ständig verbessert. Doch was ist, wenn wir tausende von verschiedenen Formaten im Rechnungseingang haben? Diesem Problem hat sich Evolution.ai für ein Britisches Finanzinstitut gewidment. Beim traditionellen Machine Learning Ansatz wächst der Aufwand, um das Modell zu trainieren, exponentiell. Jedes Format muss manuell erlernt werden. Hier setzt Deep Learning an. Bei Deep Learning Algorithmen werden Modelle mit neuralen Netzwerken erstellt, die sich anhand der eingegebenen Daten selbst weiter entwickeln. Mit kleinen Learning-Aufwänden erzielen die Modelle bereits sehr gute Resultate. Die Kosten, um den Prozess zu automatisieren, sinken somit erheblich. Weitere Techniken wie Active Learning und Transfer Learning erleichtern die Aufgabe weiter.

Active Learning zur Optimierung des Training-Modells

Beim Trainieren eines Modells werden grosse Datensätze häufig in Trainingsdaten, Validierungsdaten und Testdaten aufgeteilt. Die Trainingsdaten werden manuell in das System eingespeist. Das bedeutet im Fall von evolution.ai, dass bestehende Formulare eingescannt und die Bereiche, die von Interesse sind, manuell mit Tags versehen werden. Um eine Genauigkeit von 85% zu erreichen, wären über 10’000 solcher Einträge pro Format nötig. Dies ist sehr aufwändig und kostspielig. Bei einem Active Learning Ansatz beginnt man mit einer kleineren Anzahl von Trainingsbildern an, 100 zum Beispiel, und erreicht damit vielleicht 50% an Genauigkeit. Danach identifiziert man diejenigen Scans, bei denen der Algorithmus Probleme hatte und kennzeichnet diese, um hier gezielt weiter zu trainieren. Durch diesen iterativen Ansatz, mit einem Focus auf die schwierigen Fälle, konnte evolution.ai ein trainiertes Modell um ein zehnfaches schneller erstellen.

Nachteile von Deep Learning – der „Black Box“ vertrauen

Deep Learning Modelle sind kaum nachvollziehbar. Wie der resultierende Algorithmus, aka „Trained Modell“ zustande kommt, und welche Faktoren hinzugezogen wurden, sind in einer „Black box“. Man ist quasi gezwungen, den Resultaten zu vertrauen, oder zumindest genug Vertrauen zu schenken, um Entscheidungen basierend auf den Resultaten zu fällen. Anhand von Testbeispielen kann validiert und geprüft werden, ob das Modell tut was man von ihm erwartet, doch mit Bestimmtheit beweisen kann man es nicht. Für Evolution.ai sprechen jedoch die Resultate für sich: mit einer Trefferquote von über 95% und einer Widerrufs-Quote von 0% war der Deep Learning Ansatz ein voller Erfolg.

Kombination von Machine und Deep-Learning an einem UseCase aus der Reisebranche

Die Entwickler bei Data Iku standen vor einer spannenden Herausforderung. Ihr Kunde, ein prominentes Reiseportal, wollte den angemeldeten Benutzern bessere Vorschläge liefern, um damit den Umsatz zu steigern. Anhand klassischer linearer Regression wurden bereits gute Resultate erzielt. Durch Profilierung und Typisierung der Kunden konnten Korrelationen zwischen verschiedenen Profilen entdeckt werden. Wenn Kunde A diese Reise toll fand, findet Kunde B sie sicher auch toll, da beide gerne nach Asien reisen und dort eher Abenteuerreisen unternehmen. Die Korrelationen der verschiedenen Angebote wurden anhand der Metadaten gebildet. Weitere Quellen wie Likes und Views kamen auch zum Zug. Das Resultat: anhand von A/B Tests konnten sie eine Umsatzsteigerung von 7% darlegen.

Doch das reichte dem Data Iku Team nicht. Sie wollten noch bessere Resultate erzielen. Ein großer Faktor bei der Wahl des Angebots ist das Bild, welches als Thumbnail für das Angebot auf der Suchresultatsseite oder der Übersichtsseite gewählt wird. Manche Kunden finden es einfach toll, sich an einem Pool zu entspannen. Somit kommen Bilder, welche einen Pool zeigen, bei dieser Zielgruppe sehr gut an. Viele Angebote haben 4-8 verschiedene Bilder, welche für das Thumbnail in Frage kommen könnte. Die Wahl des richtigen Bildes für den entsprechenden Kunden macht viel aus.

Hier begannen die Probleme für das Team. Die Bilder hatten keine Tags und die Datenbank bestand aus Millionen von Bildern. Hier nun wurde Deep Learning und spezifisch Transfer Learning eingesetzt. Es gibt mehrere Caffe Deep Learning Modelle, welche man als Kickstarter verwenden kann. Diese tummeln sich im Model Zoo. Das trainierte Modell für Places von MIT half bereits wesentlich weiter, doch es war auf 205 Kategorien limitiert und konnte die gewünschten Objekte in den Bildern schlecht erkennen. Die SUN Datenbank hingegen kann Objekte sehr gut erkennen, ist aber mit 16’000 Bildern eher klein. Mit einem Transfer-Learning Ansatz, bei dem das Modell zuerst mit dem SUN Datensatz trainiert wurde, und dieses Modell dann benutzt wurde, um mit den Bildern des Kunden das finale Modell zu trainieren, wurden sehr gute Resultate erzielt. In kurzer Zeit konnten Millionen von Bildern mit relevanten Metadaten versehen werden, die dann wieder anhand von linearer Regression mit den Präferenzen der Kunden verknüpft wurden. Hätte man die Korrelation der Bilder auch anhand von Vektor-basierter Analyse und Convolutional Neural Networks (CNN) direkt erschließen können, anstatt zuerst die Metadaten zu extrahieren? Klar! Doch Transparenz und Nachvollziehbarkeit war dem Kunden wichtig, und der Metadaten-Ansatz offerierte diese Nachvollziehbarkeit.

Deep Learning hat mittlerweile extrem viele Anhänger und die öffentlich zugängliche Bibliothek an wiederverwendbaren, vortrainierten Modellen wächst stetig weiter. Doch Deep Learning ist nicht jedermanns Sache. Wenn man ganz klar nachvollziehen will, wie Korrelation zwischen Datensätzen zustande kommen, sind herkömmliche Machine Learning Techniken wie lineare Regression immer noch am besten geeignet.

Wir freuen uns bereits heute auf die nächste Ausgabe des Deep Learning Summits in London im September 2020.