Erklärbares Maschinenverständnis und Beispiele für klinische Anwendungen - Vortrag von Alexander Löser

Alexander Löser, Professor an der Beuth Hochschule für Technik Berlin, ist seit 25 Jahren Public Officer. Er repräsentiert also Universitäten, Industrien und die Plattform “Learning System”, welche vom Forschungsministerium stammt. Zusammen mit einer Gruppe von zehn Kollegen, zu denen auch PhD-Studenten zählen, arbeitet er dabei an Forschungen rund um das Thema Maschinenverständnis (WWW.DATEXIS.COM), zu welchem er beim AI Business Meetup am 28. Januar 2020 einen Vortrag im WeWork Sony Center gab.

Europa und Afrika auf demselben Stand

Zunächst sprach Löser über die derzeitige wirtschaftliche Situation Europas. In den letzten Jahren hat sich zwar die Plattform der Wirtschaft positiv entwickelt, allerdings befindet sich Europa auf dem selben Level wie Afrika, wenn die Punkte Marktkapitalisierung und Firmenwert betrachtet werden. Im Jahr 2018 betrug das Wachstumsprodukt Deutschlands 3,9 Milliarden US-Dollar. Firmen wie Huawei verzeichnen allerdings genauso viel. Auch in den USA gibt es mehrere Firmen, die ein solches Wachstumsprodukt und somit auch die Vereinigten Staaten vorantreiben. Es ist also klar, dass Deutschland etwas tun muss.

Die Lösung wäre hierbei der Eintritt in geschützte Märkte wie zum Beispiel die Gesundheits- oder Maschinenindustrie. Künstliche Intelligenz, aber auch leistungsfähige Technologie müssen dabei unterstützt werden. Laut Löser sollte das AI Meetup genau diese Entwicklung fördern, denn derzeit gibt es in Europa nur einen Global Player (SAP).

Ein paar Fakten zum Gesundheitswesen

Seit mehr als vier Jahren wird Ärzten dabei geholfen, mit dem demografischen Wandel umzugehen. Die Aufgabe besteht darin, Kernprozesse zu verstehen und interessante Datenprodukte zu entwickeln, die für das Text- und Deep Learning genutzt werden können.

Eine Frage, die Ärzte dabei oft an Entwickler stellen, ist: „Können Sie eingrenzen, ob es eine schwere Krankheit beziehungsweise eine Notsituation ist oder nur ein bisschen Blut am Finger?” Letzteres passiert an der Charité nicht selten, nur 5-8% der Fälle sind schwere Krankheiten. Mehr als 15.000 seltene Erkrankungen werden erst nach sechs oder sieben Jahren diagnostiziert! Dabei stehen die Lösungen oft schon in Arztbriefen, die schlichtweg enthüllt werden müssen.

Gerade bei zeitkritischen Krankheiten muss schnell gehandelt werden. Am besten fände man Informationen, wenn Maschinen sie aus Arztbriefen herausfiltern und speichern würden. Löser fügt hinzu, dass die Differentialdiagnose eine der wichtigsten Prozesse in der Informationssammlung sei.

Klinische Anwendung bei Arztbriefen

Ein typischer Arztbrief in Deutschland ist ziemlich einfach zu erkennen: Briefkopf, Adresse, Schluss. Allerdings besteht der “Hauptteil” aus der individuellen Ausdrucksweise des Arztes. Diese kann von Institut zu Institut anders sein und zum Beispiel viele Abkürzungen oder gar keine Sätze beinhalten. Das Problem, welches sich daraus ergibt, ist, wie man herausfindet, worüber überhaupt geschrieben wird - ob es sich um eine Diagnose, um Symptome oder eine medikamentöse Behandlung handelt.

All diese Themen, von denen es noch tausende gibt, werden einem intelligenten Sprachmodell gegeben. Im Fall der Forschungsgruppe handelt es sich dabei um BERT, ein Modell entwickelt von Google, um die Benutzersuche besser zu verstehen. Lösers Gruppe fragte sich: “Können wir aus diesen Sätzen einen Sinn machen und das Thema für jeden Satz klassifizieren, sodass es nicht nur eine Dokumentenklassifizierung, sondern eine Satzklassifizierung ist?”

Aus eben dieser Fragestellung entwickelte sich eine akademische Arbeit, welche im Jahr 2019 auf der TACL vorgestellt wurde. Dabei zeigte die Forschungsgruppe ein Beispiel der Lösungen, welches wie folgt aussieht: Ein Thema ist hervorgehoben (Thema: Therapie) und ein Arztbrief ist zu sehen. Dunkelblaue Hervorhebungen bedeuten, dass dieses Thema stark erkannt wird. Hellblau zeigt, dass das Thema weniger stark erkannt wird. Keine Farbe bedeutet, dass es nicht erkannt wurde. Die konservative Behandlung wird somit als Therapie erkannt, obwohl es wörtlich nichts miteinander zutun hat - dafür aber semantisch.

Verknüpft man all diese Datenprodukte miteinander, so kommt man auf die neueste Veröffentlichung der Forschungsgruppe. Queries/Rückfragen können nach Entitäten abgefragt werden, welche mit medizinischen Taxonomien verknüpft werden können.

Demo eines Navigators für Nahrungsmittelallergien

Bei der Abfrage handelt es sich bei der Demo um eine Nahrungsmittelallergie. Der zu untersuchende Aspekt ist die Behandlung. Die relevantesten Sätze sind fett gedruckt. Die Worte “Krankheiten” und ihre Aspekte müssen zunächst in einen separaten Vektorraum projiziert und dann in einen gemeinsamen Vektorraum integriert werden. Danach muss eine Darstellung in diesem gemeinsamen Vektorraum entsprechend einer Reihe von Abfragen gefunden werden, wobei sich die Frage stellt, wie eben diese Vektorräume gestaltet werden können.

Eine weitere Frage ergab sich bei der Abfragezeit: Würde eine Abfrage gegen den Vektorraum verborgen werden, wäre dies eine sehr teure Abfrage, da diese mit allen bestehenden Darstellungen verglichen werden müsste und gemeinsame Prinzipien von Forschung mit Werkzeugen wie Spotify, Agent SV von Microsoft oder anderen Dateien genutzt werden. Es handelt sich also um eine elastische Suche, die allerdings nur für neuere Netzwerke möglich ist.

Eine weitere interessante Entdeckung

Im November 2019 präsentierte die Forschungsgruppe eine akademische Arbeit in Beijing. Diese Arbeit stammte von Betty van Arken und Benjamin Winter, beides PhD-Studenten im zweiten Jahr. Die Aufgabe war es herauszufinden, was BERT tut, um Fragen zu beantworten und dies schlussendlich darzustellen.

Genutzt wurden gewöhnliche Datensätze wie das SQuAD der Stanford Universität, welche aus einem Satz von Fragen und einem Satz von Antworten besteht. Die Messgenauigkeit beläuft sich auf mehr als 90%. Hinzu kommt bAbI, eine Benchmark von Facebook, welche sehr einfache und teilweise auch “dumme” Fragen beinhaltet. Die dritte genutzte Benchmark ist Hotpot QA.

Bevor es zur Entwicklung einer These kam, stellten sich die Forscher die Frage, was man vor fünfzehn Jahren getan hätte, wenn man ein System wie BERT erstellt hätte. Zunächst hätte man den Satz extrahiert und auf Koreferenzen innerhalb oder außerhalb untersucht. Danach würde man für diese potentiellen Argumente eine relationale Extraktion durchführen und im weiteren Verlauf Abfragetypen aus diesen extrahierten Beziehungen abbilden, um herauszufinden, ob der Abfragetyp mit einer potentiellen Antwort übereinstimmt. Schlussendlich hätte man wahrscheinlich unabhängige Komponenten erstellt.

Die Hypothese lautete schließlich: BERT könne als ein solches System fungieren und sich für einige dieser Aufgaben auf jede Schicht spezialisieren. Die Gruppe untersuchte daraufhin fünf Aufgaben, die sich “Sondieraufgaben” nennen. Diese lauteten wie folgt:

• Entitätsverknüpfung
• Koreferenz
• Relationsextraktion
• Fragetyp
• Extraktion von unterstützenden Fakten

Die Gruppe entdeckte, dass das Netzwerk tatsächlich etwas Ähnliches macht, was man vor fünfzehn Jahren getan hätte. Das Netzwerk nutzt die Verteilungshypothese - das Wort wird von seinen Nachbarn beschrieben und durch die Entitätsverknüpfung gelöst.

BERT untersucht den Beispieltext und versucht korrekte Antworten zu finden, was zu 30% funktioniert. DATEXIS versucht, diesen Prozess zu visualisieren. Dazu sind sie durch all diese Schichten gegangen. Im Grunde genommen trennt das Netzwerk die Abfrage und andere Zeichen (Token) von einer potentiellen Antwort. DATEXIS.com erklärt Transformer-Netzwerke. Man gibt einen eigenen Text ein oder wählt eine andere Query, danach klickt man den Button zum prognostizieren und visualisieren. Die ersten beiden Layer entstehen sehr schnell, während die letzten um die 20 Sekunden brauchen.

Zum Schluss…

Professor Löser appelliert am Ende seiner Präsentation an die Rolle der Regierung, die Institute dabei unterstützen sollen, sehr gute KI-Absolventen hervorzubringen. Das Gespräch war eine gute Einführung in die derzeitige Lage der KI in Deutschland und ihre potentielle Zukunft im medizinischen Bereich. Wenn Sie interessiert daran sind, die ganze Präsentation zu sehen, können Sie das Video hier ansehen.