Framework für maschinelles Lernen kodiert Bilder wie eine Retina

Eine grosse Herausforderung bei der Entwicklung besserer neuronaler Prothesen ist die sensorische Kodierung: die Umwandlung von Informationen, die von Sensoren aus der Umwelt aufgenommen werden, in neuronale Signale, die vom Nervensystem interpretiert werden können. Da die Anzahl der Elektroden in einer Prothese jedoch begrenzt ist, muss dieser Umwelteinfluss auf irgendeine Weise reduziert werden, wobei die Qualität der Daten, die an das Gehirn übermittelt werden, erhalten bleiben muss.

Demetri Psaltis (Optics Lab) und Christophe Moser (Laboratory of Applied Photonics Devices) arbeiteten mit Diego Ghezzi vom Hôpital ophtalmique Jules-Gonin – Fondation Asile des Aveugles (früher Medtronic Chair in Neuroengineering an der EPFL) zusammen, um maschinelles Lernen auf das Problem der Komprimierung von Bilddaten mit mehreren Dimensionen wie Farbe, Kontrast usw. anzuwenden. In ihrem Fall war das Ziel der Komprimierung das Downsampling, d.h. die Verringerung der Anzahl der Pixel eines Bildes, das über eine Netzhautprothese übertragen werden soll.

«Das Downsampling für Netzhautimplantate erfolgt derzeit durch Mittelwertbildung von Pixeln, was im Wesentlichen das ist, was Grafiksoftware macht, wenn man die Dateigrösse reduzieren will. Letztendlich handelt es sich dabei aber um einen mathematischen Prozess, bei dem man nichts lernen kann», erklärt Ghezzi.

«Wir fanden heraus, dass wir mit einem lernbasierten Ansatz bessere Ergebnisse bei der optimierten sensorischen Kodierung erzielten. Noch überraschender war jedoch, dass ein neuronales Netzwerk ohne Einschränkungen lernte, Aspekte der Netzhautverarbeitung selbständig zu imitieren.»

Der maschinelle Lernansatz der Forschenden, ein sogenanntes Actor-Model-Framework, war besonders gut darin, einen «Sweet Spot» für den Bildkontrast zu finden. Ghezzi verwendet Photoshop als Beispiel: «Wenn man den Kontrastregler zu weit in die eine oder andere Richtung bewegt, wird das Bild schwerer zu erkennen. Unser Netzwerk hat Filter entwickelt, die einige der Eigenschaften der Netzhautverarbeitung nachbilden.»

Die Ergebnisse wurden kürzlich in Nature Communications veröffentlicht.

Vergleich zwischen dem Originalbild (links), dem mit nicht-lernender Berechnung verarbeiteten Bild (Mitte) und dem mit dem Actor-Model-Framework verarbeiteten Bild © EPFL CC BY SA

Validierung sowohl in-silico als auch ex-vivo

Im Rahmen des Akteursmodells arbeiten zwei neuronale Netze auf komplementäre Weise. Der Modellteil, das Vorwärtsmodell, fungiert als digitaler Zwilling der Netzhaut: Es wird zunächst darauf trainiert, ein hochauflösendes Bild zu empfangen und einen binären neuronalen Code auszugeben, der dem von einer biologischen Netzhaut erzeugten neuronalen Code so ähnlich wie möglich ist. Das Akteursnetzwerk wird dann darauf trainiert, ein hochaufgelöstes Bild herunterzurechnen, um dem Vorwärtsmodell einen neuronalen Code zu entlocken, der dem von der biologischen Retina als Reaktion auf das Originalbild erzeugten Code so nahe wie möglich kommt.

Auf dieser Grundlage testeten die Forschenden die heruntergerechneten Bilder sowohl am digitalen Zwilling der Netzhaut als auch an Mäusenetzhäuten, die entfernt (explantiert) und in ein Kulturmedium gelegt worden waren. In beiden Experimenten zeigte sich, dass der Actor-Model-Ansatz Bilder erzeugte, die eine neuronale Reaktion hervorriefen, die der ursprünglichen Bildreaktion ähnlicher war als ein Bild, das mit einem lernfreien Berechnungsansatz wie der Pixel-Mittelwertbildung erzeugt wurde.

Trotz der methodischen und ethischen Herausforderungen, die mit der Verwendung explantierter Mäusenetzhäute verbunden sind, sagt Ghezzi, dass es diese Ex-vivo-Validierung ihres Modells war, die ihre Studie zu einer echten Innovation in diesem Bereich macht.

«Wir können uns nicht nur auf das digitale oder In-silico-Modell verlassen. Deshalb haben wir diese Experimente durchgeführt – um unseren Ansatz zu validieren.»

Andere Sinneshorizonte

Da das Team bereits Erfahrung mit Netzhautprothesen hat, war dies die erste Anwendung des Akteurmodells für die sensorische Kodierung. Ghezzi sieht jedoch das Potenzial, die Anwendungen des Modells innerhalb und ausserhalb des Bereichs der Sehkraftwiederherstellung zu erweitern. Er fügt hinzu, dass es wichtig sein wird, festzustellen, inwieweit das Modell, das an der Netzhaut von Mäusen validiert wurde, auf den Menschen übertragbar ist.

«Der offensichtliche nächste Schritt besteht darin, herauszufinden, wie wir ein Bild umfassender komprimieren können, über die Pixelreduktion hinaus, so dass das System mit mehreren visuellen Dimensionen gleichzeitig spielen kann. Eine weitere Möglichkeit besteht darin, dieses Netzhautmodell auf die Ergebnisse anderer Hirnregionen zu übertragen. Es könnte sogar mit anderen Geräten verbunden werden, z. B. mit Hör- oder Gliedmassenprothesen», sagt Ghezzi.