Wie Top-Forschende internationale Firmen in die Schweiz bringen

Eine Gruppe junger Menschen schreitet kreuz und quer durch die Empfangshalle des ETH-Hauptgebäudes. Sie tragen eine futuristisch anmutende Brille. Was wie Spielerei aussieht, hat einen wissenschaftlichen Hintergrund: Die Umhergehenden sind Studierende und vermessen mit ihren Datenbrillen den Raum. Damit kann dieser Raum dereinst mit Hologrammen «bespielt» werden – und die Grenzen zwischen realer und virtueller Welt auflösen. Die verschiedenen Kameras an der Brille sammeln dabei visuelle Eckpunkte, die als Referenz dienen – und künftig immer wiedererkannt werden, egal, wo gerade man sich im Raum befindet.

Marc Pollefeys, Informatikprofessor an der ETH Zürich, ist in dieser futuristischen Welt zu Hause. Eine Welt, die sich Mixed Reality nennt und die, so ist der Professor überzeugt, für viele Menschen in ein paar Jahren zum Alltag werden wird. Pollefeys forscht daran, wie sich diese beiden Welten, die reale und die virtuelle, möglichst nahtlos miteinander kombinieren lassen.

Dem ETH-Professor ist es zu verdanken, dass Microsoft heute in Zürich erweiterte Realitäten und künstliche Intelligenz (KI) erforscht. Pollefeys hatte dem Technologiekonzern während einer Auszeit in den USA dabei geholfen, die Mixed-Reality-Brille HoloLens 2 zu entwickeln. Als der belgische Computerwissenschaftler nach zwei Jahren zu seiner Professur in Zürich zurückkehrte, wollte Microsoft nicht auf seine Arbeit verzichten und gründete 2018, mit der ETH als Partnerin, in Zürich das Microsoft Mixed Reality & AI Lab. Neben seiner Lehr- und Forschungstätigkeit an der ETH leitet Pollefeys heute dieses Zentrum.

Forschungsfeld: Computer Vision

Marc Pollefeys war drei Jahre lang Assistenzprofessor an der University of North Carolina, bevor er 2007 als Professor nach Zürich kam – für ihn eine einfache Entscheidung. «Die ETH verfügt in allen Forschungsbereichen, nicht nur in meinem, über exzellente Mitarbeitende. Dies war mir im Hinblick auf eine mögliche Zusammenarbeit sehr wichtig. Und auch um weitere talentierte Kolleginnen und Kollegen anzuziehen.» Pollefeys wurde nicht enttäuscht: «Ich kann an der ETH viele spannende gemeinsame Projekte realisieren – auf Augenhöhe mit anderen hervorragenden Forschenden.»

Von Anfang an widmete sich Pollefeys der Computer Vision, einem Teilgebiet der KI. Computer Vision trainiert Computer darin, Informationen aus Bild- und Videodaten zu erfassen und zu interpretieren. Das Ziel ist es, mithilfe von Modellen des maschinellen Lernens digitale Systeme zu schaffen, die visuelle Daten verarbeiten, analysieren und verstehen können wie Menschen.

Ein System, das zum Beispiel auf die Überwachung von Produktionsanlagen trainiert ist, kann Tausende Produkte oder Prozesse pro Minute überprüfen und Mängel oder Probleme wahrnehmen, die von Menschen kaum erkannt werden. Computer Vision wird in verschiedenen Branchen eingesetzt, von der Energie- und Versorgungswirtschaft bis hin zur Fertigungs- und Automobilindustrie.

Neue Anwendungsmöglichkeiten

Durch die Kombination von Computer Vision und Mixed Reality, bei der unsere natürliche Wahrnehmung um eine künstlich erzeugte Wahrnehmung ergänzt wird, können komplett neue Umgebungen für Nutzerinnen und Nutzer kreiert werden. Dadurch entstehen innovative und sichere Anwendungsmöglichkeiten.

Möglich machen das Mixed-Reality-Brillen wie die HoloLens. Sie ist ausgestattet mit unterschiedlichen Sensoren und Kameras, um zum Beispiel Augenbewegungen zu verfolgen, Gesten, Objekte und Sprache zu erkennen. Ausserdem werden Räume dreidimensional erfasst, um die Position und Lage von Objekten in diesen Räumen berechnen zu können. Das ist die Grundlage dafür, um in der HoloLens digitale 3D-Objekte zu erzeugen.

Mit einer solchen Brille lassen sich zum Beispiel direkt vor Ort Schaltpläne oder ein digitaler Bauplan eines Gegenstands oder eines Gebäudes ansehen. «Durch die Überlagerung des virtuellen Plans mit der Realität können Aufgaben erledigt werden, ohne vorher auf einen Plan zu schauen», erklärt Pollefeys. Mixed Reality kann aber auch dabei helfen, medizinisches Personal für heikle Operationen zu trainieren. Oder sie kann Roboter gefährliche Arbeiten ausführen lassen, denn durch einfache Handgesten lassen sich diese mit der HoloLens fernsteuern.

Anweisungen in Echtzeit

Vor dem Hintergrund der Automatisierung, des Internet of Things (IoT) sowie des allgemeinen Fachkräftemangels sei die Industrie auf neue Lösungsansätze angewiesen, sagt Pollefeys: «Es braucht Mitarbeitende, die flexibler sind und viele verschiedene Aufgaben erledigen können.»

Fehlmanipulationen, inkorrekte Anwendungen oder Wartungsfehler könnten ein Unternehmen teuer zu stehen kommen und für die Mitarbeitenden gefährlich werden. Mit Mixed Reality erhalten Nutzende relevante digitale Informationen zum richtigen Zeitpunkt und im richtigen Kontext. Wenn eine Fachkraft zum Beispiel vor einer Maschine steht, können Pfeile und andere Symbole sie Schritt für Schritt durch eine anspruchsvolle oder neue Aufgabe führen. Oder die Person erhält durch die Einblendung von IoT-Sensoren Einblick in die Live-Statusdaten der Maschine. Im Gegensatz zu Virtual Reality, wo man komplett in eine künstlich erzeugte Welt abtaucht, bleibt bei Mixed Reality die reale Umgebung weiterhin sichtbar, während 3D-Hologramme im Sichtfeld der Nutzenden eingeblendet werden.

Forschung, Lehre und Anwendung

Als Direktor des Mixed Reality & AI Zurich Lab und Forschungsverantwortlicher bei Microsoft führt Pollefeys in der Schweiz ein Team von 25 Wissenschaftler:innen und Ingenieur:innen. Dazu kommt ein Mitarbeiter in Prag – und 15 weitere am Hauptsitz in Redmond (US). «Ich bin stolz darauf, dass es mir gelungen ist, ein gut durchmischtes Team mit erstklassigem Fachwissen und grossen Talenten aufzubauen», sagt Pollefeys. «Das braucht es auch, denn wir arbeiten an einer zukunftsweisenden Technologie, von der wir noch nicht genau wissen, was wir brauchen und wie wir sie bauen sollen.» Die Technologie entwickle sich rasant und fordere von seinem Team grosse Flexibilität.

Pollefeys ist je fünfzig Prozent an der ETH und bei Microsoft angestellt. Er arbeitet, forscht und lehrt – unterteilt in einzelne Halbtage und Tage – an zwei verschiedenen Standorten und wechselt jeweils das Büro. «Das macht die Organisation der verschiedenen Aufgaben für mich einfacher und strukturierter.»

Wenn die Suche nach Lösungen für eine spezifische Mixed-Reality-Anwendung heikel sei, arbeite er nur mit Microsoft-Mitarbeitenden daran, sagt Pollefeys. Eine strikte Trennung zwischen Hochschule und Technologiekonzern mache aber in den wenigsten Fällen Sinn: «Wenn es sich um ein grundsätzliches Problem handelt, das eine allgemeine Lösung benötigt, und es einen Charakter von Grundlagenforschung hat, dann arbeiten wir mit der ETH und Microsoft zusammen.»

Manchmal stösst der Computerwissenschaftler bei seiner Arbeit bei Microsoft auf ein Problem, das er dann vollumfänglich in die Lehre und Forschung bei der ETH einbringt. «Das ist für die Studierenden meistens sehr spannend – und motivierend, weil sie wissen, dass es sich um ein reales Problem aus der Praxis handelt.»

Egal ob im Rahmen seines Engagements bei Microsoft oder an der ETH Zürich: Forschungsergebnisse werden, wenn immer möglich, veröffentlicht und Codes geteilt. Er arbeite auch mit anderen Firmen zusammen, betont Pollefeys. «Als Forscher ist es mir wichtig, dass ich neutralen Boden bewahren kann.» Aus seiner Professur ging zum Beispiel ein Schlüsselalgorithmus hervor, der als Grundlage diente für die heute weltweit genutzte Navigationsfunktion Google Live View.

Eine Win-Win-Situation für alle

Microsoft erhält durch die Zusammenarbeit mit der ETH einen vertieften Einblick ins Forschungsgebiet – und kann dadurch mehr Innovation hervorbringen. Als Produktteam eines Unternehmens bewege man sich in engeren Banden und habe beschränkt Zeit, Neues auszuprobieren, erklärt Pollefeys. Die Kooperation mit der ETH helfe Microsoft dabei, neue Denk- und Lösungsansätze zu finden.

Das bestätigt Marc Holitscher, National Technology Officer bei Microsoft Switzerland. «Unsere Zusammenarbeit mit der ETH und insbesondere mit Marc Pollefeys hat bereits zu herausragenden Ergebnissen geführt, die Innovationen in verschiedenen Sektoren vorantreiben und zur Position der Schweiz als globale Technologieführerin beitragen», so Holitscher. «Gemeinsam werden wir weiterhin die Grenzen des Machbaren verschieben und Spitzenforschung, Talente und Technologie nutzen, um einige der dringendsten Herausforderungen der Welt zu bewältigen.»

Aber auch für die Hochschullehre sei die Zusammenarbeit mit der Industrie ein Gewinn, unterstreicht Pollefeys: «Sowohl die Ingenieur:innen von Microsoft als auch wir Professor:innen tragen aktuelle Probleme und Ideen an die Studierenden heran und bieten ihnen einerseits spannende Möglichkeiten, an denen sie arbeiten können, andererseits können sie aber auch Ideen ausprobieren und neue angewandte Techniken kennenlernen.»

Die Zusammenarbeit zwischen der Hochschule und dem internationalen Technologiekonzern sei für alle Seiten ein Gewinn: «Mit den Studierenden gemeinsam an einer Frage zu arbeiten, sie erforschen zu lassen, wie eine neue Technik für ein bestimmtes Problem eingesetzt werden könnte, ist sowohl für die Studierenden als auch für die Produktentwickler:innen interessant. Und Studierende werden von einer fachkundigen Person betreut, die viel Produktkenntnisse und Erfahrung mitbringt und weiss, warum ein bestimmter Schritt relevant sein könnte.»

Auch die ETH profitiere davon, wenn Professor:innen Hintergrundwissen und Verständnis für die Industrie haben, betont Pollefeys. «Durch meine Arbeit bei Microsoft erhalte ich einen wertvollen Einblick in die Entscheidungsfindung und die Art und Weise, wie Prozesse in einem grossen Unternehmen ablaufen. Das hilft, die gesamte technologische Entwicklung in einem grösseren Kontext zu sehen.»

Und schliesslich dienen die gemeinsamen Projekte auch der Vernetzung innerhalb der ETH, so wie es sich Pollefeys beim Antritt der Professorenstelle in Zürich ausgemalt hatte. So arbeitet er zurzeit mit seiner Kollegin Siyu Tang an einer neuen Methode, anhand von autonomen Avataren Daten zu generieren. «Indem wir die HoloLens auf diesen virtuellen Figuren ‹montieren›, erhalten wir viel einfacher die Daten, die wir zum Trainieren und Testen von Algorithmen benötigen, als wenn wir die Räume selbst mit der HoloLens durchschreiten und vermessen.»