Video-Pixeln Lebendigkeit einhauchen
Autonome virtuelle Menschen, die sich natürlich bewegen und verhalten, sind Siyu Tangs Vision. Die Computerwissenschaftlerin l?sst sich dafür unter anderem von unseren Verhaltensmustern inspirieren. Weitere Inputs liefert die Zusammenarbeit mit Architekten und Chirurgen – und sie offenbart auch das enorme Potenzial der virtuellen Menschen.
Wenn Siyu Tang mit den ETH-Architekturprofessoren Fabio Gramazio und Matthias Kohler im ?Flight Assembled Architecture (FAA) Revisited?-Projekt für das Guggenheim Museum Bilbao zusammenarbeitet, vereint die Leiterin der Computer Vision and Learning Group des ETH-Instituts für Visual Computing zwei grosse Faszinationen aus ihrer Jugend: ?Bei der Studienwahl stand ich vor der Entscheidung zwischen Architektur und Computer Science. An der ETH kann ich jetzt als Informatikerin mit Weltklasse-Architekten interdisziplin?r zusammenarbeiten. Das ist für mich eine perfekte Kombination.?
Gemeinsam mit Koryph?en aus anderen Bereichen
Tang ist eine Spezialistin für das Erfassen und Modellieren von virtuellen Menschen anhand von Bildern. Sie arbeitet seit zweieinhalb Jahren als Assistenzprofessorin an der ETH Zürich. Das Umfeld, das eine derartige Zusammenarbeit m?glich macht, geh?rt für sie zu den grossen Pluspunkten der Hochschule. ?In vielen Forschungsbereichen arbeiten weltweit anerkannte Koryph?en?, unterstreicht Tang. Das erm?glicht interdisziplin?re Projekte, die sonst auf diesem hohen Niveau nicht m?glich sind.
Für das Projekt ?FAA Revisited? bev?lkerte Tangs Team die vertikale, von Drohnen gebaute Fussg?ngerstadt mit autonomen Avataren (siehe Video). Dabei konnten die Computerwissenschaftler:innen auf ihre bisherigen Forschungsarbeiten zur Modellierung von virtuellen Menschen aufbauen, die sich über l?ngere Zeiten natürlich durch ihre Umgebung bewegen: ?Der grosse Unterschied zwischen Forschungsprojekten und Fragestellungen aus der realen Welt sind die Anforderungen an die Stabilit?t und Generalisierbarkeit der Technologien unter Berücksichtigung aller denkbaren Bedingungen. Die Avatare im ?FAA Revisited?-Projekt müssen sich praktisch für immer und in allen m?glichen Situationen durch die Stadt bewegen k?nnen.?
Verhaltensbiologischer Takt bringt Stabilit?t
Um dies m?glich zu machen, hat Tangs Team auf Erkenntnisse aus der Verhaltensbiologie zurückgegriffen. Die bisherigen Algorithmen verirrten sich n?mlich in ihren Richtungsentscheidungen - ?hnlich wie die Langzeitwetterprognosen – bei einer l?ngeren Anwendung immer mehr in den praktisch unendlich vielen M?glichkeiten, die sich ihnen bieten. Die Folge waren unnatürlich wirkende Bewegungsmuster und logische Konflikte.
Tangs Team hat nun die 0,25 Sekunden, die es dauert, bis ein Mensch etwas bewusst wahrnimmt und zum Beispiel mit einer Bewegung reagieren kann, als Intervall definiert, in dem der Bewegungsalgorithmus Richtungsentscheidungen trifft. Die Sequenzierung der Bewegung in diese verhaltensbiologischen ?Takt? hat in Kombination mit der Einführung einer statistischen Zufallskomponente bei jeder Richtungsentscheidung tiefgreifende Folgen. Die Bewegung wird auf der einen Seite langfristig stabilisiert und zeigt auf der anderen Seite auch eine lebensechte Variabilit?t.
Simulationen für das Chirurgen-Training
Das Bev?lkern des Architekturmodells ist nicht das einzige interdisziplin?re Projekt, das Tang bisher in der Schweiz in Angriff genommen hat. Seit dem Frühjahr arbeitet ihr Team an einem zweiten ambitionierten Vorhaben mit. Unter der Leitung des Kantonsspitals St. Gallen, des Centre Hospitalier Universitaire Vaudois (CHUV) und der Universit?tsklinik Balgrist entwickeln die ETH Zürich und die ZHAW (Zürcher Hochschule für angewandte Wissenschaften) zusammen mit Industriepartnern Simulationswerkzeuge. Die Ausbildung von Chirurgen soll auf ein neues Niveau gehoben werden (vgl. Video). Das Ziel sind standardisierte Lehrg?nge mit einem Leistungsnachweis, die vergleichbar mit einem Pilotentraining sind. Chirurgen sollen ihr Handwerk in Zukunft genauso an immersiven Simulatoren perfektionieren k?nnen. Bisher findet die Ausbildung praktisch ausschliesslich w?hrend tats?chlichen Operationen oder an Leichen statt. Dies schr?nkt die individuellen ?bungsm?glichkeiten massiv ein.
An die Arbeit der Mutter anknüpfen
Noch stehen die Spezialist:innen für visuelle Datenverarbeitung mit ihrer Arbeit ganz am Anfang und die Herausforderungen sind gross: Wie k?nnen starke Blutungen, die schnellen Bewegungen von Chirurgen oder unterschiedliche Gewebestrukturen in Augmented Reality und in Virtual Reality-Ger?ten realit?tsnah abgebildet werden? Tang rechnet damit, dass ihr Team dafür Kameraaufnahmen von tats?chlichen Operationen aus allen m?glichen Blickwinkeln auswerten und in einem Modell integrieren muss. Dieses muss dabei effizient lernf?hig sein und sich in Echtzeit visualisieren lassen.
Für die in China aufgewachsene Jungwissenschaftlerin steckt in diesem Projekt eine zus?tzliche pers?nliche Motivation: Als sie klein war, ging ihre Mutter, eine Augen?rztin, für zwei Jahre nach Mauretanien, um Patient:innen zu behandeln und dortige Kolleg:innen auszubilden. Daran kann sie jetzt anknüpfen: ?Das Training an Simulatoren kann speziell der Medizin in sich entwickelnden L?ndern enorme Fortschritte erm?glichen. Dass ich damit indirekt die Arbeit meiner Mutter fortführen kann, ist für mich zus?tzlich erfüllend.?
Von der Uni in die Industrie und wieder zurück
Dass Tang praktischen Herausforderungen nicht aus dem Weg geht, zeigt auch ihr Werdegang. Nach dem Bachelor in Computer Science, den Sie an der Zhejiang University absolviert hat, schlug sie nicht gleich einen akademischen Weg ein. Sie wechselte vielmehr von der chinesischen Elite-Universit?t in die Privatwirtschaft und entwickelte Software für Consumer-Elektronikger?te. ?Das wurde mir aber nach zwei Jahren zu langweilig?, bemerkt Forscherin, die eine grosse Leidenschaft für ihr Fachgebiet und ihr Team ausstrahlt,, mit einem Lachen.
Den Masterabschluss wollte sie danach nicht einfach in China machen, sondern in Europa: ?Aus Deutschland stammten viele qualitativ hochstehende Ger?te und Instrumente, die meine Mutter als ?rztin und mein Vater, ein Mechanikingenieur, benutzten. Zudem liegt das Land mitten in Europa. Das ist ideal, um die verschiedenen L?nder kennenzulernen.?
Der Wechsel von Deutschland, wo sie am Max-Planck-Institut für Intelligente Systeme in Tübingen bereits eine erste Forschungsgruppe geleitet hat, nach Zürich ist für Tang nicht nur aus wissenschaftlicher Sicht ein Glücksfall. ?Für unseren viereinhalb Jahre alten Sohn ist die Stadt ein Paradies. Der See, die vielen Spielpl?tze, die umgebenden W?lder und die nahen Berge. Wir k?nnen als Familie hier so viel gemeinsam unternehmen.?
Ein egozentrischer Weg zum natürlichen Verhalten
Viel vorgenommen hat sich Tang auch in ihren Forschungsprojekten. Zus?tzlich zur natürlichen Bewegung sollen sich die virtuellen Menschen künftig auch natürlich verhalten. Im Modell des Flight-Assembled-Architecture-Projekt werden sie sich dann nicht mehr nur zuf?llig durch die R?ume bewegen, sondern miteinander und mit der Umgebung wie richtige Menschen interagieren.
Den Schlüssel zu natürlichen Interaktionen sieht Tang in einer ich-zentrierten Sicht der Avatare. Wie richtige Menschen sollen sie aus ihrer eigenen Perspektive ein Modell von sich ihrer Umwelt erstellen und daraus ein individuelles Verhalten lernen.
Wirkung über die Wissenschaft hinaus
Die Architektur ist nicht der einzige Anwendungsbereich, in der sich natürlich verhaltende virtuelle Menschen neuartige Optionen erm?glichen werden. Man darf gespannt sein, in welchen interdisziplin?ren Projekten Tangs virtuelle Menschen ihr Potenzial als n?chstes entfalten: ?Eine bessere Arbeitssituation als hier an der ETH ist kaum vorstellbar. Ich kann mein Forschungsteam mit meinen Visionen begeistern und wir k?nnen gemeinsam mit anderen Forschungsgruppen etwas bewirken, das über die wissenschaftlichen Erkenntnisse hinausgeht.?