TU Berlin

Fakultät Elektrotechnik und InformatikAbstract Confortola

Inhalt des Dokuments

zur Navigation

Giada Confortola, M.Sc. ICT Innovation

Lupe

Titel der Masterarbeit

Multimodal Deep Learning for Prediction of Postoperative Complications in Cardiac Surgery

Abstract

Röntgenaufnahmen des Brustkorbs sind die häufigste bildgebende Untersuchung und werden sowohl zur Diagnose als auch zur Überwachung verschiedener Krankheiten eingesetzt. Wenn sich ein Patient einer Herzoperation unterzieht, wird unmittelbar nach der Operation routinemäßig ein Röntgenbild des Brustkorbs angefertigt, damit die Ärzte mögliche postoperative Komplikationen erkennen können. Auf der Intensivstation (ICU) werden dann in regelmäßigen Abständen Vitalparameter gemessen, um den Zustand des Patienten zu überwachen.

Deep-Learning-Methoden wie Faltungsneuronale Netze (CNNs) können Spezialisten bei der Interpretation von Röntgenaufnahmen des Brustkorbs am Ort der Behandlung unterstützen. Ebenso können Modelle wie rekurrente neuronale Netze (RNN) ihnen helfen, den Zustand des Patienten aus den überwachten Parametern zu verstehen, die aufgrund der Informationskomplexität vom Menschen nur schwer zu verarbeiten sind.

Ziel dieser Arbeit ist es, zu untersuchen, ob ein multimodaler Ansatz, der sowohl auf der Intensivstation erfasste Sensordaten als auch ein nach der Operation aufgenommenes Röntgenbild des Brustkorbs berücksichtigt, die Vorhersage von postoperativen Komplikationen verbessern kann.

Es werden verschiedene Integrationsstrategien für die multimodale Datenanalyse untersucht. Die Ergebnisse der Experimente werden mit den Vorhersagen des Modells verglichen, das nur die Überwachungsparameter aus den Sensorsystemen berücksichtigt, um zu prüfen, ob die Hinzunahme von bildbasierten Informationen die Risikoerkennung des Modells verbessert.

Die Ergebnisse zeigen, dass die multimodalen Modelle, die Röntgenbilder des Brustkorbs einbeziehen, besser abschneiden als das Basismodell. Insgesamt übertrifft das multimodale Modell das einfache RNN mit einer Genauigkeit von 83,86% und einem ROC-AUC-Wert von 88,88%, was einer absoluten Verbesserung von 5,91% bzw. 3,19% entspricht.

 

 

Navigation

Direktzugang

Schnellnavigation zur Seite über Nummerneingabe