KI-SIGS-Projekt iAuge: Homecare Augendiagnostik und intelligente Bildauswertung in der Augenheilkunde

Das Projekt iAuge ist ein Teilprojekt des überregionalen Verbundprojektes „KI-Space für intelligente Gesundheitssysteme“ (KI-SIGS). In Kooperation von Partnern an den Universitäten Lübeck, Kiel und Bremen, dem Universitätsklinikum Schleswig-Holstein (UKSH) sowie der Fa. Visotec GmbH und der UniTransferKlinik aus Lübeck werden neue KI-basierte Lösungen zur ophthalmologischen Diagnostik erarbeitet. Wesentliches Ziel der Arbeiten am Institut für Medizinische Informatik (IMI) ist die Entwicklung von optimierten Deep Neural Networks für die automatische KI-basierte Auswertung von dreidimensionalen OCT-Bildern (OCT: Optical Coherence Tomography) zur verbesserten Versorgung von Patienten mit Augenerkrankungen. Das Projekt wird vom Bundesministerium für Wirtschaft und Energie von 2020-2023 gefördert.

Im Rahmen des Teilprojektes iAuge soll eine KI-Plattform für die Unterstützung der integrierten Versorgung von Patienten mit Augenerkrankungen wie z.B. der häufig auftretenden, altersbedingten Makuladegeneration (AMD) und der Retinopathia Centralis Serosa (RCS) etabliert werden. Neben der KI-Unterstützung der multimodalen Bildanalyse beim Augenarzt bzw. in der Klinik soll eine Deep-Learning-basiertes automatisierte Datenanalyse für eine völlig neuartige Homecare-OCT-Anwendung realisiert und auf der KI-SIGS-Plattform integriert werden. Dies soll dem Patienten eine Krankheitskontrolle zu Hause ermöglichen, wodurch eine wesentliche Therapieverbesserung insbesondere bei AMD-Patienten erwartet wird. Die kontinuierliche häusliche Kontrolle anhand Homecare-OCT-Bilder wird durch das am IMI entwickelte KI-System Verschlechterungen des Augenzustandes zu Hause automatisch erkennen und so individuell optimale Behandlungszeitpunkte ermitteln.

Ein technologisch neuartiger, mobiler OCT-Scanner wird von der Fa. Visotec GmbH zusammen mit dem Medizinischen Laserzentrum Lübeck GmbH für den Homecare-Bereich entwickelt (Abb. 1). Zusammen mit der Universitätsaugenklinik Kiel wurde die Technologie an unterschiedlichen Patientenkollektiven validiert und mit bereits etablierten, hochauflösenden OCT-Scannern verglichen. Die Fa. Visotec GmbH wird Bilddaten von Patienten zur Entwicklung der Algorithmen zur Verfügung stellen und strebt die Vermarktung des Gesamtsystems an. Die große Datenmenge der 3-dimensionalen, täglich aufgenommenen Bilddaten erfordern neue intelligente, effiziente, Deep-Learning-basierte Auswertungsalgorithmen.  Das IMI konzipiert und entwickelt hierfür problemoptimierte Deep-Learning-Netzwerke und Bildverarbeitungsalgorithmen, die relevante AMD-Biomarker (Abb. 2) in den Bilddaten des Homecare-OCT quantitativ erfassen sowie ihre zeitlichen Veränderungen und Relevanz zur Therapiesteuerung bewerten. Zusätzlich werden vorhandene, in der Klinik erhobene OCT-Bilder in den Entwicklungsprozess mit einbezogen. Parallel werden am Institut für Biomedizinische Optik (BMO) Rekonstruktionsverfahren weiterentwickelt, um Bewegungen auszugleichen und relevante Strukturen mit verbesserter Qualität darzustellen. Das für die Homecare-Anwendung notwendige kompakte und kostengünstige Design sowie eine selbstständige Nutzung durch meist ältere Patienten mit reduziertem Visus stellen besondere Anforderungen an Bedienung und Auswertung der Daten. Ein optimiertes Benutzerinterface für das Homecare-OCT-Gerät wird in Kooperation mit Prof. Schöning (Uni Bremen) entwickelt. In Kooperation mit der UniTransferKlinik Lübeck wird der praktische Einsatz des Systems über die zentrale KI-Plattform unterstützt und ein einsatzfähiger Demonstrator für die entwickelten KI-Methoden etabliert.

Abb. 1: Handgehaltener OCT-Scanner

Abb. 2: Vergleich zweier Netzhautscans desselben AMD-Patienten mit Pigmentepithelabhebungen zwischen dem Spectralis OCT von Heidelberg Engineering (oben) und dem Homecare-OCT von Visotec (unten).

Projektteam:

M.Sc. Timo Kepp
Prof. Dr. Heinz Handels

Kooperationspartner:

Prof. Dr. Gereon Hüttmann
Institut für Biomedizinische Optik (BMO) der Universität zu Lübeck

Prof. Dr. Johann Roider, Dr. Claus von der Burchard
Klinik für Ophthalmologie, UKSH Campus Kiel (UKSH Kiel)

Prof. Dr. Johannes Schöning
AG Human Computer Interaction, Universität Bremen (Uni Bremen)

Prof. Dr. Reinhard Koch, Monty Santarossa, Universität Kiel
Multimedia Information Processing Group, Universität Kiel (Uni Kiel)

Prof. Dr. Martin Leucker, Dr. Tim Suthau
UniTransferKlinik, Lübeck (UTK)

Helge Sudkamp
Fa. Visotec GmbH, Lübeck

iAuge_Logo_80x80.png
Erstellt am 8. Juni 2020 - 11:00 von Kulbe. Zuletzt geändert am 9. Juni 2020 - 11:58 von Kulbe.

Tiefe generative Netzwerke für die unüberwachte Detektion von Anomalien in medizinischen Bildern

Die Verfahren aus dem Bereich des Deep Learnings haben sich in den letzten Jahren  für die automatische Bildanalyse und -verarbeitung etabliert, vor allem in den Bereichen der Segmentierung, Detektion  und Klassifikation.
Allerdings ist ein wesentlicher Nachteil solcher Methoden deren Bedarf großer Mengen von annotierten Trainingsdaten. Für das Erlernen der  automatischen Segmentierung von Hirntumoren in MRTs, zum Beispiel, benötigt ein Deep Learning Algorithmus Hunderte und Tausende an Hirn-MRTs mit Expertensegmentierungen vom Tumorgewebe. Solche Datensätze sind selten verfügbar im medizinischen Kontext, da die Datenannotation kompliziert und zeitintensiv ist.

In diesem Projekt liegt der Fokus auf der unüberwachten Detektion von Pathologien und Anomalien in medizinischen Bildern, d.h. dass keine Expertensegmentierungen für das Training benötigt werden. Die Hauptidee ist die gesunde Variabilität der Daten einer Domäne zu erlernen, so dass Pathologien als Abweichung der gelernten Norm erkannt werden können. Für das bestehende Problem werden tiefe generative Modelle wie variationelle Autoencoder und GANs gewählt, da sie in der Lage sind komplexe Zusammenhänge und Verteilungen der Daten zu erlernen.

 

deep learning p1deep learning ue1

deep learning p2deep learning ue2

Abb.1: Beispiele für pathologische Bilder (links) und die unüberwachte Lokalisation der Pathologien (rechts). Von oben nach unten: Lungen CT mit einem Lungentumor; Gehirn MRT mit einem kontrastierten Glioblastom; OCT der Retina mit Makula-Ödem.

Ausgewählte Publikationen:

  1. Uzunova H., Handels H., Ehrhardt J.
    Unsupervised Pathology Detection in Medical Images using Learning-based Methods
    In: Maier A., Deserno T.M., Handels H., Maier-Hein K.H., Palm C., Tolxdorff T. (eds.), Bildverarbeitung für die Medizin 2018, Erlangen, Informatik aktuell, Springer Vieweg, Berlin Heidelberg, 61-66, 2018
  2. Uzunova H., Ehrhardt J., Kepp T., Handels H.
    Interpretable Explanations of Black Box Classifiers Applied on Medical Images by Meaningful Perturbations using Variational Autoencoders
    In: SPIE 10949, Medical Imaging 2019: Image Processing, San Diego, USA, 10949, 1094911-1-1094911-8, 2019

Projektteam:

M.Sc. Hristina Uzunova
Dr. rer. nat. Jan Ehrhardt
Prof. Dr. rer. nat. habil. Heinz Handels

 

deep_learning_based_icon_80x80.png
Erstellt am 8. Mai 2019 - 10:38 von Kulbe. Zuletzt geändert am 8. Juni 2020 - 12:59 von Kulbe.

Automatische patientenindividuelle Kontrastmitteldosisoptimierung (iQ-CM)

Kontrastmittel sind Medikamente, die in medizinischen Bildern anatomische Strukturen sichtbar (Abb.1) und physiologische Parameter wie z.B. die Perfusion messbar machen. Sie bestehen meist aus Substanzen, deren Toxizität bzw. Nebenwirkungen biochemisch gemildert werden können, aber dennoch zahlreiche und in wenigen Fällen auch schwere Nebenwirkungen aufweisen. Die meisten medizinischen Anwender verwenden bei kontrastmittelgestützten bildgebenden Untersuchungen pauschalisierte Kontrastmitteldosen, die die notwendigen Dosen in einigen Fällen überschreiten können. Das Ziel des Projektes ist die Entwicklung von Methoden und Algorithmen zur Optimierung der patientenindividuellen Kontrastmitteldosis bei Untersuchungen mittels Computertomographie (CT), wodurch die durchschnittlich benötigte Dosis gesenkt wird.

Die methodischen Schwerpunkte bei diesem Projekt liegen dabei in der Entwicklung und Evaluierung von multiparametrischen Modellen auf der Grundlage patientenindividueller Parameter wie Alter, Geschlecht, Blutdruck, Pulsschlag etc. sowie untersuchungsspezifischer Einflussgrößen wie z.B. die Geschwindigkeit des Einspritzens des Bolus. Modellbasierte Methoden und Verfahren des Maschinellen Lernens sollen zur Analyse und Beschreibung der komplexen, multiparametrischen Zusammenhänge eingesetzt werden, um so eine patientenindividuell optimierte Vorhersage des Kontrastmittelbedarfs durchzuführen.

Die Vorhersagegüte der modellbasierten Verfahren und der Machine Learning Methoden sollen auf der Grundlage der im Rahmen des Projektes von der Klinik für Radiologie und Nuklearmedizin durchzuführenden klinischen Studie bewertet werden.


Abb. 1: CT-Schichtdaten mit verschiedenen Kontrastmittelanreicherungen. Bei einer ausreichenden Kontrastmitteldosis werden anatomische Strukturen, wie die Aorta im rechten Bild (Pfeil), deutlich erkennbar.

Das Projekt wird in Zusammenarbeit mit der Klinik für Radiologie und Nuklearmedizin des Universitätsklinikums Schleswig-Holstein, Campus Lübeck, und der Firma IMAGE Information Systems Europe GmbH durchgeführt und vom Bundesministerium für Bildung und Forschung (BMBF) gefördert.

Projektteam:

M.Sc. Kira Leane Soika
Prof. Dr. rer. nat. Heinz Handels

Kooperationspartner:

Prof. Dr. med. J. Barkhausen, PD Dr. med. P. Hunold und M. Schürmann
Klinik für Radiologie und Nuklearmedizin
Universitätsklinikum Schleswig-Holstein, Campus Lübeck

Dr. med. A. Bischof, Dr. rer. nat. C. Godemann, H. Marien, E. Virtel und S. Schülke
IMAGE Information Systems Europe GmbH

iQ-CM__ProjektbeschreibungICON.png
Erstellt am 24. September 2018 - 12:20. Zuletzt geändert am 24. Oktober 2018 - 15:58.

Automatische Analyse und Erkennung von Bildstrukturen in 3D-/4D-OCT-Bilddaten unter Verwendung von Verfahren des maschinellen Lernens

Die optische Kohärenztomographie (OCT) ist ein nichtinvasives Bildgebungsverfahren, das auf Licht geringer Kohärenzlänge basiert. Die OCT funktioniert auf dem Prinzip der Ultraschallbildgebung, wobei anstatt Schallwellen Licht verwendet wird. Dabei werden mittels Interferometrie Laufzeitunterschiede zwischen dem zurückgestreuten Licht des Probenstrahls und dem Licht des Referenzstrahls gemessen, wodurch dreidimensionale Volumenaufnahmen in Mikrometerauflösung möglich sind.

Deep-Learning-Methoden für ein verbessertes Monitoring der altersbedingten Makuladegeneration in zeitlich-räumlichen 4D-OCT-Bildfolgen

Im diesem Projekt werden Deep Learning basierte Lernmethoden für ein verbessertes Monitoring der altersbedingten Makuladegeneration (AMD) entwickelt. Das Projekt wird in Kooperation mit der Klinik für Ophthalmologie des Universitätsklinikums Schleswig-Holstein in Kiel und dem Institut für Biomedizinische Optik der Universität zu Lübeck bearbeitet.

Die altersbedingte Makuladegeneration (AMD) ist die häufigste Erblindungsursache im Alter über 60 Lebensjahren in der westlichen Welt. Bei der feuchten, exsudativen Form der AMD kommt es zu einer Ödembildung unter der Netzhaut. Aufgrund einer Sauerstoffunterversorgung der Photorezeptoren werden Botenstoffe wie z.B. der Vascular Endothelial Growth Factor (VEGF) gebildet, der zu einer choroidalen Neovaskularisation führt. Die neu gebildeten Gefäße sind sehr fragil, wodurch sie in der Makula unerwünschte Einblutungen verursachen. Um dem unkontrollierten Blutgefäßwachstum entgegenzuwirken, lassen sich VEGF-Antikörper in den Glaskörperraum injizieren. Der Therapieeffekt hält jedoch nur wenige Wochen an, so dass eine Reiinjektion nach diesem Zeitraum erforderlich ist. Für eine verbesserte Diagnostik und Therapie der AMD werden im Rahmen des Projekts neue Deep-Learning-Methoden für die computergestützte Analyse und Erkennung von Biomarkern (Abb. 1) in räumlich-zeitlichen 4D-OCT-Bilddaten entwickelt, implementiert und validiert. Die entwickelten Methoden sollen die Biomarker in den OCT-Bilddaten erkennen und klassifizieren, so dass ein Rezidiv frühzeitig erkannt werden kann.


Abb. 1: OCT-Schicht (B-Scan) der Makula eines AMD-Patienten. Die typischen AMD-Pathologien sind segmentiert: Intraretinales Fluid (IRF) in blau, subretinales Fluid (SRF) in rot, und Pigmentepithelablösung (PED) in grün.

Maschinelle Lernmethoden zur Segmentierung und Analyse der subkutanen Fettschicht der Mäusehaut in 3D/4D-OCT-Bilddaten

Das Ziel dieses Projektes ist die automatische Segmentierung und quantitative Analyse des subkutanen Fettgewebes von Mäusen in 3D-OCT-Bilddaten mittels maschineller Lernmethoden, die zur Evaluation des Kryolipolyseverfahrens benötigt werden. Dieses Projekt wird in Zusammenarbeit mit dem Cutaneous Biology Research Center am Massachusetts General Hospital in Boston durchgeführt.

Die Kryolipolyse ist ein von dem Kooperationspartner Dr. Dieter Manstein mitentwickeltes kosmetisches Verfahren für die nichtinvasive Fettreduktion. Durch eine spezielle kontrollierte Kühlungstechnik lassen sich selektiv subkutane Fettzellen zerstören. Für die zukünftige Evaluation des Verfahrens soll ein Mausmodell erprobt werden. Mittels OCT lassen sich 3D-Aufnahmen der Mäusehaut in Mikrometerauflösung erstellen (Abb. 1). Diese hohe Auflösung resultiert in einer großen Bilddatenmenge, deren manuelle Auswertung praktisch aufgrund des hohen Zeitaufwands nicht durchführbar ist. Das Ziel dieses Projekts besteht in der Entwicklung eines computergestützten Verfahrens, um Segmentierungen der subkutanen Fettschicht in 3D-OCT-Bilddaten automatisiert zu erstellen (Abb. 2). Für die Umsetzung sollen gezielt lernbasierte Methoden entwickelt werden, die eine hohe Genauigkeit und Robustheit aufweisen.


Abb. 2: Darstellung der Mäusehaut im Leistenbereich. Links: Beispiel eines einzelnen B-Scans der Mäusehaut. Rechts: Übersichtsbild während der Aufnahme mit markiertem Scanbereich (rotes Rechteck). Die gestrichelte Linie zeigt die Position des B-Scans an.


Abb. 3: Farbcodierte Darstellung der Dicke des segmentierten subkutanen Fetts.

Ausgewählte Publikationen:

  1. Kepp T., Droigk C., Casper M., Evers M., Salma N., Manstein D., Handels H.,
    Segmentation of subcutaneous fat within mouse skin in 3D OCT image data using random forests", Proc. SPIE 10574, Medical Imaging 2018: Image Processing, 1057426 (2 March 2018); doi: 10.1117/12.2290085
  2. Kepp T., Droigk C., Casper M., Evers M., Salma N., Manstein D., Handels H.
    Abstract: Random-Forest-basierte Segmentierung der subkutanen Fettschicht der Mäusehaut in 3D-OCT-Bilddaten, In: Maier A., Deserno T.M., Handels H., Maier-Hein K.H., Palm C., Tolxdorff T. (eds.), Bildverarbeitung für die Medizin 2018, Erlangen, Informatik aktuell, Springer Vieweg, Berlin Heidelberg, 203, 2018

Projektteam:

M.Sc. Timo Kepp
Prof. Dr. rer. nat. habil. Heinz Handels (Leitung)

Kooperationspartner:

PD Dr. rer. nat. Gereon Hüttmann
Institut für Biomedizinische Optik
Universität zu Lübeck

Dr. med. Claus von der Burchard
Klinik für Ophthalmologie
Universitätsklinikum Schleswig-Holstein, Kiel

Prof. Dr. med. Johann Roider
Klinik für Ophthalmologie
Universitätsklinikum Schleswig-Holstein, Kiel

Dr. Dieter Manstein
Cutaneous Biology Research Center
Massachusetts General Hospital, Boston, Massachusetts

 

oct_with_biomarker_icon_80x80.png
Erstellt am 4. April 2018 - 8:00 von Kepp. Zuletzt geändert am 8. Juni 2020 - 13:00 von Kulbe.

Decision Forest Variants for Brain Lesion Segmentation

Many diseases, such as ischemic stroke and multiple sclerosis (MS), cause focal alteration of the brain tissue, so called lesions, which are visible in magnetic resonance (MR) imaging sequences (see Fig. 1). Reliable diagnosis and informed treatment decisions require a quantitative assessment of these lesions in time and space, which can only be obtained through further analysis of the imaging data. A brain lesion segmentation that meets the high requirements on the accuracy, reproducibility and robustness placed by clinical and research standards, is in high demand.

In this project, new methods for brain lesion segmentation based on decision forests (DF) were developed and investigated.


Fig. 1: Example of ischemic stroke lesion appearance in different MR sequences

 

Brain lesion segmentation in multi-spectral MR images with decision forests

By intelligently combining a chain of MR preprocessing methods, a set of carefully handcrafted image features and the robust DF classifiers, a novel automatic method for the exact and robust segmentation of brain lesions from multi-spectral MR images was developed. The solution is tailored towards a use in clinical practice and research scenarios and as such poses minimal requirements on the quality of the input data. Since it follows the machine learning paradigm, the method can be adapted to various types of brain lesion causing diseases by simple re-training and has been accordingly evaluated on stroke (see Fig. 2), MS and glioma cases. The approach achieved high ranks and won multiple awards on international benchmarks on brain lesion segmentation stoke (ISBIMS2015, ISLES2015, BRATS2015, ISLES2016), proving its outstanding segmentation performance and high adaptability to new diseases.


Fig. 2: Automatically generated segmentation result (blue) compared to manually delineated expert ground truth (green)

 

Local problem forests

The segmentation of brain lesions from MR images incorporates a number of particular challenging areas (see Fig. 3). To target these spatially local problems, a methodological extension of the DF models was developed. By preceding the training of the forest’s trees by an unsupervised spectral clustering step based on image patches, a topology of local segmentation problems is created. Instead of using bagging, trees are placed in the topology’s areas of high training patch accumulations and trained on the proximal training samples with a normal distributed fuzzy catchment area. Thus, trees specializing on particular subproblems are trained and selectively applied to new cases, significantly increasing the segmentation accuracy for stroke segmentation from mono-spectral MR images.


Fig. 3: Particular challenging local areas for brain lesion segmentation from MR images

 

Semi-supervised forests

In particular for MS, the lesion dissemination in time is as important as in space and MR scans are regularly conducted to monitor disease progression. Based on the manual segmentation of one time point’s scans, the previously developed classification method can be trained and used to segment the subsequent time points automatically. But, following the semi-supervised segmentation paradigm, it is potentially beneficial to incorporate the unlabeled testing samples from the time point to be segmented in the training process driven by the labeled samples from previous time points.

To this end, the DF model was methodologically extended to a allow for training with partially labeled training data. While the standard DF optimize the information gain via the Shanon entropy to determine the best split at each tree node, this novel approach balances the labeled term against a term based on differential entropy representing the unlabeled samples. Thus, each split is set at the equilibrium between label purity and cluster density in feature space.

Applied to longitudinal MS segmentation, the proposed semi-supervised forest lead to a significant improvement in segmentation accuracy when compared to the classical supervised DFs.

Summary

In the scope of this project, a robust and accurate brain lesion segmentation method was developed and shown to outperform the state of the art. Additional methodological and algorithmic improvements designed for specific use-cases furthermore improved the segmentation accuracy. All methods were evaluated on brain MR data of clinical relevance in direct international benchmarks and are currently employed in research settings.

The project was carried out in close cooperation with experts from the cognitive neuroscience group at the Department of Neurology, University Medical Center Schleswig-Holstein, Germany. Oskar Maier is a member of the Graduate School for Computing in Medicine and Live Science, Universität zu Lübeck, Germany.

Code

MedPy – Medical Image Processing in Python
      package (PyPI) / source code (GitHub)

sklearnef – Extension module providing un- and semi-supervised decision forests for scikit-learn
      source code (GitHub)

DynStatCov - Cython Library for fast dynamic statistical co-variance update
      package (PyPI) / source code (GitHub)

albo – Automatic Lesion to Brain region Overlap (by Lennart Weckeck)
      source code (GitHub)

Selected Publications

  1. Maier O., Menze B.H., von der Gablentz J., Häni L., Heinrich M.P., Liebrand M., Winzeck S., Basit A., Bentley P., Chen L. et al.
    ISLES 2015 - A public evaluation benchmark for ischemic stroke lesion segmentation from multispectral MRI
    Medical Image Analysis, 35, 250-269, 2017

  2. Maier O., Schröder C., Forkert N.D., Martinetz T., Handels H.
    Classifiers for Ischemic Stroke Lesion Segmentation: A Comparison Study
    PLOS ONE, 10, 12, e0145118, 2015

  3. Maier O., Wilms M., von der Gablentz J., Krämer U.M., Münte T.F., Handels H.
    Extra Tree forests for sub-acute ischemic stroke lesion segmentation in MR sequences
    Journal of Neuroscience Methods, 240, 89-100, 2015

  4. Maier O., Handels H.
    Local Problem Forests: Classifier Training for Locally Limited Sub-Problems Using Spectral Clustering
    In: 2015 IEEE International Symposium on Biomedical Imaging: From Nano to Macro, ISBI 2015, New York, IEEE Proceedings, The Printing House, 806-809, 2015

  5. Crimi A., Menze B., Maier O., Reyes M., Handels H. (eds.)
    Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries
    First International Workshop, Brainles 2015, Held in Conjuction with MICCAI 2015
    Springer International Publishing, München, 2016

Further activities

 

Organization of a stroke lesion segmentation challenge at the MICCAI 2015

       http://www.isles-challenge.org/ISLES2015/

Organization of a stroke outcome prediction challenge at the MICCAI 2016

       http://www.isles-challenge.org

Project Team

M.Sc. Oskar Maier
Prof. Dr. Heinz Handels

Cooperation Partners

Prof. Dr. rer. nat. Ulrike M. Krämer, Prof. Dr. med. habil. Thomas F. Münte and Dr. Med. Matthias Liebrand
Cognitive Neuroscience Group, Department of Neurology
University Medical Center Schleswig-Holstein, Lübeck, Germany

 

ProjektGehirnlaesionenIcon.png
Erstellt am 21. Februar 2017 - 13:55 von Maier. Zuletzt geändert am 23. Februar 2017 - 16:57.

Echtzeit MRT-geführte Bewegungskompensation mit modellbasierter Registrierung ohne Marker

Physiologische Bewegungen des Patienten während der Strahlentherapie ist ein gewichtiges Problem für die genaue Verteilung der Bestrahlungsdosis. Eine genaue Kompensation der Bewegungsstörungen in Echtzeit könnte mittels eines MRT-geführten Strahlentherapiesystems durchgeführt werden. Das Ziel dieses Projektes ist die Entwicklung von Algorithmen, die mit hoher Robustheit, die örtliche Schätzung intrafraktioneller Bewegungen ohne Implantation von Markern möglich machen und den Stand der Technik sowohl hinsichtlich von Genauigkeit als auch Rechenzeit deutlich verbessern.

Zum Erreichen verbesserter Bewegungskompensation sollen kürzlich erreichte Fortschritte der diskreten mathematischen Optimierung mit Lernverfahren kombiniert werden um vielfältiges Vorwissen und Patienten-spezifische Bewegungsmodelle in die Schätzung einfließen zu lassen. Während einer kurzen Lernphase sollen MRT Bilder mit hoher zeitlicher Auflösung unter freier Atmung aufgenommen werden. Hieraus kann analog zu Vorarbeiten und mit Hilfe von sehr effizienten nichtlinearen Registrierungstechniken, ein Bewegungsmodell basierend auf einer Hauptkomponentenanalyse oder mit Bayes Modellen bestimmt werden. Merkmalspunkte, die ausreichend Bildinformationen an geometrisch interessanten Positionen im Referenzscan enthalten sollen automatisch und mit Hilfe von Lernverfahren gefunden werden um das invasive Einbringen von Markern zu vermeiden.

Eine robuste, echtzeitfähige Bewegungsschätzung, mit hoher Genauigkeit, wird dann durch den Einsatz eines effizienten numerischen Optimierungsverfahren unter Verwendung des gelernten Modells zur Regularisierung der Lösung erreicht. Hierbei können potentielle Fehler durch die Verwendung eines sehr großen Suchraums diskreter Verschiebungsvektoren vermieden werden. Der Algorithmus soll mit retrospektiven klinischen 4D-MRT Aufnahmen und manuell annotierten Landmarken auf seine Tauglichkeit überprüft und mit anderen Methoden des aktuellen Forschungsstandes verglichen werden.


Abb. 1: Übersicht des Projektplans für die Bewegungsschätzung in 4D-MRT mit modellbasierte Regularisierung

Das Projekt wird durch die Deutsche Forschungsgemeinschaft (DFG) gefördert (HE 7364/1-1).

Ausgewählte Publikationen:

  1. Wilms M., Ha I.Y., Handels H., Heinrich M.P.
    Model-based Regularisation for Respiratory Motion Estimation with Sparse Features in Image-guided Interventions
    MICCAI 2016

  2. Ha I.Y., Wilms M., Heinrich M.P.
    Multi-object segmentation in chest X-ray using cascaded regression ferns
    BVM 2017

  3. Heinrich M.P., Papiez B.W., Schnabel J., Handels H.
    Non-Parametric Discrete Registration with Convex Optimisation
    WBIR 2014

Projektteam:

M.Sc. In Young Ha
M.Sc. Matthias Wilms
Jun.-Prof. Dr. Mattias P. Heinrich

 

ProjectIcon_Ha.png
Erstellt am 23. Januar 2017 - 11:40 von Heinrich. Zuletzt geändert am 23. Februar 2017 - 16:53.

MRI-based pseudo-CT synthesis for attenuation correction in PET-MRI and Linac-MRI

Die Kombination aus Magnetresonanzbildgebung (MRT) und Positronen-Emissions-Tomographie (PET) in einem hybriden Scanner stellt eine neuartige multimodale Bildgebung dar, mit derer die Lokalisation von Tumoren sowie die Abgrenzung von gesundem Gewebe gegenüber der konventionellen PET-Computertomographie (PET-CT) deutlich verbessert werden kann. Ebenso kann durch die Integration von MRT in Strahlungstherapiegeräten (wie z.B. Linearbeschleunigern, engl. Abk. Linac) die Planung der Dosisabgabe verbessert oder eventuell vorhandene Tumorbewegungen berücksichtigt werden. Neben diesem gewichtigen Potenzial ergeben sich herausfordernde Probleme bei der Substitution von CT durch MRT in der Strahlentherapie sowie PET-Bildgebung. Da in beiden Fällen Informationen über das Abschwächungsverhalten des Gewebes benötigt werden, es aber keinen Zusammenhang zwischen den gemessenen MRT-Intensitäten und den Hounsfield Units (HU) gibt wodurch eine direkte Umrechnung unmöglich gemacht wird, bedarf es synthetischer CT-Daten (sogenannte Pseudo-CTs) auf Basis der akquirierten MRT-Scans.

Unsere Vorarbeit zu der modalitätsunabhängigen Bildbeschreibung gilt als Stand-der-Technik für die multimodale nichtlineare Bildregistrierung, welche einen unerlässlichen Schritt bei der Multi-Atlas-basierten CT-Synthese darstellt. Die ersten von uns entwickelten Methoden zur Bildsynthese verwenden eine lokale Formulierung der Kanonischen Korrelationsanalyse (engl. Abk. CCA) zur Synthese des MRT-Kontrasts basierend auf lokalen Histogrammen und weiterhin ein Multi-Atlas Registrierungsverfahren zur MRT-basierten Pseudo-CT Synthese. Ziel dieses Projektes ist die Verbesserung und Erweiterung registrierungsbasierter Ansätze und darüber hinaus die Kombination mit Methoden des maschinellen Lernens um deren Potenzial für die Bildsynthese zu untersuchen. Dazu werden verschiedene multivariate statistische Methoden wie z.B. die nichtlineare CCA herangezogen. Um das Problem des fehlenden funktionalen Zusammenhangs zwischen MRT-Intensitäten und HUs zu überwinden sollen Bildbeschreibungen verwendet werden, welche mehr Kontextinformationen in die Bildsynthese mit einbeziehen. Lernalgorithmen zur Erkennung und Korrektur von Fehlern bei der Erzeugung des Pseudo-CT Scans könnten ebenfalls erforscht werden. Entsprechend der Bildsynthese können Abschwächungskarten direkt auf Basis der synthetisierten Pseudo-CT Scans erzeugt werden um deren Einfluss auf die PET-Bildrekonstruktion bewerten zu können. Aufgrund der Einschränkung bisheriger Arbeiten zur Erstellung von Abschwächungskarten hauptsächlich für den Kopf- und Nackenbereich, ist ein besonderer Schwerpunkt dieses Projektes die Entwicklung neuer Methoden zur MRT-basierten Pseudo-CT Synthese für den ganzen Körper.


Abb. 1: Beispielhafte Abbildung eines kombinierten MRT-PET Scans. Pseudo-CT Bild, welches mit atlasbasierter Registrierung erzeugt wurde.

Das Projekt wird durch die Graduate School for Computing in Medicine & Life Sciences gefördert.

Ausgewählte Publikationen:

  1. Degen J., Heinrich M.P.
    Multi-Atlas Based Pseudo-CT Synthesis using Multimodal Image Registration and Local Atlas Fusion Strategies
    WBIR2016

  2. Degen J., Modersitzki J., Heinrich M.P.
    Dimensionality Reduction of Medical Image Descriptors for Multimodal Image Registration
    Current Directions in Biomedical Engineering, 2015

  3. Heinrich M.P., Schnabel J., Papiez B.W., Handels H.
    Multispectral Image Similarity Based on Local Canonical Correlation Analysis
    MICCAI 2014

Projektteam:

M.Sc. Johanna Degen
Jun.-Prof. Dr. Mattias P. Heinrich

Kooperationspartner:

Prof. Dr. Jörg Barkhausen, Klinik für Radiologie und Nuklearmedizin, Universitätsklinikum Schleswig-Holstein, Lübeck
Prof. Dr. Magdalena Rafecas, Institut für Medizintechnik, Universität zu Lübeck

 

ProjectIcon_Degen.png
Erstellt am 23. Januar 2017 - 11:40 von Heinrich. Zuletzt geändert am 23. Februar 2017 - 16:54.

Lernverfahren für die Prädiktion des klinischen Verlaufs von Schlaganfällen mittels multivariater CT Bilder

Die Behandlung von akuten Hirninfarkten erfordert eine sehr sorgfältige Entscheidungsfindung in kürzester Zeit. Ärzte müssen schnellstmöglich nach Eintreffen des/der Patienten/in und Bildgebung festlegen, welcher Therapiepfad die größtmögliche Überlebenschance bietet und Schädigungen des Gehirns möglichst reduziert. Die Entscheidungen müssen eine Vielzahl von tomographischen 3D-Bilddaten (CT-Perfusionskarten und Infrarotbilder) und weiteren klinischen Indikatoren (Alter, NIHSS, etc.) einbeziehen.

Neue Methoden im Bereich der Bildverarbeitung, der Modellierung und des maschinellen Lernens, welche mit den vielfältigen Schwierigkeiten klinischer Daten umgehen können, sollen während dieses Forschungsprojektes entwickelt, implementiert und getestet werden. Ein umfangreicher Datensatz mit retrospektiven multispektralen Bilddaten von Schlaganfallpatienten steht für die Entwicklung und das Training dieser Modelle zur Verfügung.

Die neuen Algorithmen sollen eingesetzt werden um automatisch eine pixelweise Prädiktionskarte des Gewebes mit Überlebenschancen zu generieren. Dies geschieht in Abhängigkeit der möglichen Therapie (z.B. Gefäßrekanalisation) und ermöglicht eine Einschätzung wie zeitnah ein solcher Eingriff durchgeführt werden muss. Die Arbeit wird in enger Zusammenarbeit mit dem Institut für Neuroradiologie im Kontext des TRAVE-STROKE-Projektes durchgeführt.


Abb. 1: Typische multivariate CT Aufnahme eines Schlaganfallpatienten und automatisch generierte Verlaufsprädiktion.

Das Projekt wird durch die Sektion Medizin in Paketantrages TRAVE Stroke gefördert.

Ausgewählte Publikationen:

  1. Lucas C., Kemmling A., Bouteldja N., Aulmann L.F., Madany Mamlouk A., Heinrich M.P.
    Learning to Predict Ischemic Stroke Growth on Acute CT Perfusion Data by Interpolating Low-Dimensional Shape Representations
    Frontiers in Neurology, 9, 989, 2018
  2. Lucas C., Kemmling A., Madany Mamlouk A., Heinrich M.P.
    Multi-scale neural network for automatic segmentation of ischemic strokes on acute perfusion images
    In: 2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018)2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018), Washington, DC, IEEE, 1118-1121, 2018

  3. Maier O., Menze B.H., von der Gablentz J., Häni L., Heinrich M.P., Liebrand M., Winzeck S., Basit A., Bentley P., Chen L. et al.
    ISLES 2015 - A public evaluation benchmark for ischemic stroke lesion segmentation from multispectral MRI
    Medical Image Analysis 2017

Projektteam:

M.Sc. Christian Lucas
Jun.-Prof. Dr. Mattias P. Heinrich

Kooperationspartner:

Dr. André Kemmling, Institut für Neuroradiologie, Universitätsklinikum Schleswig-Holstein, Lübeck
Dr. Amir Madany-Mamlouk, Institut für Neuro- und Bioinformatik, Universität zu Lübeck

 

ProjectIcon_Lucas.png
Erstellt am 23. Januar 2017 - 11:40 von Heinrich. Zuletzt geändert am 29. Juli 2019 - 11:22 von Kulbe.

Maschinelles Lernen von kontrastunabhängigen Merkmalsvektoren mit lokalen Wechselbeziehungen und Ähnlichkeitsmaßen für die multi-modale Bildregistrierung

Nichtlineare Bildregistrierung ist von integraler Bedeutung für klinische Anwendungen in Bereichen wie multimodaler Bildfusion, Schätzung von lokalen Deformationen und bildgestützten Eingriffen. Die Definition von Bildähnlichkeiten ist dabei eine der größten Herausforderung für die Bestimmung von Korrespondenzen zwischen mehreren medizinischen Bildern. Insbesondere wenn diese Aufnahmen mit unterschiedlichen Scannern, z.B. durch Magnetresonanztomographie (MRT), Computertomographie (CT) oder Ultraschall, entstanden sind.

Die Verwendung von Metriken, die direkt auf Bildintensitäten basieren, ist unzureichend für solche klinische Aufnahmen, welche aufgrund dieser Multimodalität nichtlineare Intensitätsrelationen enthalten - neben ohnehin häufig auftretenden Problemen wie lokalen Kontrastschwankungen, Bildrauschen, Intensitätsstörungen oder Artefakten. In diesem Projekt sollen neue Algorithmen entwickelt werden, um die Robustheit von medizinischer Bildregistrierung zu verbessern. Wir werden Fortschritte gegenüber dem aktuellen Stand der Technik erzielen, in dem eine große Anzahl von vielseitigen Bildmerkmalen, basierend auf Distanzen zwischen lokalen Bildbereichen oder Histogrammen, sinnvoll kombiniert wird. Die Merkmalsvektoren sollen die Wechselbeziehungen in einer Nachbarschaft charakteristisch abbilden und kontrastunabhängig sein. Aktuelle überwachte Lernverfahren sollen eingesetzt werden, um die optimale Auswahl und Kombination aus den potentiell hochdimensionalen Merkmalsvektoren unter Einbringung von Vorwissen zu finden. Das Lernen von Metriken und der Einsatz einer höheren Ordnung des gemeinsamen Informationsgehaltes (mutual information) sollen neue Beziehungen zwischen Merkmalsdimensionen aufdecken. Die Anwendung geeigneter Binarisierungsmethoden auf die Vektoren (für die das Hamming Gewicht als Distanz verwendet werden kann) sollen die Rechen- und Speicheranforderungen senken und gleichzeitig die Genauigkeit und Robustheit der Verfahren erhalten.

Während des Projektes soll ein tieferes Verständnis der zugrundeliegenden Prinzipien von Bildähnlichkeiten gewonnen werden. Die Entwicklung von neuen, erfolgsversprechenden Methoden für die Registrierung von zur Zeit herausfordernden multimodalen Problemen wird neue Anwendungsmöglichkeiten für die computergestützte Diagnostik, Chirurgie und Strahlentherapie, sowie  für die multimodale Bildfusion und Kontrastsynthese schaffen.


Abb. 1: Übersicht des Projektplans in dem Metriken für die multimodale Registrierung mit Trainingsdaten gelernt werden.

Das Projekt wird durch die Deutsche Forschungsgemeinschaft (DFG) gefördert (HE 7364/2-1).

Ausgewählte Publikationen:

  1. Blendowski M., Heinrich M.P.
    Learning Interpretable Multi-modal Features for Alignment with Supervised Iterative Descent
    In: MIDL 2019, Proceedings of Machine Learning Research, 102, In Press
  2. Blendowski M., Heinrich M.P.
    Combining MRF-based Deformable Registration and Deep Binary 3D-CNN Descriptors for Large Lung Motion Estimation in COPD Patients
    International Journal of Computer Assisted Radiology and Surgery, 14, 1, 43-52, 2019
  3. Blendowski M., Heinrich M.P.
    3D-CNNs for Deep Binary Descriptor Learning in Medical Volume Data
    In: Maier A., Deserno T.M., Handels H., Maier-Hein K.H., Palm C., Tolxdorff T. (eds.), Bildverarbeitung für die Medizin 2018, Erlangen, Informatik aktuell, Springer Vieweg, Berlin, Heidelberg, 23-28, 2018
  4. Heinrich M.P., Blendowski M., Oktay O.
    TernaryNet: Faster Deep Model Inference without GPUs for Medical 3D Segmentation using Sparse and Binary Convolutions
    International Journal of Computer Assisted Radiology and Surgery, 13, 9, 1311-1320, 2018
  5. Heinrich M.P., Blendowski M.
    Multi-Organ Segmentation using Vantage Point Forests and Binary Context Features
    MICCAI 2016
  6. Blendowski M., Heinrich M.P.
    Kombination binärer Kontextfeatures mit Vantage Point Forests zur Multi-Organ-Segmentierung
    BVM 2017
  7. Heinrich M.P., Jenkinson M., Bhushan M., Matin T., Gleeson F.V., Brady S.M., Schnabel J.A.
    MIND: modality independent neighbourhood descriptor for multi-modal deformable registration.
    Medical image analysis 2012
  8. Heinrich M.P., Jenkinson M., Papiez B.W., Brady S.M., Schnabel J.A.
    Towards realtime multimodal fusion for image-guided interventions using self-similarities
    MICCAI 2013

Projektteam:

M.Sc. Max Blendowski
Jun.-Prof. Dr. Mattias P. Heinrich

 

ProjectIcon_Blendowski.png
Erstellt am 23. Januar 2017 - 11:40 von Heinrich. Zuletzt geändert am 10. Mai 2019 - 13:56 von Kulbe.

Studium

Medizinische Informatik
an der Uni Lübeck studieren

Informationen für
Interessierte
u. Einsteiger

Anschrift

Institutssekretariat
Susanne Petersen

Tel+49 451 3101 5601
Fax+49 451 3101 5604


Gebäude 64 (Informatik)

Ratzeburger Allee 160
23538 Lübeck
Deutschland