Maschinelles Lernen von kontrastunabhängigen Merkmalsvektoren mit lokalen Wechselbeziehungen und Ähnlichkeitsmaßen für die multi-modale Bildregistrierung

Nichtlineare Bildregistrierung ist von integraler Bedeutung für klinische Anwendungen in Bereichen wie multimodaler Bildfusion, Schätzung von lokalen Deformationen und bildgestützten Eingriffen. Die Definition von Bildähnlichkeiten ist dabei eine der größten Herausforderung für die Bestimmung von Korrespondenzen zwischen mehreren medizinischen Bildern. Insbesondere wenn diese Aufnahmen mit unterschiedlichen Scannern, z.B. durch Magnetresonanztomographie (MRT), Computertomographie (CT) oder Ultraschall, entstanden sind.

Die Verwendung von Metriken, die direkt auf Bildintensitäten basieren, ist unzureichend für solche klinische Aufnahmen, welche aufgrund dieser Multimodalität nichtlineare Intensitätsrelationen enthalten - neben ohnehin häufig auftretenden Problemen wie lokalen Kontrastschwankungen, Bildrauschen, Intensitätsstörungen oder Artefakten. In diesem Projekt sollen neue Algorithmen entwickelt werden, um die Robustheit von medizinischer Bildregistrierung zu verbessern. Wir werden Fortschritte gegenüber dem aktuellen Stand der Technik erzielen, in dem eine große Anzahl von vielseitigen Bildmerkmalen, basierend auf Distanzen zwischen lokalen Bildbereichen oder Histogrammen, sinnvoll kombiniert wird. Die Merkmalsvektoren sollen die Wechselbeziehungen in einer Nachbarschaft charakteristisch abbilden und kontrastunabhängig sein. Aktuelle überwachte Lernverfahren sollen eingesetzt werden, um die optimale Auswahl und Kombination aus den potentiell hochdimensionalen Merkmalsvektoren unter Einbringung von Vorwissen zu finden. Das Lernen von Metriken und der Einsatz einer höheren Ordnung des gemeinsamen Informationsgehaltes (mutual information) sollen neue Beziehungen zwischen Merkmalsdimensionen aufdecken. Die Anwendung geeigneter Binarisierungsmethoden auf die Vektoren (für die das Hamming Gewicht als Distanz verwendet werden kann) sollen die Rechen- und Speicheranforderungen senken und gleichzeitig die Genauigkeit und Robustheit der Verfahren erhalten.

Während des Projektes soll ein tieferes Verständnis der zugrundeliegenden Prinzipien von Bildähnlichkeiten gewonnen werden. Die Entwicklung von neuen, erfolgsversprechenden Methoden für die Registrierung von zur Zeit herausfordernden multimodalen Problemen wird neue Anwendungsmöglichkeiten für die computergestützte Diagnostik, Chirurgie und Strahlentherapie, sowie  für die multimodale Bildfusion und Kontrastsynthese schaffen.

Das Projekt wird durch die Deutsche Forschungsgemeinschaft (DFG) gefördert (HE 7364/2-1).

Ausgewählte Publikationen

  1. Blendowski M., Heinrich M.P.
    Learning Interpretable Multi-modal Features for Alignment with Supervised Iterative Descent
    In: MIDL 2019, Proceedings of Machine Learning Research, 102, In Press
  2. Blendowski M., Heinrich M.P.
    Combining MRF-based Deformable Registration and Deep Binary 3D-CNN Descriptors for Large Lung Motion Estimation in COPD Patients
    International Journal of Computer Assisted Radiology and Surgery, 14, 1, 43-52, 2019
  3. Blendowski M., Heinrich M.P.
    3D-CNNs for Deep Binary Descriptor Learning in Medical Volume Data
    In: Maier A., Deserno T.M., Handels H., Maier-Hein K.H., Palm C., Tolxdorff T. (eds.), Bildverarbeitung für die Medizin 2018, Erlangen, Informatik aktuell, Springer Vieweg, Berlin, Heidelberg, 23-28, 2018
  4. Heinrich M.P., Blendowski M., Oktay O.
    TernaryNet: Faster Deep Model Inference without GPUs for Medical 3D Segmentation using Sparse and Binary Convolutions
    International Journal of Computer Assisted Radiology and Surgery, 13, 9, 1311-1320, 2018
  5. Heinrich M.P., Blendowski M.
    Multi-Organ Segmentation using Vantage Point Forests and Binary Context Features
    MICCAI 2016
  6. Blendowski M., Heinrich M.P.
    Kombination binärer Kontextfeatures mit Vantage Point Forests zur Multi-Organ-Segmentierung 
    BVM 2017
  7. Heinrich M.P., Jenkinson M., Bhushan M., Matin T., Gleeson F.V., Brady S.M., Schnabel J.A.
    MIND: modality independent neighbourhood descriptor for multi-modal deformable registration
    Medical image analysis 2012
  8. Heinrich M.P., Jenkinson M., Papiez B.W., Brady S.M., Schnabel J.A.
    Towards realtime multimodal fusion for image-guided interventions using self-similarities
    MICCAI 2013

Projektteam

M.Sc. Max Blendowski
Jun.-Prof. Dr. Mattias P. Heinrich