AI-Supported 3D Reconstruction of Peripheral Nerves

KI-unterstĂĽtzte 3D-Rekonstruktion von Peripheren Nerven

Our Goal

Unser Ziel

Reimagining Pediatric Nerve Assessment

Pädiatrische Nervenbeurteilung neu gedacht

Our research objective is to develop a reproducible methodology for comprehensive nerve assessment in pediatric populations. Current ultrasound-based diagnostic approaches are constrained by reliance on cross-sectional area (CSA) measurements at 1-3 predefined anatomical locations, which fails to capture the complete morphological profile along the nerve's trajectory.

Unser Forschungsobjekt ist es, eine reproduzierbare Methode für die umfassende Nervenbeurteilung bei Kindern und Jugendlichen zu entwickeln. Aktuelle Ultraschall-basierte diagnostische Ansätze sind aufgrund der Abhängigkeit von Querschnittsflächen-Messungen (CSA) an 1-3 vorgegebenen anatomischen Stellen eingeschränkt, was eine vollständige morphologische Untersuchung entlang der Nervenbahn nicht erlaubt.

In conditions such as Type 1 diabetes (T1D) and spinal muscular atrophy (SMA), structural alterations in nerve morphology may occur heterogeneously along the nerve's course. These spatial variations remain undetected with conventional point measurement techniques, potentially limiting diagnostic sensitivity and longitudinal monitoring capabilities.

Bei Erkrankungen wie Typ-1-Diabetes (T1D) und spinaler Muskelatrophie (SMA) können strukturelle Veränderungen in der Nervenmorphologie heterogen entlang des Nervenverlaufs auftreten. Diese räumlichen Variationen bleiben mit konventionellen Punktmessungstechniken unentdeckt, was möglicherweise die diagnostische Sensitivität und die longitudinalen Überwachungsfähigkeiten einschränkt.

Our methodological framework integrates ultrasound video acquisition with the Segment Anything Model 2 (SAM2) deep learning algorithm to enable physician-guided frame-by-frame nerve segmentation with minimal annotation requirements. This approach facilitates the generation of comprehensive 3D reconstructions, from which we can derive quantitative metrics including volumetric parameters, cross-sectional variability, and shape characteristics.

Unser methodischer Ansatz integriert Ultraschall-Videoerfassung mit dem Segment Anything Model 2 (SAM2) Deep-Learning-Algorithmus, um eine arztgeleitete bildweise Nervensegmentierung mit minimalen Annotationsanforderungen zu ermöglichen. Dieser Ansatz erleichtert die Generierung umfassender 3D-Rekonstruktionen, aus denen wir quantitative Metriken ableiten können, einschließlich volumetrischer Parameter, Querschnittsvariabilität und Formcharakteristika.

Through validation against physician-annotated ground truth in multiple clinical cohorts (healthy controls, T1D, and SMA), we aim to establish the technical feasibility and clinical utility of this approach, with potential applications in diagnostic assessment, disease progression monitoring, and therapeutic response evaluation in pediatric neuromuscular disorders.

Durch Validierung gegen ärztlich annotierte Referenzdaten in mehreren klinischen Kohorten (gesunde Kontrollen, T1D und SMA) zielen wir darauf ab, die technische Machbarkeit und den klinischen Nutzen dieses Ansatzes zu etablieren, mit potenziellen Anwendungen in der diagnostischen Bewertung, dem Monitoring des Krankheitsverlaufs und der Bewertung des therapeutischen Ansprechens bei pädiatrischen neuromuskulären Erkrankungen.

Our Approach

Unser Ansatz

Key Innovations

SchlĂĽsselinnovationen

Using AI and ultrasound to advance how we visualize and assess peripheral nerves in children.

Verwendung von KI und Ultraschall zur Weiterentwicklung der Visualisierung und Beurteilung der peripheren Nerven bei Kindern und Jugendlichen.

flowchart TB classDef default fill:#f9f9fe,stroke:#6366f1,stroke-width:1px,color:#374151,font-family:ui-sans-serif,system-ui,sans-serif,font-weight:400 A["Ultrasound Video"] --> B["Physician Annotation"] B --> C["SAM2 Segmentation"] C --> D["Nerve Segmentation"] subgraph Refinement [" "] style Refinement fill:transparent,stroke:#e5e7eb,stroke-width:1px,color:#111827,stroke-dasharray: 5 5 E["Physician Refinement"] -.-> D D -.-> E end D --> F["3D Reconstruction"] F --> G["Digital Model"] F --> H["Physical Model"] F --> I["Quantitative Data"]
flowchart TB classDef default fill:#f9f9fe,stroke:#6366f1,stroke-width:1px,color:#374151,font-family:ui-sans-serif,system-ui,sans-serif,font-weight:400 A["Ultraschallvideo"] --> B["Arztannotation"] B --> C["SAM2 Segmentation"] C --> D["Nerven Segmentierung"] subgraph Refinement [" "] style Refinement fill:transparent,stroke:#e5e7eb,stroke-width:1px,color:#111827,stroke-dasharray: 5 5 E["Ă„rztliche Verfeinerung"] -.-> D D -.-> E end D --> F["3D Rekonstruktion"] F --> G["Digitales Modell"] F --> H["Physikalisches Modell"] F --> I["Quantitative Data"]
🧠
Complete Nerve Visualization Vollständige Nervenvisualisierung
Unlike traditional point measurements, our method captures the entire structure of the nerve, enabling physicians to detect subtle morphological changes along its length. This comprehensive view provides unprecedented insight into nerve development and pathology.
Im Gegensatz zu traditionellen Punktmessungen erlaubt unser Ansatz die vollständige Struktur des Nerven zu erfassen, was Ärzten die Entdeckung subtiler morphologischer Veränderungen entlang der Nervenbahn ermöglicht. Diese umfassende Sichtweise bietet eine neueartige Einsicht in die Entwicklung und Pathologie der Nerven.
🤖
AI-Supported Segmentation KI-unterstĂĽtzte Segmentierung
We leverage the cutting-edge Segment Anything Model 2 (SAM2), an open-source computer vision model, to automate nerve segmentation in ultrasound videos. Our approach balances computational efficiency with physician control through selective refinement, making it practical for clinical use.
Wir nutzen das fortschrittliche Segment Anything Model 2 (SAM2), ein Open-Source-Computer-Vision-Modell, um die Nervensegmentierung in Ultraschallvideos teilweise zu automatisieren. Unser Ansatz vereint die Effizienz von Computern mit der Kontrolle durch Ärzte durch selektive Verfeinerung, was einen Einsatz im klinischen Alltag ermöglicht.
🔍
Novel Clinical Metrics Neue klinische Metriken
Our 3D reconstruction enables the measurement of entirely new clinical metrics including CSA changes, shape variations, and volume along the entire nerve. These measurements provide deeper insights into nerve pathology in conditions like Type 1 diabetes and spinal muscular atrophy.
Unsere 3D-Rekonstruktion ermöglicht die Messung vollständig neuer klinischer Metriken, einschließlich CSA-Änderungen, Formvariationen und Volumen entlang der gesamten Nervenbahn. Diese Messungen bieten tiefere Einblicke in die Pathologie der Nerven bei Erkrankungen wie Typ-1-Diabetes und spinaler Muskelatrophie.

Publications, Conferences, Grants, and Awards

AI Health 2025 Conference Cover
Conference

Presented at: 2nd International Annual Conference on AI in Health 2025

AI-Supported 3D Reconstruction for Comprehensive Pediatric Nerve Assessment in Neuromuscular Disorders

Marc R. Gruener, Kenan Bektas, Justus Marquetand, Simon Mayer, Oliver Roehrle, Pengfei Zhang, Philip J. Broser

We have acquired over 30 standardized ultrasound videos from healthy children and patients with T1D, SMA, and other neuromuscular disorders, with AI-assisted 3D reconstruction revealing distinct morphological patterns between healthy and affected nerves. Future integration of robotic ultrasound acquisition for further standardized data collection is planned.

Abstracts Book
GNP 2025 Conference Cover
Conference

Presented at: 50th Annual Meeting of theGerman Neuropediatric Society

Automatic Video Segmentation-Based 3D Reconstruction for Comprehensive Median Nerve Assessment in Healthy, T1D, and SMA Pediatric Populations

Marc R. Gruener, Vivian Bechtiger, Kenan Bektas, Simon Mayer, Philip. J. Broser

We demonstrate that a SAM2-based deep learning method can be used to segment ultrasound videos and reconstruct 3D nerve models, enabling measurement of structural changes along the entire nerve length, and revealing distinct morphological patterns between healthy children and those with neuromuscular conditions.

DOI: 10.1055/s-0045-1812117

Our team

We are a team of clinicians and researchers from the Childrens Hospital of Eastern Switzerland and the University of St. Gallen - School of Computer Science.

Wir sind ein Team von Ärzten und Forschern aus dem Ostschweizer Kinderspital und der Universität St. Gallen - School of Computer Science.

Open Master Thesis Topics

Offene Masterarbeitsthemen

Want to suggest a topic? Reach out to us directly.

Du möchtest ein Thema vorschlagen? Kontaktiere uns direkt unter marc-robin.gruener@kispisg.ch.

Application of Video Object Segmentation for Pediatric Nerve Ultrasound
Anwendung der Videoobjektsegmentierung für pädiatrischen Nervenultraschall
Development of an automated pipeline for median nerve ultrasound segmentation and 3D reconstruction to enhance clinical assessment of peripheral nerve pathologies in pediatric Type-1 diabetes and spinal muscular atrophy patients. Learn more
Entwicklung einer automatisierten Pipeline für die Ultraschall-Segmentierung des Nervus medianus und 3D-Rekonstruktion zur Verbesserung der klinischen Bewertung peripherer Nervenpathologien bei pädiatrischen Typ-1-Diabetes- und spinalen Muskelatrophie-Patienten. Mehr erfahren

Collaborate with us

Arbeite mit uns zusammen

We welcome collaborations with clinicians, researchers, and industry partners to advance the development of our technology.

Wir freuen uns auf Kooperationen mit Ă„rzten, Forschern und Praktikern, um die Entwicklung unserer Technologie voranzubringen.

Reach Out Kontaktiere uns