Democratizing Learning with Neural Cellular Automata

Artificial Intelligence (AI) holds immense promise for transforming medical image analysis by providing faster and more accurate diagnosis, yet its benefits remain largely confined to wealthy regions. This disparity is particularly concerning in low- and middle-income countries (LMICs), where AI could reduce the burden on healthcare systems running at capacity but remains out of reach due to the high infrastructure demands of established models. This dissertation tackles the crucial challenge of democratizing AI by emphasizing efficiency, accessibility, trust, and adaptability, aiming to make advanced learning tools universally available. This dissertation focuses on bringing Neural Cellular Automata (NCA), a lightweight, efficient alternative to more conventional deep learning architectures, into the real world. Originally limited to toy problems, with the introduction of Med-NCA and M3D-NCA, NCA can now be applied to real-world tasks and handle high-resolution image segmentation. With 2-3 orders of magnitude fewer parameters than established architectures such as UNets, MED-NCA achieves similar accuracy, making them particularly suitable for resource-constrained environments. But, efficiency alone is not enough, accessibility is equally important. This research demonstrates that NCA can be deployed on minimal hardware, including Raspberry Pi devices and Android smartphones, bringing advanced AI capabilities into the hands of billions of people. The improved accessibility enables advanced healthcare solutions to extend beyond well-equipped facilities into underserved and remote regions. As models tend to fail on real-world data, ensuring trust is likewise a crucial challenge, especially in healthcare where reliability is critical. The NCA Quality Metric (NQM) is presented which provides quantitative feedback on model reliability, using the stochastic properties of NCA to signal potential failure scenarios. Finally, reducing dependence on large annotated datasets that are often unavailable in underserved regions is required to truly democratize learning. The Variance-Weighted Segmentation Loss (VWSL) approaches this problem, which is an adaptation method that enables the unsupervised finetuning of Med-NCA and adjusts to local data distribution shifts, removing the need for extensive labeled data. This dissertation aims to democratize learning by breaking down crucial barriers to efficiency, accessibility, trust, and unsupervised adaptability. By optimizing Neural Cellular Automata to handle high-resolution data, run on widely available hardware, detect failure cases, and finetune on unlabeled local data, this work aims to make access to advanced AI technologies equitable, bringing the benefits of AI into everybody's pockets, even in the most resource-constraint regions.

Künstliche Intelligenz (KI) verspricht, die medizinische Bildanalyse zu verändern, indem sie eine schnellere und genauere Diagnose ermöglicht, doch ihr Nutzen bleibt weitgehend auf wohlhabende Regionen beschränkt. Diese Ungleichheit ist besonders in Ländern mit niedrigem und mittlerem Einkommen (LMICs) problematisch, wo KI die Belastung von Gesundheitssystemen, die an der Kapazitätsgrenze arbeiten, verringern könnte, aber aufgrund der hohen Infrastrukturanforderungen etablierter Modelle nicht anwendbar ist. Diese Dissertation befasst sich mit der Herausforderung, KI zu demokratisieren, indem sie Effizienz, Zugänglichkeit, Vertrauen und Anpassungsfähigkeit in den Vordergrund stellt und darauf abzielt, fortschrittliche KI Systeme universell verfügbar zu machen. Diese Dissertation konzentriert sich darauf, Neuronale Zelluläre Automaten (NCA), eine leichtgewichtige, effiziente Alternative zu konventionellen Deep-Learning-Architekturen, in die reale Welt zu bringen. Ursprünglich auf vereinfachte Problemstellungen beschränkt, können NCA mit der Einführung von Med-NCA und M3D-NCA nun auf reale Probleme angewendet werden und hochauflösende Bildsegmentierung durchführen. Mit 2 bis 3 Größenordnungen weniger Parametern als etablierte Architekturen wie UNets erreicht MED-NCA eine ähnliche Genauigkeit und ist damit besonders für ressourcenbeschränkte Umgebungen geeignet. Doch Effizienz allein reicht nicht aus, die Zugänglichkeit ist ebenso wichtig. Diese Dissertation zeigt, dass NCA auf minimaler Hardware, einschließlich Raspberry Pi-Geräten und Android-Smartphones, eingesetzt werden können, wodurch fortschrittliche KI-Funktionen in die Hände von Milliarden von Menschen gelangen. Die verbesserte Zugänglichkeit ermöglicht es, fortschrittliche Gesundheitslösungen über gut ausgestattete Einrichtungen hinaus in unterversorgte und abgelegene Regionen auszuweiten. Da Modelle dazu neigen, auf realen Daten Fehleranfällig zu werden, ist die Gewährleistung von Vertrauen in diese ebenfalls eine entscheidende Herausforderung, insbesondere im Gesundheitswesen, wo die Zuverlässigkeit entscheidend ist. Daher wird die NCA Qualitätsmetrik (NQM) vorgestellt, welche quantitatives Feedback zur Modellzuverlässigkeit liefert und die stochastischen Eigenschaften von NCA nutzt, um potenzielle Fehlerfälle zu signalisieren. Schließlich muss die Abhängigkeit von großen annotierten Datensätzen, die in unterversorgten Regionen oft nicht verfügbar sind, verringert werden, um das Lernen zu demokratisieren. Der varianzgewichteten Segmentierungsloss (VWSL) behandelt diese Problematik und ist eine Methode, die die unüberwachte Optimierung von Med-NCA ermöglicht und sich an lokale Distribution Shifts anpasst, wodurch die Notwendigkeit umfangreicher annotierter Daten entfällt. Diese Dissertation zielt darauf ab, den Zugang zu KI zu demokratisieren, indem entscheidende Barrieren in Bezug auf Effizienz, Zugänglichkeit, Vertrauen und unüberwachte Anpassungsfähigkeit überwunden werden. Durch die Optimierung Neuronaler Zellulärer Automaten für die Verarbeitung hochauflösender Daten, die Ausführung auf weit verbreiteter Hardware, die Erkennung von Fehlern und die Adaptierung auf nicht annotierte lokale Daten soll diese Arbeit den Zugang zu fortschrittlichen KI-Technologien fair gestalten und die Vorteile von KI systemen für jeden zugänglich machen, insbesondere in Regionen mit stark limiterten Ressourcen.