Hintergrund
#Dies ist unser eigenes Produkt, 2021 entwickelt auf Grundlage des Doktorats unseres Gründers in Computer Vision und seiner langjährigen Arbeit mit biomedizinischen Bildern. Wir wollten eine Idee prüfen: dass ein Modell lernen kann, Mikroskopiebilder aus wenigen schnellen Markierungen einer Fachperson zu annotieren, und zwar so schnell, dass die Fachperson im Prozess bleibt.
Herausforderung
#Bevor eine Software etwas in einem Mikroskopiebild messen kann, etwa wie viele Zellen es gibt oder wie gross sie sind, muss jemand markieren, welche Bildbereiche zu welchem Objekt gehören. Dieser Schritt heisst Segmentierung.
Zellen und Strukturen sehen je nach Instrument und Probe sehr unterschiedlich aus, deshalb kann oft nur eine Fachperson zuverlässig sagen, was was ist. Jedes Objekt von Hand zu umranden, kostet Expertenzeit, die eigentlich in die Analyse gehören sollte.
Unser Ansatz
#Striche statt Umrisse. Die Fachperson malt einige grobe Striche auf ein Bild: eine Farbe auf die Objekte von Interesse, eine andere auf den Hintergrund. Das Modell lernt aus diesen Strichen und umrandet ähnliche Objekte im ganzen Bild.

Schnell genug, um im Prozess zu bleiben. Ein vortrainiertes neuronales Netz beschreibt jeden Bildpunkt einmal im Voraus. Wenn die Fachperson Striche ergänzt, wird nur ein kleines, schnelles Modell darauf neu trainiert, sodass ein Update Sekunden dauert statt eines vollständigen Trainingslaufs. Ein letzter Schritt glättet das Ergebnis zu sauberen Umrissen, die jeden Strich berücksichtigen.
Das letzte Wort hat die Fachperson. Wir klärten, was das Modell von den Nutzenden brauchte und was sie sehen mussten, entwarfen einen Workflow für das Setzen von Strichen, das Prüfen von Vorhersagen und das Korrigieren von Fehlern und testeten ihn als Mockups mit Nutzenden, bevor wir ihn bauten.
Wir setzten den Workflow in einer Webanwendung um und demonstrierten ihn öffentlich an drei Datensätzen aus der Licht-, Elektronen- und Fluoreszenzmikroskopie.

«Als wir die ersten Ergebnisse sahen, trauten wir unseren Augen nicht! Das Modell brauchte nur wenige Skizzen, um ein Bild nahezu perfekt zu annotieren. Statt 30–60 Min. für ein einzelnes Bild aufzuwenden, erhielten wir in wenigen Sekunden brauchbare Ergebnisse.»
– Denis Samuylov, Gründer von SamuylovAI
Ergebnisse
#Sekunden pro Update. In unserer Evaluation brauchte das Modell zwei bis drei Updates pro Bild, und jedes Update dauerte im Durchschnitt rund sieben Sekunden.
Prüfen statt zeichnen. Fachleute prüfen und korrigieren die erzeugten Umrisse und ergänzen Objekte, die das Modell übersehen hat, statt jedes Objekt von Grund auf einzuzeichnen.
Was übertragbar ist
#Expertenzeit nur dort einsetzen, wo sie unersetzlich ist. Einige Striche und eine abschliessende Prüfung brauchen das Urteil von Fachleuten. Jeden Umriss einzuzeichnen, braucht es nicht.
Tempo entscheidet, ob Menschen im Prozess bleiben. Ein Update in Sekunden hält eine Fachperson am Bildschirm, die laufend korrigiert; ein langes Neutraining schickt sie weg. Hier hiess das, die Arbeit aufzuteilen: in einen aufwendigen Schritt, der einmal im Voraus läuft, und ein leichtes Modell, das bei jeder Änderung neu trainiert wird.
Die Prüfung gestalten, nicht nur das Modell. Ein Workflow zum Prüfen und Korrigieren von Vorhersagen, der vor dem Bau mit Nutzenden getestet wird, macht aus einem Modell ein Werkzeug, mit dem Fachleute arbeiten können.
Dasselbe Team gestaltete danach eine Browser-Oberfläche für den Traction-Force-Algorithmus eines Forschungslabors.
Verbringen Ihre Fachleute Stunden mit Arbeit, die ein Modell für sie vorbereiten könnte, damit sie sie nur noch prüfen? Wir bauen das Modell und den Prüf-Workflow rund um Ihre Fachleute. Sehen Sie sich Advisory & Implementation an, oder Kontakt aufnehmen.


