Die Herausforderung
Mussel App ist eine Betriebssoftware für neuseeländische Muschel- und Austernfarmen. Geerntete Muscheln wurden einzeln mit der Schieblehre gemessen. Das war langsam, und zwei Prüfer kamen oft zu unterschiedlichen Ergebnissen.
Das Ziel
Aus einem Handyfoto von Muscheln auf einer Messplatte Länge und Breite in Millimetern ermitteln: zuverlässig genug für die Sortierung und einfach genug für den Einsatz an Bord.
Was wir gebaut haben
- Ein YOLO-Modell findet und umreißt jede Muschel auf dem Foto.
- Ein zweites Modell liest das aufgedruckte Lineal der Messplatte, sodass Pixel in jedem Bild und bei jedem Abstand in Millimeter umgerechnet werden.
- Jede Schale wird vermessen, und die Ergebnisse werden zur schnellen Kontrolle direkt ins Foto eingezeichnet.
- Alles läuft über einen FastAPI-Dienst auf AWS Lambda und ist bereit für die iOS-App.
Die schwierigen Stellen
Fotos aus unterschiedlichen Abständen.
Kalibrierung anhand der Skala der Messplatte in jedem Foto.
Drehung des Smartphones und EXIF-Eigenheiten.
Automatische Ausrichtung vor jeder Messung.
Unruhige Edelstahltische im Hintergrund.
Richtungsfilter, die die Linien des Lineals herausarbeiten.
Unscharfe oder teilweise verdeckte Schalen.
Eine Rückfallebene, die die Größe trotzdem schätzt und unsichere Ergebnisse kennzeichnet.
Das Ergebnis
Gleichbleibende Muschelvermessung in Sekunden, ohne Handarbeit, die die Messung mit der Schieblehre im Team ersetzt.