Image rows or columns problem after postprocessing

[masterxq]

The Problem

Bei der Bildnachbearbeitung ist mir folgendes aufgefallen:

Das neu aufgenommene Bild ist in bester ordnung:

Nach dem Nachbearbeitung tauchen jedoch Probleme auf. Das Bild verschiebt sich um einige Pixel:

Man sieht es auch unten an dem übergang von schwarz auf weiß ziemlich gut... Wenn man erst erkannt hat was ich meine fällt es auch bei den zahlen deutlich auf.

Ich halte es für unwahrscheinlich das dies geschieht beim drehen des bildes. Weil das preview Bild (das ja bereits gedreht wurde) noch völlig in ordnung ist und diese Probleme nicht aufweißt.

Ich hatte angenommen es passiert beim alignment durch die Marker. Da habe ich bisher folgendes Experiment gestartet. Aligment algorithm abgewählt in der Config, als resultat weißen die bilder nach dem neustart immer noch die gleichen Probleme auf. Ich bin aber leider nicht ganz sicher ob ich damit das marker Alignment wirklich deaktiviert habe...

Ebenfalls unwahrscheinlich scheint das es sich um ein Darstellungproblem handelt. Da die fehler auch in der Recognazion auftauen. (siehe Bild)

Ich bin fast der Meinung das ich jetzt alles ausgeschlossen habe und übrig bleibt nichts:

1. Es liegt nicht an der cam. Da das ursprungsbild ordentlich ist.
2. Es liegt nicht an der rotation, da das preview bild inkl. rotation ordentlich ist.
3. Es liegt nicht am marker alignment da auch wenn dieses ausgeschaltet ist die fehler auftreten.
4. Es liegt nicht an der darstellung, da unterschiedliche teilbilder die gleichen probleme aufweisen.

Gut bei 2 kann es noch sein das für das preview bild ein anderer agorithmus benutzt wird und bei 3 kann es noch sein das ich das alignment niemals wirklich ausgeschaltet habe oder er immer mit den letzten parametern weiter arbeitet.

Eigentlich wäre bei mir auch kein zusätzliches alignment notwendig, die Kamera ist mit hoher Statik installiert.

Ich kann leider nicht allzuviele experimente durchführen. Da mein zähler für mich unzugängig ist und ich das ding nur mit enormen aufwand power cyclen kann, wenn die camera nicht mehr erkannt wird. Passiert nur so alle 20 neustarts ^^ Aber es ist ne katastrophe wenn es passiert ^^

Version

v16.0.0 (Commit: f542d84)

Logfile

[0d00h00m03s] 2025-07-01T00:21:14 <INF> [SNTP] time zone: +0200 Delta to UTC: 7200 seconds
[0d00h00m03s] 2025-07-01T00:21:14 <INF> [SNTP] Time is already set: 2025-07-01 00:21:14
[0d00h00m03s] 2025-07-01T00:21:14 <INF> [MAIN] CPU frequency: 160 MHz
[0d00h00m03s] 2025-07-01T00:21:14 <INF> [SDCARD] Folder/file presence check started...
[0d00h00m03s] 2025-07-01T00:21:14 <INF> [SDCARD] Folder/file presence check successful
[0d00h00m03s] 2025-07-01T00:21:14 <INF> [MAIN] Tag: 'v16.0.0', Release: v16.0.0 (Commit: f542d84), Date/Time: 2025-03-15 13:28, Web UI: Release: v16.0.0 (Commit: f542d84)
[0d00h00m03s] 2025-07-01T00:21:14 <INF> [MAIN] Reset reason: Via esp_restart
[0d00h00m03s] 2025-07-01T00:21:14 <INF> [WLANINI] SSID: xxxxxxxx
[0d00h00m03s] 2025-07-01T00:21:14 <INF> [WLANINI] Password: XXXXXXXX
[0d00h00m03s] 2025-07-01T00:21:14 <INF> [WLANINI] Hostname: hausanschluss
[0d00h00m03s] 2025-07-01T00:21:14 <INF> [WLANINI] RSSIThreshold: -75
[0d00h00m03s] 2025-07-01T00:21:14 <INF> [MAIN] WLAN config loaded, init WIFI...
[0d00h00m03s] 2025-07-01T00:21:14 <INF> [WIFI] Automatic interface config --> Use DHCP service
[0d00h00m03s] 2025-07-01T00:21:14 <INF> [WIFI] Set hostname to: hausanschluss
[0d00h00m03s] 2025-07-01T00:21:14 <INF> [WIFI] Init successful
[0d00h00m07s] 2025-07-01T00:21:18 <INF> [WIFI] Connected to: xxxxxxx, RSSI: -89
[0d00h00m08s] 2025-07-01T00:21:19 <INF> [WIFI] Assigned IP: 192.168.4.185
[0d00h00m23s] 2025-07-01T00:21:34 <INF> [MAIN] Device info: CPU cores: 2, Chip revision: 101
[0d00h00m23s] 2025-07-01T00:21:35 <INF> [MAIN] SD card info: Name: SC32G, Capacity: 30436MB, Free: 30410MB
[0d00h00m25s] 2025-07-01T00:21:37 <INF> [MAIN] Initialization completed successfully
[0d00h00m27s] 2025-07-01T00:21:39 <INF> [TFLITE] Trying to load the model. If it crashes here, it ist most likely due to a corrupted model!
[0d00h00m27s] 2025-07-01T00:21:39 <INF> [LOGFILE] Set log level to ERROR
[0d00h06m20s] 2025-07-01T00:27:30 <ERR> [POSTPROC] main: Raw: 72214.93, Value: , Status: Rate too high - Read: 72214.93 - Pre: 72212.88 - Rate: 0.41
[0d00h11m20s] 2025-07-01T00:32:30 <ERR> [POSTPROC] main: Raw: 72214.96, Value: , Status: Rate too high - Read: 72214.96 - Pre: 72212.88 - Rate: 0.21

Expected Behavior

Ich hätte erwartet das die bild qualität auch nach dem postprossing ähnlich hoch bleibt.

Screenshots

See description

Additional Context

Meine Annahme ist, dass dies die KI beim erkennen der Bilder stört.
Deckt sich auch mit meinen beobachtungen, ich hatte schonmal noch stärker und dies hat sehr wahrscheinlich zu einer schlechteren erkennung geführt.

[caco3]

Ich denke nicht, dass es ein Bug ist, denn sonst hätten wir generell ein Problem! vermutlich kommt das einfach von der Rotation des Bildes. Das kann man nicht verhindern (ausser, man würde es verschmieren).
Das Neuronale Netzwerk sollte aber keine Probleme damit haben, denn es ist ja tolerant ggü. minimal anderen/verschobenen Pixeln.

Etwas anderes:
Versuch mal, die Reference Marks weiter ausseinander zu platzieren. Die sind eher nahe beieinander. Idealerweise sind sie in den entgegegengesetzten Ecken.

[SybexX]

Die Rotation auf der References-Seite wird vom Web-Browser erledigt, beim normalen Betrieb jedoch vom ESP32.

[masterxq]

Ah ja verstehe, hatte ich auch schon überlegt aber dann nicht mehr geprüft, deshalb sehe ich das im dort sehr smooth und in den anderen halt kaput... Gut macht Sinn.
Aber trotzdem, scheint mir eine sache, doch etwas komisch ist.
Betrachtet mal die gerade kante unten... Dort geht es von links nach rechts erst stufen weise rauf und dann wieder runter... sowas könnte passieren wenn man ne perspektive ausgleicht oder so, aber nicht wenn man es einfach rotiert. Es dürften wirklich nur aufsteigenden stufen oder nur absteigende stufen sein. Halt monoton. Aber ist hier nicht der fall es wird 4x die richtung geändert, was eigentlich auch schon zu viel ist zum ausgleich einer perspektive.

Nur so aus neugierde, falls es wirklich die rotation ist, was für mich immer noch etwas widersprüchlich ist (weil nicht monoton) warum macht der rotation algorihm das nicht smooth?
Ich meine es sollte für ein relativ starkes antialaising doch ausreichen, ein paar Zeilen des Bildes im Ram zu halten und dafür sollte es eigentlich immer reichen.

Was es wirklich die rotation ist, sehe ich da echt noch ne niedrig hängende frucht ^^ Weil wenn man das in griff bekommt sollten die erkennugen schon viel besser werden.
Da gibt es ja auch unterschiedliche ansätze, entweder man findet echt ein algo der es besser macht. Oder man packt es in die dokumentation und schärft die sinne des benutzers das eine rotation mod 90° != 0 halt keine gute idee ist und das ein statisches setup viel besser ist.

Haltet ihr es für möglich das es sich um ein hardware defekt meinerseit handelt? Also irgendwelche defekte RAM bereiche oder so, oder kennt ihr das Verhalten auch von anderen Systemen?

Wie auch immer vielen lieben dank, dass ihr auf sowas eingeht, ist ein cooles projekt, es macht spaß das einzusetzen und auch eure doku ist wirklich sehr liebevoll aufbereitet :)

[SybexX]

Dies Verhalten ist normal, deshalb richte ich die Kamera so gut es geht aus, damit ich die Rotation nicht benutzen muß.
Antialaising ist zwar implementiert, wird jedoch nicht verwendet.
Da dieses Verhalten keinen großen Einfluss auf die Funktionalität hat, habe ich mich damit noch nicht befasst.

[masterxq]

Ok, vielen Dank, dann brauche ich mich jedenfalls nicht mit anderer hardware rumschlagen. Das ist schonmal viel wert!

Aber ich habe die rotation jetzt mal ausgestellt. bzw auf genau 90°. Es waren eh nur wenige 1/10 ° anpassung nötig.

Zusätzlich habe ich als workaround zoom benutzt, weil bei einer höheren Auflösung die kleinen treppenstufen weniger ins gewicht fallen:

Trotz 90° rotation, immer noch stufen drin. Das ist doch komisch. Die Marker sind aber inzwischen wieder aktiviert, weil ich mit der deaktivierung auch keine Änderung erreichen konnte.

Deine empfehlung für meine Anwendung ist wenn ich dich richtig verstanden habe:

"Vergiss es, ignoriere es, die Erkennung wird davon nicht groß beeinflusst?"

Würde ich sonst einfach machen, als user reicht mir um dort weiter zu machen. Aus Sicht des Produktes, scheint mir dieses Thema dennoch ein paar weitere Gedankengänge Wert zu sein. Da es potentiel viele beeinflusst. Wobei ich ehrlich zugeben muss, das mir der impact völlig unklar ist. Nur mein Bauchgefühl sagt mir, dass es nicht ganz ohne Auswirkungen ist. Aber ein paar echte Messungen gewinnen da natürlich sofort gegen mein Bauchgefühl :)

[SybexX]

ich habe da mal etwas rumgespielt, wenn du möchtest, kannst du die test firmware ausprobieren https://github.com/SybexX/AI-on-the-edge-device/actions/runs/16081391570

[caco3]

Ich meine es sollte für ein relativ starkes antialaising doch ausreichen, ein paar Zeilen des Bildes im Ram zu halten und dafür sollte es eigentlich immer reichen.

Leider haben wir zuwenig RAM, um das Bild während der ganzen Zeit im RAM zu halten.

warum macht der rotation algorihm das nicht smooth?

Weil es Rechenzeit kostet und offenbar für den Algorithmus nicht relevant ist. Reine vermutung, habe mich nie damit befasst.

rotation mod 90° != 0 halt keine gute idee ist und das ein statisches setup viel besser ist.

Das ist halt oft nicht möglich.

Also irgendwelche defekte RAM bereiche

Das wird beim Aufstarten überprüft und ist wohl eher unrealistisch