Bad detection / reliability of ana-cont models 1300 and newer (1400, 1500)

[Slider0007]

The Problem

The ana-cont models 1300 and newer, 1400 and 1500 have quite bad detection rates especially in the region of zero which is crucial for transition determination and post-processing. Almost every zero crossing is not initially successful and not smooth at all.

• 1300 is quite OK, but still not usable in my opinion
• 1400 is the worst of the three, it detects quite often the complete wrong number
• 1500 is almost as weak as 1400, the variance seems quite high (see example)

I've tested with two different demo sets. Using the same demo sets with ana-cont-1208 (and earlier) or the ana-class100 models, no issues at all.

The last good ana-cont model seems to be 1208 which performs quite well. Still the reference in terms of detection rate is the ana-class100-171. It's little slower than ana-cont but if detection matters for my environment it's still the best.

BTW: Is ana-class100 model not maintained anymore? I've realized that ana-class100 models are not even part of newer releases anymore.

I assume ana-cont models are used quite often, because they are the detault ones, therefore I decided to open this as a bug report. Maybe some others have also trouble with these models and this way it's more visible. Feel free to convert to a discussion.

Version

n.a.

Logfile

n.a.

Expected Behavior

No response

Screenshots

Just one example, tested with 1500:

0.7 -> 9.5
9.6 -> 8.6

The variance seems quite high.

Additional Context

No response

[caco3]

@jomjol You created/added those models, do you see a reason for those regressions?

[jomjol]

I just checked the data. The training is not too bad, but there have been better results in the past:

But I do not see a major deviation around zero!

I do understand, why 14xx is getting worse. I tried to reduce the training material to speed up the training itself. And in version 14xx I overdid this, but that has been corrected for v1500.

I will redo the training with v1501 with a bit longer training cycles (seems not be saturated as seen in the plots above).

[jomjol]

Problem sind u.a. solche Bilder:

= 5.8 - irgendwie auch nachvollziehbar

= 0.6 - auch klar wo das Problem ist

= 1.1 - da ist sogar der rote Strich und der Zeiger eher grau

= 5.5 - Problem nicht klar

Um das zu umgehen könnte man folgendes machen:

• größeres CNN (mehr Parameter), Chance, dass solche Zeiger auch differenziert betrachtet werden
• verschiedene neuronale Netze für verschiedene Arten von Zeiger --> macht das deutlich komlexer

Andere Ideen?

[haverland]

Problem sind u.a. solche Bilder:

Um das zu umgehen könnte man folgendes machen:

• größeres CNN (mehr Parameter), Chance, dass solche Zeiger auch differenziert betrachtet werden
• verschiedene neuronale Netze für verschiedene Arten von Zeiger --> macht das deutlich komlexer

Andere Ideen?

1.) Die "nicht standard" Zeiger sind zu wenig in den Trainingsdaten enthalten.
2.) Nur noch 1700 Trainingsbilder (ohne 20% Validierung = 1400) sind zu wenige Trainingsbilder.
3.) Dig-class100 musste ich etwas größer machen, könnte aber vermutlich mit >6000 Trainingsdaten kleiner sein.
4.) Minimal größer könnte helfen. Da hilft nur verschiedene Varianten auszuprobieren.
5.) tf.keras.layers.Dropout können helfen das Model resilient zu machen. Leider mit leichter Reduktion der Erkennunggenauigkeit.

Aber Nr.1 mehr Trainingsdaten. Tenth-of-step-of-a-meter-digit hat 23000 Bilder und ist seit ca. 12000 Bildern sehr stabil (bis auf LCD, weil zu wenige)

[jomjol]

2.) Nur noch 1700 Trainingsbilder (ohne 20% Validierung = 1400) sind zu wenige Trainingsbilder.

Da kommen über Augmentation (30% Helligkeit, 10% Shift) noch deutlich was dazu. Ggf. könnte man das über ein graduelles Blur/Helligkeit wie bei den digitalen Ziffern noch verbessern. Muss ich mir mal anschaun.

4.) Minimal größer könnte helfen. Da hilft nur verschiedene Varianten auszuprobieren.

Läuft gerade

5.) tf.keras.layers.Dropout können helfen das Model resilient zu machen. Leider mit leichter Reduktion der Erkennunggenauigkeit.

DropOut ist hier auch noch nicht implementiert --> kann ich mir auch anschaun

[Slider0007]

Would a grayscale model also help to get away from the red color and focus more on form? It is now possible to operate the camera in grayscale. The analog models in particular clearly show that red pointers are necessary.

The number of images is probably a major factor. The dig-class100 are now really super stable. I really don't have any more false readings with them. It's the same with the ana-class100-171, which is also really stable, even though it's already a few days old. It would be nice if there were still an alternative to ana-cont, based on the same images, to keep the effort manageable.

[jomjol]

Hier heute neu trainierte Modelle - s2 = bisher, s1 = etwas mehr Parameter, s2 = deutlich mehr Parameter

ana-cont_1501_s0_q.tflite - 100k, #Parameters 90k
https://github.com/jomjol/neural-network-analog-needle-readout/blob/main/ana-cont_1501_s0_q.tflite

ana-cont_1501_s1_q.tflite - Size 59k, #Parameter 50k
https://github.com/jomjol/neural-network-analog-needle-readout/blob/main/ana-cont_1501_s1_q.tflite

ana-cont_1500_s2_q.tflite - Size 51k, #Parameter 45k
https://github.com/jomjol/neural-network-analog-needle-readout/blob/main/ana-cont_1501_s2_q.tflite

Dem Fit nach würde ich das S1 nehmen - ihr könnt es auch mal testen.

[Slider0007]

@jomjol: Thank you for the fast feedback. Unfortunately, the first laps don't look very promising after a short test.

ana-cont_1501_s1_q.tflite - Size 59k, #Parameter 50k

-> The 0 seems to work well / better than before, but unfortunately it is now also recognized instead of other digits. A few examples.

Other pointer types do not seem to work either: Only briefly tested with a different demo set:

No issues with ana-class100:

---

ana-cont_1501_s0_q.tflite - 100k, #Parameters 90k

Complete random!? It seems that the pointer are not trained at all?

---

ana-cont_1500_s2_q.tflite - Size 51k, #Parameter 45k

Behaves similarly to s1. The 0 now predominates. But only tested very briefly.

[caco3]

Die Firmware reserviert ja einen statischen Speicher, der genug Platz für das Model bereitstellen muss. Momentan ist das auf 1.3 MB gesetzt, siehe https://github.com/jomjol/AI-on-the-edge-device/blob/main/code/include/defines.h#L193

Falls die Modelle grösser werden, müssten wir mal ausprobieren, ob wir den Buffer vergrössern können.

[caco3]

Ansonsten habe ich lieber ein grösseres resp. langsameres Model, dafür die bessere Genauigkeit.

[Slider0007]

Die Firmware reserviert ja einen statischen Speicher, der genug Platz für das Model bereitstellen muss. Momentan ist das auf 1.3 MB gesetzt, siehe https://github.com/jomjol/AI-on-the-edge-device/blob/main/code/include/defines.h#L193

Falls die Modelle grösser werden, müssten wir mal ausprobieren, ob wir den Buffer vergrössern können.

All current models (quantized) are much smaller, even the now newly generated largest 1501 has only 97k. The largest of the current quantized models is approx. 310kB in size. Therefore, this would only be relevant / critical for even larger non-quantized models like one model some years ago which was 1.1MB in size, hence the limit of 1.3MB

[slovdahl]

I'm also having problems with ana-cont_1400_s2_q that I tried to switch to after updating to 16.0.0 yesterday. ana-cont_1208_s2_q has worked flawlessly for more than a year.

Perfect detection with ana-cont_1208_s2_q:

Examples of inaccurate detection with ana-cont_1400_s2_q:

[haverland]

Ich habe mal die https://github.com/jomjol/neural-network-analog-needle-readout/blob/3bdc6527cf933f2ffa518baa2a16a4ae72ba75c2/Compare_all_tflite.ipynb angepasst.

Man sieht gut die große Differenz zwischen .tflite und -q.tflite

Tipp! Probiere mal unten im Quantisieren: (eigentlich nur x_data[n])

def representative_dataset():
    for n in range(x_data[0].size):
      data = np.expand_dims(x_data[n], axis=0)
      yield [data.astype(np.float32)]

Spiele gerade damit parallel im fitting auch rum