Selecting Well-plate position GUI

[beniroquai]

Hier erstmal noch eine Auswahlmöglichkeit mithilfe von Linien:
Erstmal cool, aber ich frage mich, wie "praktisch" das ist. Ich denke wenn man mehrere Linien bzw. kachel-linien-segmente (macht Sinn) per shift und klick auswählen könnte, wäre das cool.   Beispielhaft habe ich jetzt folgende Auswahloptionen erprobt. 

Erstmal: Sieht super cool aus! Kann man das auch mit tasteninteraktion gestalten? Also z.B. shift um mehrere Locataions auszuwählen? 

Auswahloptionen:

WELL SELECT: Auswahl der Wells (also der Cups/Kreise oder wie auch immer man die nennt)

Super sinnvoll, wenn man z.B. 96 wellplates hat .Auch hier: Shift+Click für mehfachauswahl :)  

AREA SELECT: Bereichsauswahl

Sehr gut. für histologische Proben! :)  

LINE SELECT: Linienauswahlfür einzel well positionen.. 

FREE SELECT: Freie Auswahl der einzelnen Bereiche

Hier die Fragen: Q1:

Q1 Soll ich für die Auswahl ein festes Grid hinterlegen? 

• Also ein festes Raster indem Quadrate ausgewählt werden?
• Oder soll man die Positionen komplett frei wählen können?

Q2: Sollen die verschiedenen Auswahloptionen miteinander kombiniert werden können?

• Beispielsweise macht man erst den WELL SELECT und danach den LINE SELECT oder FREE SELECT.
• Wenn man sie kombinieren können soll, wäre ein festes Grid von Vorteil.

Q3: Für das anlegen der Zeitreihen könnte ich mir ein einfaches erstellen einer Liste vorstellen.

• Wenn man die zu scannenden Bereiche ausgewählt hat, kann man Zeitabhängig wiederholungen definieren.
• Im Beispiel habe ich nur "Name" und "Zeit". Diese können mit weiteren Parametern wie Illumination ergänzt werden.
• Man erstellt einfach Einträge die angeben wann und mit welchen Parametern die Bereiche abgefahren werden sollen.

[beniroquai]

@OrganaLeia it would be fantastic if you can summarize your wishlist once and for all (again - already summarized here: #9) from the perspective of a user :)
You can make a voice message or something. Just random points based on what you see (e.g. you have your sample and need to spot nüpsies .. change objective lens store position, go back.. have a list of stored locations, and list images alongside, etc.... ) Thank you so much.

@ranranking same for you! Everything you want and saw in fancy Nikon demos ;-)

[beniroquai]

@MarcoFrankeAxon

Q1 Soll ich für die Auswahl ein festes Grid hinterlegen?
Also ein festes Raster indem Quadrate ausgewählt werden?
Oder soll man die Positionen komplett frei wählen können?

Wir könnten das Grid abhängig vom Scan-raster machen, oder? Also einen zusäztlichen Endpoint abfragen der einem das FOV übergibt. Das würde sich entsprechend ändern wenn wir das Objektiv ändern.

Q2: Sollen die verschiedenen Auswahloptionen miteinander kombiniert werden können?
Beispielsweise macht man erst den WELL SELECT und danach den LINE SELECT oder FREE SELECT.
Wenn man sie kombinieren können soll, wäre ein festes Grid von Vorteil.

Mir fällt gerade kein Use case ein wo das nützlich wäre - aber da würde ich auch nochmal Leute fragen die das täglich nutzen. Sinnvoller fände ich eher z.B. mehrere Selektionen mit Strg Taste zu kombinieren - also so wie beim File editor.

Q3: Für das anlegen der Zeitreihen könnte ich mir ein einfaches erstellen einer Liste vorstellen.
Wenn man die zu scannenden Bereiche ausgewählt hat, kann man Zeitabhängig wiederholungen definieren.
Im Beispiel habe ich nur "Name" und "Zeit". Diese können mit weiteren Parametern wie Illumination ergänzt werden.
Man erstellt einfach Einträge die angeben wann und mit welchen Parametern die Bereiche abgefahren werden sollen.

Klingt sehr gut. Zusätzlich können wir auch die Positionsliste als State an andere Widgets übergeben. Z.B. den Blocklykram. Da kann man dann die Positionen als Argument für einen Scan einbauen. Dann könnten wir es beliebig kombinieren.

[MarcoFrankeAxon]

@beniroquai

Kann man das auch mit tasteninteraktion gestalten? Also z.B. shift um mehrere Locataions auszuwählen?

Ja, wir können gedrückte Tasten (Strg, Shift usw.) in die Auswahloptionen einbeziehen.

Ich denke wenn man mehrere Linien bzw. kachel-linien-segmente (macht Sinn) per shift und klick auswählen könnte, wäre das cool.

Das habe ich mir grundsätzlich für alle Auswahloptionen gedacht, es ist aktuell nur noch nicht umgesetzt. Außerdem könnte ich mir vorstellen, dass man mithilfe einer Taste eine 'negative' Auswahl ermöglichen kann, um Kacheln wieder abzuwählen.

Wir könnten das Grid abhängig vom Scan-raster machen, oder? Also einen zusäztlichen Endpoint abfragen der einem das FOV übergibt. Das würde sich entsprechend ändern wenn wir das Objektiv ändern.

Ja, das können wir machen. Im Video zum ersten Versuch siehst du diese Möglichkeit. Da wird die größe erstmal nur durch eine Benutzereingabe angegeben.

Mir fällt gerade kein Use case ein wo das nützlich wäre - aber da würde ich auch nochmal Leute fragen die das täglich nutzen. Sinnvoller fände ich eher z.B. mehrere Selektionen mit Strg Taste zu kombinieren - also so wie beim File editor.

Meine Idee war, dass man z.B. nach der Bereichsauswahl zusätzliche einzelne Kacheln gezielt auswählen oder abwählen kann.
Wir können aber gerne einfach jede Auswahloption mit einer Tastenkobination negierbar machen.

[beniroquai]

Das habe ich mir grundsätzlich für alle Auswahloptionen gedacht, es ist aktuell nur noch nicht umgesetzt. Außerdem könnte ich mir vorstellen, dass man mithilfe einer Taste eine 'negative' Auswahl ermöglichen kann, um Kacheln wieder abzuwählen.

Super. Bei PPT und Photoshop ists shift/strg glaube ich. Vielleicht kann man das sowieso als vorbildnehmen:

[MarcoFrankeAxon]

@beniroquai Bezüglich deiner Mail.

Wenn wir kein festes Raster/Gitter für die Auswahl hinterlegen wollen, können wir die Punkte frei wählbar machen:

• Punkte können an beliebigen Positionen gesetzt werden
• Punkte können durch Auswahl der Wells erzeugt werden
• Punkte können gelöscht werden
• Die Punkte haben eine Reihenfolge, die verändert werden kann

Als Parameter kann man einstellen, ob nur eine Aufnahme gemacht werden soll oder ein Bereich um den Punkt. Dabei kann auch der Grad der Überlappung für die einzelnen Aufnahmen angegeben werden.

[OrganaLeia]

Hello @beniroquai @MarcoFrankeAxon ! Also als Wünsche würde ich folgende Wünsche formulieren von User-Seite:

• Numbered pinheads as in Google Maps on the image complementary to the saved viewpoints.

• Possibility to go back to the saved viewpoint, both by clicking on a list below the image and by clicking on the pinhead.

• Storage of the recorded images with consecutive nomenclature, so that you do not have to enter the full name for each saved image.

• Question: is it possible to go back to the locations even if you have put on a new lens? That would be super useful and helpful to find the locations again at a higher magnification.

• In terms of perspective, an even prettier user interface would certainly also increase productivity and enjoyment at work. Specifically, perhaps subtle colors and an appealing font, as well as as few numbers standing around anywhere... preferably in such a way that it is clear and simple, even if it is highly complex overall.

• stitching

• Selecting an area and then scan it automatically

• Richtig fancy wäre: wenn man ein "Event" (also eine spezifische Struktur) markiert und danach die Probe automatisch durchsuchen lassen könnte. Beispiel: Ich suche rot gefärbte Zilien, die ich in einem Bildausschnitt markiert habe, drücke auf einen Knopf "Suchen und Finden" und dann wird die Probe automatisch nach diesen Events durchgerastert und die entsprechend ähnlichen Bildausschnitte mir automatisch und mit location vorgeschlagen und in einem Bilder-Ordner unter "Automatic Research" gespeichert. Ich kann dann das Album durchgehen und muss nur von Bildausschnitt zu Bildausschnitt springen und überprüfen, ob korrekte Events gefunden wurden, wobei die Lokalisation in der Probe auf dem großen Bild "live" oben drüber angezeigt wird, sodass ich von dem Bildausschnitt ausgehend wieder manuell weitersuchen kann.

• Snapshot Button zur Möglichkeit der Anlage einer Bildergalerie - Dabei wäre es schön, wenn man "Alben" anlegen könnte und sie manuell unterschiedlich benennen

• Wichtig: bei Speicherort immer Vergrößerung im Dateinamen und Scalebar im Bildausschnitt automatisch einfügen. Das wäre der Hit!

• Z-Achse ist fürs Durchrastern durchaus auch interessant! Manche Proben sind in der Tat so dick geschnitten, dass man auch in der Dimension durchrastern muss - deshalb ist die Lokalisation für die Angabe von Fundstellen (also pro Bild, das gespeichert wird) so wichtig.

[beniroquai]

@beniroquai Bezüglich deiner Mail.

Wenn wir kein festes Raster/Gitter für die Auswahl hinterlegen wollen, können wir die Punkte frei wählbar machen:

• Punkte können an beliebigen Positionen gesetzt werden
• Punkte können durch Auswahl der Wells erzeugt werden
• Punkte können gelöscht werden
• Die Punkte haben eine Reihenfolge, die verändert werden kann

Als Parameter kann man einstellen, ob nur eine Aufnahme gemacht werden soll oder ein Bereich um den Punkt. Dabei kann auch der Grad der Überlappung für die einzelnen Aufnahmen angegeben werden.

@MarcoFrankeAxon das klingt sehr sinnvoll!
Würdest du verschiedene Modi vorsehen? Z.B. "Free Selection", "Well-based", und "Area Based" (also gedrückt halten und Fläche Ziehen?)

Die Liste klingt sehr gut. Die Liste sollte auch ein submenu haben was "go-to-position" erlaubt.

Denkbar wäre, dass wir diese Liste dann weiterleiten (über context wie du meintest) zum multi-dimensional imaging controller (Blockly?), wo wir diese Liste recyclen und dann pro Bild z.b. verschiedene Beleuchtungen + Belichtungszeiten einstellen und Timelapse ermöglichen. Dort könnte man auch Dateinamen etc. eingeben.

Die scan-positionen wären erstmal Objektiv-agnostisch, die würden sich aus der zu scannenden Area ergeben und dem FOV+Überlapp.

[MarcoFrankeAxon]

@beniroquai Here is a show case of the current version. Ignore the red dot and the well plate layout. The tabs are only there for testing purposes, but I don't think they're bad.

wellselectorcomponent_x-ezgif.com-gif-to-mp4-converter.mp4

[beniroquai]

Wow! This is amazing! Great job!

Tiny Todos:

• in the list view: right click or something => go to position :)
• Naming of points?
• Scalebar overlay im PReview (sofern vorhanden?)
• Material Design?
• double click on image in live view and triggering an endpoint say, move x/Y?

What is the difference between left and right pane (i.e. live view?)

I think I indeed don'T fully get why one has the left and right bar - they show the same thing, but mostly for having two different functions visible the same time, right? I love the state management! <3

[MarcoFrankeAxon]

I didn't know how to structure the user interface. That's why I added these tabs to gain experience of what works well together. In the end this is quickly removed or customized. We can talk about it again.

[beniroquai]

ok. Thanks :)

[MarcoFrankeAxon]

@beniroquai I have made a few adjustments:

• connection settings:
  ** The port for the websocket and the api can now be specified separately via the connection dialog
  ** Ip and port are now saved permanently.

• Backend requests:
  ** I have added a new folder called “backendapi”
  ** It contains a helper object “createAxiosInstance.js” for the connection (using the ip/port from the redux state)
  ** Now a file can be created for each endpoint
  ** naming convention “api{EndpointName}” For example:
  *** MovePositioner -> apiMovePositioner.js
  *** GetHistoStatus -> apiGetHistoStatus.js
  ** There are also call examples in the files

• Well selector:
  ** In MOVE CAMERA mode, the position endpoint is now called after click
  ** Unfortunately I have not found in the backend code how to send X and Y together.
  ** Therefore only the position for “X” is used for now!!!

[MarcoFrankeAxon]

@beniroquai here is the correct json file. if there is anything inconsistent please ask.

startexperiment.json

[beniroquai]

Hey @MarcoFrankeAxon - here comes the link:

Get the available parameters:

https://imswitch.openuc2.com/docs#/default/getCurrentExperimentParameters_ExperimentController_getCurrentExperimentParameters_get

Post the lists:

from fastapi import FastAPI
from pydantic import BaseModel
from typing import List, Optional
import uuid
import requests

app = FastAPI()

class NeighborPoint(BaseModel):
    x: float
    y: float

class Point(BaseModel):
    id: uuid.UUID
    name: str
    x: float
    y: float
    neighborPointList: List[NeighborPoint]

class ParameterValue(BaseModel):
    illumination: str
    brightfield: bool
    darkfield: bool
    laserWaveLength: int
    differentialPhaseContrast: bool
    timeLapsePeriod: float
    numberOfImages: int
    autoFocus: bool
    autoFocusMin: float
    autoFocusMax: float
    autoFocusStepSize: float
    zStack: bool
    zStackMin: float
    zStackMax: float
    zStackStepSize: float

class Experiment(BaseModel):
    name: str
    parameterValue: ParameterValue
    pointList: List[Point]

@app.post("/start-experiment/")
def start_experiment(experiment: Experiment):
    return {"message": "Experiment received", "experiment": experiment}

# Test script to send a POST request
def test_api():
    url = "https://imswitch.openuc2.com/ExperimentController/startWellplateExperiment"
    payload = {
        "name": "experiment",
        "parameterValue": {
            "illumination": "Brightfield",
            "brightfield": True,
            "darkfield": False,
            "laserWaveLength": 488,
            "differentialPhaseContrast": False,
            "timeLapsePeriod": 0.1,
            "numberOfImages": 5,
            "autoFocus": True,
            "autoFocusMin": 0,
            "autoFocusMax": 10,
            "autoFocusStepSize": 0.5,
            "zStack": True,
            "zStackMin": 0,
            "zStackMax": 10,
            "zStackStepSize": 0.5
        },
        "pointList": [
            {
                "id": str(uuid.uuid4()),
                "name": "Point 1",
                "x": 100.0,
                "y": 200.0,
                "neighborPointList": [
                    {"x": 120.0, "y": 220.0},
                    {"x": 130.0, "y": 230.0}
                ]
            }
        ]
    }
    response = requests.post(url, json=payload)
    print(response.json())

if __name__ == "__main__":
    test_api()

I hope that makes sense? LEt me know when I can do further hardware testing :)