Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[🚧 FEAT] Onglet "dépôt de fichier" #28

Open
KyllianBeguin opened this issue Jun 19, 2024 · 2 comments
Open

[🚧 FEAT] Onglet "dépôt de fichier" #28

KyllianBeguin opened this issue Jun 19, 2024 · 2 comments
Assignees

Comments

@KyllianBeguin
Copy link
Collaborator

KyllianBeguin commented Jun 19, 2024

Demande de fonctionnalité

Description de la fonctionnalité
Création d'un onglet qui servira au administrateurs de la plateforme de déposer les fichiers à traiter pour alimenter l'application Zéro Déchet Sauvage

Raison de la demande
Nous souhaitons déplacer les données à extraire par Mage.ai de Github vers un espace dédié.
Pour cela, nous avons essayé :

  • Sharepoint qui s'est révélé problématique du fait de la gestion des accès
  • Transfert de fichier via scp de l'infra ZDS vers le poste hébergeant les données, qui s'est révélé complexe à mettre en oeuvre (Mise en place du serveur SSH sur le poste windows de l'hébergeur de données)

La solution retenue est le développement d'un onglet accessible uniquement par les administrateurs de la plateforme.

Détails de la demande

  • Nouvel onglet
  • Un emplacement pour drag and drop un fichier.
  • Lancement des flux Mage.ai via un bouton de validation et une fois que le fichier est charger.
  • Lancement du bon flux selon le nom du fichier.
  • Permettre la centralisation des sources de données + Lancer les flux sur demande

Onglet associé
Onglet "Dépôt de fichier"

Captures d'écran
📷 SCREENSHOT

Contexte supplémentaire

@KyllianBeguin
Copy link
Collaborator Author

  • Pas besoin de téléverser le fichier
  • Possibilité de téléverser plusieurs fichiers
  • 💡 Mettre le nom des fichier dans un fichier .json ?

@KyllianBeguin
Copy link
Collaborator Author

KyllianBeguin commented Jun 29, 2024

  • Les fichiers ajoutés sur l'onglet ne peuvent être que des csv.
  • Les fichiers doivent avoir le bon nom, parmi la liste suivante ["COLLECTES.csv", "STRUCTURES.csv", "SPOTS.csv"]
    • 💡 Peut-être voir de vérifier au moins le nom des colonnes du fichier importé pour éviter les erreurs de type "Colonnes d'un fichier d'un autre nom"
  • Un dossier a été créé pour stocker les fichiers. Il s'agit du dossier data.
    • 🚨 Pour l'instant, les fichiers ne sont pas supprimé par l'onglet. Je pense que c'est au flux de réaliser cette étape, une fois que le fichier est traité
  • Seul les admins ont accès à cet onglet

État de l'onglet : 🎥 GIF

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

When branches are created from issues, their pull requests are automatically linked.

1 participant