[DONE] Yaal Coop/Add ActivityPub functionality

[LoanR]

New configuration

• USE_ACTIVITYPUB: bool
• DEFAULT_AP_THUMBNAIL: default ActivityPub thumbnail in png format (there is a svg default format but it is currently not allowed by Peertube)

ActivityPub signature

Full documentation about ActivityPub requests signatures can be found pod/activitypub/README.md -> new public and private keys are needed for ActivityPub to work pod/activitypub/ap.key pod/activitypub/ap.pub.

Requirements before running container

You need to run migrations for the new ActivityPub models Follower, Following, ExternalVideo and for some changes in Video model.

ElasticSearch index needs also to be rebuilt: id was a long number, it is now a keyword, and is_external is a new boolean.

Local testing

docker-compose-full-dev-with-volumes.yml now launches a Peertube instance available on peertube.localhost:9000 for testing purpose.

To be able to use a local version, from previous builds, the Site object must be changed on Django admin to point on pod.localhost:8000.

You can federate to an instance by adding its url in Django admin, Following then Send the federation request action.
To get existing videos via ActivityPub of a followed instance, you also need to Reindex the instance videos.

[gitguardian]

️✅ There are no secrets present in this pull request anymore.

If these secrets were true positive and are still valid, we highly recommend you to revoke them.
While these secrets were previously flagged, we no longer have a reference to the
specific commits where they were detected. Once a secret has been leaked into a git
repository, you should consider it compromised, even if it was deleted immediately.
Find here more information about risks.

---

^{_{🦉 GitGuardian detects secrets in your source code to help developers and security teams secure the modern development process. You are seeing this because you or someone else with access to this repository has authorized GitGuardian to scan your pull request.}}

[Badatos]

Bonjour,

Si vous êtes certains que les "secrets" détectés par GitGuardian n'en sont pas, je vous invite à insérer les variables à ignorer dans un cartouche de ce type :

# ggignore-start
# gitguardian:ignore
# Generate one using `openssl rand -hex 32`
 PEERTUBE_SECRET=804061c0547350xxxxx
# ggignore-end

Ou pour éviter que toutes les configurations laissées par défaut partagent le même secret, mettez

# Generate one using `openssl rand -hex 32`
PEERTUBE_SECRET=TO_CHANGE

[SebastienCozeDev]

La migration de develop vers activitypub fonctionnement correctement pour les vidéos 👍

[ptitloup]

Bonjour,
Est-ce possible de terminer cette PR pour ce vendredi svp ?
Merci

[LoanR]

Je pense que ça va être compliqué de s'engager sur une livraison vendredi... Il nous reste des ajustements à faire et je suis en arrêt pour covid...
Je pense que ce sera plus raisonnable pour un autre jour. Une release est prévue à la fin de la semaine ?

[ptitloup]

nous prévoyons en effet une 3.8 pour mercredi prochain. Nous voulions avoir le temps de faire les review et test fonctionnel de votre contribution.
Quel serait votre délais de réalisation ?

[ptitloup]

Vous pouvez mettre à jour votre branche depuis develop pour recupérer la dernière version de pod et fixer les conflits

[LoanR]

Hello @Badatos ,

Concernant GitGuardian, j'ai tenté :

• d'ignorer peertube.env en ajoutant # gitguardian:ignore au début du fichier
• d'ignorer spécifiquement les variables avec le cartouche indiqué https://github.com/yaal-coop/Esup-Pod/blob/2a45f726d281be3cccfa16b9838b222061eca26e/peertube.env#L33
• d'ignorer peertube.env avec la configuration .gitguardian.yml https://github.com/yaal-coop/Esup-Pod/blob/2a45f726d281be3cccfa16b9838b222061eca26e/.gitguardian.yml#L9
• d'ignorer spécifiquement les variables avec la configuration .gitguardian.yml https://github.com/yaal-coop/Esup-Pod/blob/2a45f726d281be3cccfa16b9838b222061eca26e/.gitguardian.yml#L3

Localement, le précommit GitGuardian ne renvoie pas d'incidents.

Mais la CI échoue toujours sur ces deux variables...
Est-ce que le GitGuardian du projet est configuré pour ignorer la conf ?
Est-ce qu'il faut signaler cette conf ailleurs ?
J'ai l'impression d'avoir pourtant reproduit ce que j'ai pu trouver comme cas similaires dans le code...

[ptitloup]

Petite question, mise à part les gitguardian, est-ce que la PR est terminée ? si oui, pouvez-vous la passer en DONE qu'on puisse review svp ? Merci !

[LoanR]

Non, je pense que la PR ne sera pas terminée avant la release...
On pourrait avoir une bonne surprise, dans ce cas là, je préviendrai, mais je n'y crois pas trop.

[ptitloup]

ha ok, comme la PR passait les tests, je le croyais mais pas grave !

[Badatos]

En effet :
https://pod-test.univ-cotedazur.fr/.well-known/nodeinfo

{
"links": [{"rel": "http://nodeinfo.diaspora.software/ns/schema/2.0",
 "href": "http://pod-test.univ-cotedazur.fr/nodeinfo/2.0.json"},
{"rel": "https://www.w3.org/ns/activitystreams#Application",
 "href": "http://pod-test.univ-cotedazur.fr/ap"}]}

[Badatos]

On avance :)
J'ai donc mis le paramètre "SECURE_SSL_REDIRECT" du serveur pod-test à True, et cette fois le nodeinfo est correct, la tache "follow" renvoit enfin "True" :

Task pod.activitypub.tasks.task_follow[efd84c95-f4a5-4969-9a3f-xxx] succeeded in 13.38195166200012s: True

... Mais toujours aucun "Follower" n'apparait sur pod-test :/

[LoanR]

Le dump de data est toujours à None ?

[Badatos]

Lorsque le serveur 2 envoie une requete "follow" au serveur 1, voici ce qui apparait dans les requetes du serveur 1 :

[21/Nov/2024:09:50:04 +0100] "GET /.well-known/nodeinfo HTTP/1.1" 200 246 "-" "python-requests/2.32.0"
[21/Nov/2024:09:50:04 +0100] "GET /ap HTTP/1.1" 200 1234 "-" "python-requests/2.32.0"
[21/Nov/2024:09:50:17 +0100] "POST /ap/inbox HTTP/1.1" 204 0 "-" "python-requests/2.32.0"

La dernière requete "/ap/inbox" est en HTTP 204 No Content, c'est normal ?

[Badatos]

Voici le data dump :

inbox query: {
 "@context": [
  "https://www.w3.org/ns/activitystreams",
  "https://w3id.org/security/v1",
  {
   "RsaSignature2017": "https://w3id.org/security#RsaSignature2017"
  }
 ],
 "type": "Follow",
 "id": "http://pod.localhost:8000/ap/following/1",
 "actor": "http://pod.localhost:8000/ap",
 "object": "https://pod-test.univ-cotedazur.fr/ap",
 "signature": {
  "type": "RsaSignature2017",
  "creator": "http://pod.localhost:8000/ap",
  "created": "2024-11-21T09:21:49.758230+00:00",
  "signatureValue": "JDMf0B8wp4KKSK4/c6eSIdGUxtZniFqMDD+BzJtz8iVQYmCw5iUj3nW1MJO1fGQ1ZSnSKMFeBw5LOX4ojCnjTShRybXl4d9xmWVPBqqV6/oPIUA1AD0+MGRLXfnECLHSv23WNyagJlbemlV9Gq7/ks7sJ3KMddi6Bj0NM3CrvvA2xgZQsOnmx1gwTwNrG+4zI8bZNlhmvHZCJ5qxshLstiF9+LQf24Lldp08y7LXIIOpC9hmEKtuo/0ApAQKufg4AE1X5plpg6D+h1tqPKkumzBwYFHbuC9pVpR4EsK+Rr8gjCJdN16JvSwFKswEE7f7JMQkiaAJvNmN22EuBWgZng=="
 }
} 

[LoanR]

Je pense qu'avec un pod dans un conteneur en local ça ne peut pas fonctionner. J'explique ce que je pense qu'il se passe :

• pod.localhost:8000 envoie une activité follow vers pod-test.univ-cotedazur.fr
• pod-test.univ-cotedazur.fr reçoit bien cette requête avec les bonnes data.
• pour poursuivre, pod-test.univ-cotedazur.fr doit récupérer un certain nombre d'informations sur l'actor, il fait donc une requête sur l'url de l'actor, dans notre cas http://pod.localhost:8000/ap
• cette url ne répond pas, on se retrouve avec des data à None, la demande de follow échoue.

Pour pouvoir aller plus loin, il faudrait avoir deux instances de pod accessibles l'une pour l'autre. Donc une autre instance de test, ou bien utiliser un service comme ngrok pour avoir une url pour le pod local dockerisé accessible depuis le web.

[Badatos]

Ok, merci pour les infos !
Attendons donc d'avoir un 2e serveur Pod sous activitypub pour la suite des tests.

En attendant, je vous invite tout de même à modifier la ligne 136 du fichier views.py :
Avant :

if (
        data["type"] in ("Announce", "Update", "Delete")
        and not settings.TEST_SETTINGS
        and not check_signatures(request)
    ):
        return HttpResponse("Signature could not be verified", status=403)

Après :

if (
        data is None or 
        (data["type"] in ("Announce", "Update", "Delete")
        and not settings.TEST_SETTINGS
        and not check_signatures(request))
    ):
        return HttpResponse("Signature could not be verified", status=403)

Ca évitera de déclencher une Exception quand data est None.

[LoanR]

J'ai 'ajouté un try except pour clarifier et logger les erreurs.

[LoanR]

J'ai rebase sur develop, il y avait un conflit.

[LoanR]

Hello ! Bonne année !
J'ai à nouveau rebase sur develop, il y avait un conflit.

[Badatos]

Hello ! Bonne année ! J'ai à nouveau rebase sur develop, il y avait un conflit.

Merci Loan !
Mes meilleurs voeux pour 2025 ;)

[azmeuk]

@Badatos
J'ai résolu les derniers conflits, mais j'ai l'impression que désormais vous travaillez sur la branche main plutôt que sur la branche develop.
Faut-il que je mette à jour la branche de destination ?

[Badatos]

Bonjour @azmeuk
Les branches "master" et "develop" sont relatives à la V3 d'Esup-Pod.
Une V4 est en cours de développement, et sera basée sur la branche "main" en effet. La sortie est prévue pour cet été. à ce moment là, une nouvelle branche develop4 sera dédiée au nouveaux développements.

Pour cette PR ActivityPub, tout dépend donc de la version visée : pour la V3 elle peut continuer à se baser sur "develop", et pour une intégration éventuelle à la V4 il faudrait alors plutôt attendre la sortie de la V4 et la création de la branche "develop4" à priori, car nous sommes en phase de finalisation et aucune nouvelle fonctionnalité ne doit s'ajouter à la 4.0

[azmeuk]

Pour le moment cette PR vise la v3, si c'est acceptable alors gardons les choses comme ça.

J'aurai un peu de temps disponible dans les semaines à venir pour aider à la relecture de la PR et la fusionner.
Si tu le souhaites, on peut se prendre un temps en visio pour faire un test ensemble où tu me partagerais ton écran et où l'on ferait fonctionner ActivityPub dans ton environnement de travail. Je pense que ça peut fluidifier les retours, et éventuellement m'aider à comprendre le contexte si des erreurs surviennent.

Nous souhaitons terminer la mission sur ActivityPub mais nous ne pourrons pas garantir d'avoir de la disponibilité pour aider à la relecture d'ici quelques semaines.

Qu'en dis-tu ?

[Badatos]

Qu'en dis-tu ?

Je n'ai malheureusement plus de serveur de test Esup-Pod en V3 disponible pour permettre un test croisé de connexion AP, et les prochains mois sont plutôt chargés ici, entre les exams, la mise à jour des serveurs pendant la pause pédagogique, puis la rentrée...

Peut-être voir avec un autre membre de la communauté, @marchal-julien peut-être ?

[azmeuk]

Est-ce que cibler la v4 au lieu de la v3 aiderait pour une relecture plus rapide ?

[Badatos]

Est-ce que cibler la v4 au lieu de la v3 aiderait pour une relecture plus rapide ?

Le problème selon moi n'est pas au niveau de la relecture, mais des tests fonctionnels.
Il nous faut 2 établissements ayant installé Pod+AP dans des environnements de tests qui soient interrogeables l'un/l'autre, et ces conditions n'ont pas encore été remplies à l'heure actuelle.

[azmeuk]

Est-ce que si nous mettons en place un docker-compose qui lance deux instances de pod+AP ça permettrait de valider la PR, ou bien faut-il nécessairement un environnement de tests grandeur nature ?