Renovación de la infraestructura de la asociación, ¿gpulux?

[jorgeteixe]

Abro el melón de la infraestructura de la asociación, para hacerse una idea del estado actual se puede referir a la última versión de mi TFG, en el PDF adjunto a la última release.

Como resumen, ahora mismo tenemos:

• gpulino
  • Caído, se nos ha pasado la fecha de renovación y solo tenemos los discos cargados en Gandi.net y tenemos que conectarles una máquina y descargarlos, o restaurarlo (a lo mejor no merece la pena)...
  • Servicios: listas de correo, diferentes webs legacy...
• gpulon
  • Extended support, nos lo tenemos que cargar. Estamos pagando de más por el servidor y su configuración requiere de intervención.
  • Contiene el resto de servicios, principalmente: nextcloud, activepieces, nocodb y listmonk

Recientemente para la realización de mi TFG hice una propuesta de renovación de los servicios, que incluye la adquisición de un servidor en Hetzner del tipo ax41-nvme con 2x2TB NVMe SSD a mayores, por 65€/mes. Además, he adquirido el dominio gpulux.org para las pruebas, y podemos aprovecharlo para otros usos.

En el servidor ahora mismo se ha instalado, como prueba de concepto, utilizando Incus:

• mailman3
• mailcow (hace de smartrelay a mailman, además de gestionar mailboxes)
• grafana (+ loki & prometheus)
• passbolt
• facturascripts
• pretalx
• nextcloud
• matrix server (synapse)

Añadidos a posteriori:

• mautic
• zulip

Ahora mismo, cada cosa está independiente en una instancia de LXC independiente en Incus, instalada de manera manual (no IaC).

Problemas conocidos:

• Emails no llegan a outlook y llegan a spam a gmail (creo que al ser la IP dada por Hetzner, los proveedores bloquean por defecto los rangos que pertenecen a hostings etc). Opciones para arreglarlo que se me ocurren:
  • Intentar sacar la IP de Hetzner de las blocklists (hay formularios para cubrir e intentarlo).
  • Utilizar un proveedor de correo como relay (AWS SES, Mailgun, etc)
  • Rendirse y pagar un proveedor de correo (pero utilizar uno que sea "fair" y alineado con los valores de la asociación)
• Ahora mismo cada servicio tiene su instalación independiente, igual habría que juntar algunos servicios en una instancia con Docker e IaC... a lo mejor no todos. Esto tiene un trabajo inicial mucho mayor, que una persona sola no puede hacer. Además, ahora mismo, solo se pueden hacer backups fáciles de una instancia completa, pero no de la BD de facturascripts o de los ficheros de config de nextcloud por separado, por ejemplo.
• Para iniciar sesión en los diferentes servicios, hay que darse de alta en cada uno de ellos independientemente. Puede ser interesante tener un Keycloak y configurarlo para iniciar sesión en casi todos los servicios que lo permitan (algunos, como Passbolt, no tienen SSO en la versión community). Además, esto permitiría en el caso de usar mailcow para el correo, crear automáticamente una mailbox para cada usuario de KeyCloak (podría cada socio tener su correo @gpul.org, lo cual molaría mucho).

Seguro que se me quedan mil cosas, esto es por mencionar un punto de partida.

Idealmente, habría que tener una infraestructura lista y funcional para el 8 de Septiembre, que es el inicio del siguiente curso académico 2025/2026.

Menciono a los que ya han mostrado su interés en colaborar en el tema: @wizenink, @ssaavedra y @delthia.

[wizenink]

Una opción, de cara a tener IAC, sería utilizar OpenTofu, que tiene providers de docker , LXC, y Hetzner.

Con respecto a la autenticación, Keycloak funciona bien, pero a veces es complejo en exceso. Tal vez Authentik sería algo más sencillo, al menos para los servicios que permitan SSO. Para los que no, también podríamos usar tokens y un proxy reverso por delante.

El mail, podrías enlazar alguna de las cabeceras que envía de vuelta gmail? Antes indicaban ahí por qué estaba rechazando el correo.

Todo ideas al aire, cualquier sugerencia, réplica o insulto será bienvenido 😄

[delthia]

Sobre el SSO veo bien las opciones que decís. Sé que keycloack es común y debe de ser potente porque lo usan organizaciones grandes, por ejemplo el ayuntamiento de Coruña.

Lo de que algunos servicios no acepten SSO podría ser un pequeño incordio, pero si no son muchos tampoco creo que sea demasiado problemático

[jorgeteixe]

Por ejemplo NextCloud, Mailcow, Mailman, Grafana y Matrix si que permiten SSO.
Por otra banda, Activepieces, NocoDB, Passbolt, Pretalx, FacturaScripts no tienen integración directa con SSO.

La pregunta es si merece la pena ponerlo o no. La única ventaja que le veo es poder entrar a todo centralizado, pero si a algunos si y a otros no... igual directamente no merece la pena el trabajo.

Otra opción sería tener un NetBird estilo VPN / Zero Trust, esto añade seguridad pero seguimos con el problema de iniciar sesión por separado. No se si Authentik permite iniciar sesión en páginas que no tienen integración directa, ¿esto cómo sería?

[delthia]

Migraciones

En mi opinión la prioridad sería descargar lo que haya y cargarse la instancia. Luego, una vez funcione todo lo nuevo, podemos decidir dónde alojar el contenido que actualmente está en ese servidor (pensando en las webs que tenía)

[jorgeteixe]

Lo más importante, además de las webs, es el archivo de las listas de correo.

[delthia]

¿Es necesario tener una instancia de mailman funcionando para migrarlos o se podría hacer exportando el directorio donde esté almacenado todo?

[jorgeteixe]

Cada lista de correo se compone de dos ficheros:

• <lista>.pck: contiene la configuración y miembros de la lista.
• <lista>.mbox: contiene el histórico de correo.

Con copiar esos ficheros sería suficiente.

[delthia]

Pues, si aún no se hizo, puedo encargarme de copiar eso y los datos y los de las webs sin problema. Así nos cargamos ese servidor definitivamente ya

[delthia]

🚧 Hoja de ruta

Estas tareas que nos podemos asignar para trabajar simultáneamente

1. Migraciones básicas

• Nextcloud: que es la principal herramienta que se usa del servidor. ¿Sería un problema simplemente descargar y volver a subir los datos?
• Listas de correo: Migrar el historial de mailman, así como las listas, para la convocatoria de futuras asambleas
• Correo electrónico: Tratar de solucionar los problemas actuales y buscar proveedores que podrían servir

2. Software adicional

• Listmonk: Listas de difusión. Las utilizamos en eventos como hackudc
• NocoDB: Para formularios, como alternativa a Google Forms

Quizás estos programas más pequeños y menos esenciales que menciono al final podríamos instalarlos en docker, aunque desconozco si usar LXC supone alguna ventaja. ¿Nos interesa usar ambas cosas o centrarnos solo en el LXC?

[jorgeteixe]

Para NextCloud, es tan fácil como hacer un rsync o copiar las carpetas.

Con las listas, hay un problema ahora mismo con la configuración de DMARC, además de los problemas de deliverability mencionados arriba (más info). Además, cuando llega el correo al cliente final, en los headers se puede ver la infraestructura interna:

No se si esto es habitual, pero igual es bueno evitarlo.

Sobre el software adicional, desde mi punto de vista crearía todo en contenedores LXC, lo que si, juntaría varios de los servicios (especialmente los que son nativos de docker prácticamente) en un único LXC con docker instalado dentro.

[delthia]

Vale, pues como del correo no tengo ni idea, puedo hacer las migraciones de nextcloud y mailman. Tengo acceso a gpulon (creo), pero no a los otros dos servidores

[jorgeteixe]

Este tema es bastante denso, y aunque intentaría dejar aquí documentadas las decisiones, creo que una reunión para ponernos al día y dividir tareas puede ser interesante, ¿que os parece?

cc/ @wizenink, @ssaavedra y @delthia

[wizenink]

+1 a un rato de canal síncrono

[delthia]

Me parece bien. Cuando queráis

[wizenink]

Dado que posiblemente los dos servicios más relevantes sean nextcloud y las mailing list, podríamos migrar hoy mismo a docker ambos, dejarlos activos, y después integrarlos en el resto de la infra, y tenerlo todo como IAC

[wizenink]

VPN - Zero Trust

Sería necesario o recomendable añadir una VPN o alguna solución zero-trust para el despliegue de infra, o para los servicios de GPUL, y en ese caso, cúal?

Las opciones más sencillas serían Wireguard, Tailscale (+headscale) o Netbird.

[jorgeteixe]

Me gusta Tailscale, lo utilizo en casa. Me preocupa aún así que parte del código (server) es cerrado y que la alternativa Headscale es una versión de la comunidad en la que se "coordinan" como pueden empresa-comunidad para sacar los breaking changes a la vez. Ellos dicen que evitarán cagarla pero siguen levantando pasta de VCs que puede que les haga perder el norte...
Aún así no lo descarto, solo apunto, ya que la herramienta es muy potente.
Otro problema que le veo, es que creo que no permite estar conectado a varios "tailnets" a la vez, y se de primera mano que muchos de nosotros utilizamos Tailscale para otros usos (mi casa) y tendría que estar conectando desconectando.

Por parte de Netbird, es lo mismo, una empresa detrás pero por lo menos en este caso creo que la totalidad del código es open source (BSD-3-Clause) y además, tiene como 10 veces más funcionalidades.

Y por último, Wireguard es la opción de "lento pero seguro". Básico y con menos magia pero funciona.

Después del churro, por proponer algo, me gustaría probar Netbird. Es un juguete nuevo para mí que parece potente y creo que nos gustan estas cosas a todos los que estaremos montando esto.