sergio/takana

1#!/usr/bin/env bash
2# worker-depositar.sh — CORRE EN EL WORKER. Sube al buzón del Storage Box lo que selló y todavía no
3# está respaldado. El laptop no participa: la ruta es worker→box, por dentro de Hetzner.
4#
5# ── POR QUÉ NO LO HACE EL LAPTOP ───────────────────────────────────────────────────────────────
6# Medido el 2026-08-09: el uplink de la oficina da 440 kB/s y el tramo interno de Hetzner 122 MB/s
7# — 280 veces más. Cualquier diseño que haga pasar los bytes por el laptop no se completa nunca.
8# El laptop manda ÓRDENES (la promoción es un `mv`, cero bytes); los DATOS van por acá.
9#
10# ── LAS DOS CREDENCIALES, Y POR QUÉ HACEN FALTA LAS DOS ────────────────────────────────────────
11# `sub1` (sólo lectura, home `takana`) sirve para PREGUNTAR qué hay ya respaldado. Sin eso el worker
12# resubiría el corpus entero en cada ciclo.
13# `sub2` (escritura, home `incoming`) es el BUZÓN donde deposita. No alcanza a `takana/store`: el
14# respaldo consolidado no está dentro de su home. Ver `respaldo-subcuenta.sh`.
15#
16# ── UN SOLO rsync CON --files-from, NO UNO POR ARTEFACTO ───────────────────────────────────────
17# El store comparte ficheros entre artefactos por ENLACE DURO. `-H` sólo preserva los enlaces que ve
18# DENTRO de una misma corrida: con un rsync por directorio, cada artefacto viaja como si fuera único
19# y el buzón llega inflado. Una sola invocación con la lista completa los ve todos.
20set -uo pipefail
21STORE="${STORE:-/opt/hammer/store}"
22KEY="${KEY:-/root/.ssh/sb_sub}"
23RO_HOST="${RO_HOST:-u647150-sub1.your-storagebox.de}"; RO_USER="${RO_USER:-u647150-sub1}"
24BZ_HOST="${BZ_HOST:-u647150-sub2.your-storagebox.de}"; BZ_USER="${BZ_USER:-u647150-sub2}"
25SSH_SB="ssh -4 -p 23 -i $KEY -o StrictHostKeyChecking=no -o ServerAliveInterval=30"
26ART='^[0-9a-f]{64}-'
27
28TMP="$(mktemp -d)"; trap 'rm -rf "$TMP"' EXIT
29ls "$STORE" 2>/dev/null | grep -E "$ART" | sort -u > "$TMP/local.txt"
30$SSH_SB "$RO_USER@$RO_HOST" 'ls store' 2>/dev/null | grep -E "$ART" | sort -u > "$TMP/resp.txt"
31N_L=$(wc -l < "$TMP/local.txt"); N_R=$(wc -l < "$TMP/resp.txt")
32
33# Un listado vacío del respaldo es un fallo de red disfrazado de «no hay nada respaldado». Tomarlo
34# por bueno significaría resubir el corpus entero por gusto.
35if [ "$N_R" -eq 0 ]; then
36  echo "⚠ el respaldo devolvió 0 artefactos — no deposito (¿enlace caído?)" >&2; exit 1
37fi
38comm -23 "$TMP/local.txt" "$TMP/resp.txt" > "$TMP/nuevos.txt"
39N_N=$(wc -l < "$TMP/nuevos.txt")
40echo "==> store $N_L · respaldo $N_R  ⇒  a depositar $N_N"
41[ "$N_N" -eq 0 ] && { echo "    nada nuevo"; exit 0; }
42
43# `--files-from` con los nombres a secas (son directorios del store) + `-r` para bajar en cada uno.
44# `--info=progress2` SÓLO con terminal: sin TTY reescribe la misma línea con \r y, como nadie
45# interpreta el retorno de carro, el «progreso» se acumula en miles de copias de la misma línea. Un
46# depósito de 8 segundos dejó así un log ilegible; en el latido, cada media hora, sería peor.
47PROG=""; [ -t 1 ] && PROG="--info=progress2"
48# shellcheck disable=SC2086
49rsync -aHr --files-from="$TMP/nuevos.txt" --partial-dir=.rsync-partial $PROG \
50  -e "$SSH_SB" "$STORE/" "$BZ_USER@$BZ_HOST:store/" || { echo "⚠ el depósito falló"; exit 1; }
51
52# Guardián: recontar el buzón. «rsync salió 0» no es «llegaron N».
53EN_BUZON=$($SSH_SB "$BZ_USER@$BZ_HOST" 'ls store' 2>/dev/null | grep -cE "$ART")
54echo "==> buzón: $EN_BUZON artefactos (depositados esperados: $N_N)"
55[ "$EN_BUZON" -ge "$N_N" ] || { echo "⚠ el buzón tiene MENOS de lo depositado"; exit 1; }
56echo "    ahora el hub promueve con scripts/farm/respaldo-promover.sh"