sergio/takana

1#!/bin/sh
2# campana-deuda.sh — muele en el WORKER una lista EXPLÍCITA de recetas en deuda, medida en el HUB.
3#
4# POR QUÉ NO `saldar-deuda-static.sh` DIRECTO EN EL WORKER (2026-07-21): ese script calcula la deuda
5# en vivo con `hammer hash --check` contra el store LOCAL. En el worker el store es PARCIAL (el del
6# volumen: ~290 artefactos vs 720 del hub) ⇒ mide 716 recetas de deuda en vez de 37 y se pone a
7# reconstruir media distro. Es la regla de [[frente-harkaq-jaula]] con otra cara: **el worker MIDE,
8# el hub CLASIFICA**. Acá el hub decide la lista (`DRY=1 saldar-deuda-static.sh`) y el worker sólo
9# ejecuta. La lista se pasa por argumentos o por DEUDA=, no se recalcula.
10#
11# ORDEN: las RAÍCES del stack GUI primero (glib unblocks=14, luego harfbuzz/cairo/pango → gtk4 →
12# libadwaita). `hammer build` arrastra deps recursivamente, así que el orden no es obligatorio —
13# pero empezar por la raíz hace que la cascada caiga cuanto antes y que un corte temprano deje el
14# máximo destrabado. El stack GUI es lo que el laptop NO puede construir (zig-skew, ver
15# [[etapa-g-gui-chain-boundary]]) ⇒ es exactamente lo que justifica la granja.
16#
17# PATH: `go mod vendor` y demás corren HOST-SIDE (fuera del sandbox) ⇒ el `go` del store tiene que
18# estar en el PATH. Una sesión SSH no interactiva no carga /etc/profile ni cargo/env: sin esto toda
19# receta Go muere con "spawn go mod vendor: No such file or directory".
20#
21# Uso (en el worker):  scripts/farm/campana-deuda.sh <receta> [receta…]
22#                      DEUDA="glib cairo" scripts/farm/campana-deuda.sh
23# Lanzarlo desde el hub para que sobreviva al cierre del SSH:
24#   ssh root@<ip> 'systemd-run --unit=campana-deuda --working-directory=/opt/hammer \
25#                    /opt/hammer/scripts/farm/campana-deuda.sh <recetas…>'
26#   ssh root@<ip> 'journalctl -u campana-deuda -f'
27set -u
28HAMMER_DIR="${HAMMER_DIR:-/opt/hammer}"
29cd "$HAMMER_DIR"
30HAMMER="${HAMMER:-$HAMMER_DIR/target/release/hammer}"
31STORE="${STORE:-$HAMMER_DIR/store}"
32LOG="${LOG:-/var/log/campana-deuda.log}"
33
34# go del store (host-side) + cargo, para que las recetas Go/Rust no mueran por PATH
35for g in "$STORE"/*-go/usr/bin; do [ -d "$g" ] && PATH="$g:$PATH"; done
36HOME="${HOME:-/root}"; export HOME     # systemd-run no hereda HOME y `set -u` lo convierte en fatal
37[ -r "$HOME/.cargo/env" ] && . "$HOME/.cargo/env"
38export PATH
39
40DEUDA="${DEUDA:-$*}"
41[ -n "$DEUDA" ] || { echo "uso: campana-deuda.sh <receta> [receta…]  (o DEUDA=…)" >&2; exit 2; }
42
43ts() { date -u +%FT%TZ; }
44
45# LOCK COMPARTIDO CON EL WORKER-LOOP (2026-07-22). Esta campaña y `farm-worker-loop.sh` construyen
46# sobre el MISMO work/, y `fetch` nombra el árbol de fuentes de forma determinista
47# (`work/sources/<receta>-<sha16>`) ⇒ dos procesos que construyan la misma DEP apuntan al mismo
48# directorio, y uno hace `remove_dir_all` mientras el otro corre `tar -x`. Eso deja el árbol a medias
49# y devuelve "Directory not empty" (os error 39) — y el árbol roto se queda así hasta que alguien lo
50# borra a mano. Pasó de verdad: la campaña y el loop pidieron `mesa` a la vez (el loop lo arrastraba
51# desde la cola KDE) y se llevó puesta media cascada GUI.
52#
53# El lock es EXCLUSIVO y de grano grueso: la campaña lo toma para TODA su corrida y el loop lo toma
54# por cada ciclo de cola. No se puede afinar más sin romper el `xargs -P2` del loop.
55# `flock` NO es FIFO: como el loop vuelve a pedirlo enseguida, en la práctica la campaña entra en la
56# ventana del IDLE_SLEEP, no entre dos colas (medido, no supuesto). De ahí el techo de espera.
57#
58# OJO, lo que este lock NO cubre: el propio `-P2` del loop puede correr dos recetas que compartan
59# dep, y ésas se pisan igual. El arreglo de fondo es un lock POR ÁRBOL dentro de `fetch`.
60#
61# Espera bloqueante con techo: un ciclo de cola puede ser largo, pero colgarse para siempre sería
62# peor que no correr. Al vencer, sale limpio y lo dice; el próximo lanzamiento reintenta.
63LOCK_FARM="${LOCK_FARM:-$HAMMER_DIR/work/.farm-build.lock}"
64LOCK_WAIT="${LOCK_WAIT:-7200}"
65mkdir -p "$(dirname "$LOCK_FARM")"
66exec 9>"$LOCK_FARM"
67if ! flock -w "$LOCK_WAIT" 9; then
68  echo "$(ts) campaña-deuda: el worker-loop no soltó el lock en ${LOCK_WAIT}s ⇒ salgo sin construir" | tee -a "$LOG"
69  exit 0
70fi
71echo "$(ts) campaña-deuda: lock de build tomado (el worker-loop espera su turno)" | tee -a "$LOG"
72total=$(echo "$DEUDA" | wc -w); i=0; ok=0; fail=0; falladas=""; ultimo_rc=0
73echo "$(ts) campaña-deuda arranca: $total recetas | go=$(command -v go || echo AUSENTE)" | tee -a "$LOG"
74
75# ── GUARDIÁN DE DISCO (2026-09-04) ──────────────────────────────────────────────────────────────
76# POR QUÉ. La cascada KDE del 2026-09-03 llenó el disco en la receta 52 de 71 y siguió moliendo: las
77# 8 restantes murieron cada una en 1-20 s con `error in backend: IO failure on output stream: No
78# space left on device`, y el bucle las anotó `✗` — el MISMO símbolo que una receta que de verdad no
79# compila. Al día siguiente el grafo decía «8 en deuda, clase c» y eso mandó a leer recetas durante
80# un rato buscando un bug que no existía. Un disco lleno no es un fallo de receta: es un fallo de la
81# MÁQUINA, y confundirlos cuesta el triaje entero.
82#
83# Además el trabajo posterior al corte es puro desperdicio: 4 minutos quemados produciendo ✗.
84#
85# DÓNDE SE MIDE: en DOS filesystems, no en uno. En gioser `store/` y `work/` son discos DISTINTOS
86# (`/dev/sdb` el store, `/dev/sdc` el resto del repo) y el que se llenó esa noche fue el de `work/`:
87# ahí viven `work/sources/<receta>-<sha>` y el árbol de build, que es lo que crece ~300 MB por
88# receta. Un guardián que mirara sólo el store habría leído 109 G libres y dejado moler igual —
89# el fallo clásico de calibrar el vigía en una escala que el dato nunca alcanza. Se toma el MÍNIMO
90# de los dos: cualquiera de los dos lleno mata el build igual.
91#
92# Suelo en GiB. 8 G es ~1,5 veces el árbol+build de la receta más gorda que vimos (kwin, qt6); por
93# debajo de eso el siguiente build es una apuesta, no una tarea.
94SUELO_GIB="${SUELO_GIB:-8}"
95avail_gib() { df -B1G --output=avail "$1" 2>/dev/null | tail -1 | tr -d ' '; }
96libres_gib() {
97  a="$(avail_gib "$STORE")"; b="$(avail_gib "$HAMMER_DIR/work")"
98  [ -n "$a" ] || { echo "$b"; return; }
99  [ -n "$b" ] || { echo "$a"; return; }
100  [ "$a" -le "$b" ] && echo "$a" || echo "$b"
101}
102
103for r in $DEUDA; do
104  i=$((i + 1))
105  f="recipes/$r.toml"
106  [ -r "$f" ] || f="$(ls recipes/incoming*/"$r".toml 2>/dev/null | head -1)"
107  [ -n "$f" ] && [ -r "$f" ] || { echo "$(ts) [$i/$total] $r ⚠ sin receta" | tee -a "$LOG"; continue; }
108  echo "$(ts) [$i/$total] → $r" | tee -a "$LOG"
109  libres="$(libres_gib)"
110  if [ -n "$libres" ] && [ "$libres" -lt "$SUELO_GIB" ]; then
111    echo "$(ts) [$i/$total] ⛔ DISCO: ${libres} G libres (min de store=$(avail_gib "$STORE") y work=$(avail_gib "$HAMMER_DIR/work")) < suelo ${SUELO_GIB} G ⇒ corto la campaña" | tee -a "$LOG"
112    echo "$(ts) campaña-deuda ABORTADA por disco: $ok selladas, $fail fallidas, $((total - i + 1)) SIN INTENTAR" | tee -a "$LOG"
113    echo "$(ts) sin intentar: $(echo "$DEUDA" | tr ' ' '\n' | tail -n +"$i" | tr '\n' ' ')" | tee -a "$LOG"
114    exit 3
115  fi
116  # heartbeat: el dead-man ya cuenta `hammer build` como trabajo, pero entre receta y receta hay
117  # huecos (fetch/vendor) donde no hay proceso con ese nombre. Tocarlo evita una muerte espuria.
118  touch /run/hammer-heartbeat 2>/dev/null || true
119  # build-timed.sh mide la pared y registra la duración en $STORE/.times (sólo builds reales), para
120  # el camino crítico pesado de yupana. Transparente: sale con el mismo código que `hammer build`.
121  if HAMMER="$HAMMER" STORE="$STORE" "$HAMMER_DIR/scripts/farm/build-timed.sh" "$f" >>"$LOG" 2>&1; then
122    ultimo_rc=0; ok=$((ok + 1)); echo "$(ts) [$i/$total] ✓ $r" | tee -a "$LOG"
123  else
124    ultimo_rc=1; fail=$((fail + 1)); falladas="$falladas $r"; echo "$(ts) [$i/$total] ✗ $r" | tee -a "$LOG"
125  fi
126  # PODA_FUENTES=1 — borra el árbol de fuentes DENTRO del bucle, que es el único sitio donde es
127  # seguro: acá tenemos el lock Y acabamos de terminar un build, así que no hay ningún `bwrap`
128  # usando un árbol. Es lo contrario de correr `poda-fuentes.sh` en paralelo, que sería el ADR 0012
129  # en su forma más directa (su propio encabezado avisa que el mtime NO distingue «viejo» de «lento»).
130  # No cuesta nada: `fetch.rs` borra y re-extrae el árbol en CADA build, no lo reutiliza jamás.
131  # Nace en la cascada de kcoreaddons (2026-09-03), 71 recetas KDE en una máquina con 16 G libres:
132  # a ~300 MB de árbol por receta, sin esto la campaña se come el disco antes de la onda 4.
133  #
134  # POR DEFECTO 1 (2026-09-04). Nació apagado y la cascada KDE del 2026-09-03 corrió sin ponerlo:
135  # 71 recetas × ~300 MB de árbol llenaron /dev/sdc en la 52 y se llevaron puestas las 8 últimas.
136  # Un default que hay que acordarse de encender no es una defensa. Apagar con PODA_FUENTES=0.
137  #
138  # NO se poda tras un ✗: el árbol de una receta que falló es el post-mortem — sin él no se puede
139  # leer qué generó cmake ni con qué flags murió, y es justo el caso en que alguien va a mirar.
140  # Es el mismo criterio del suelo de 24 h de poda-fuentes.sh, aplicado por resultado y no por edad.
141  if [ "${PODA_FUENTES:-1}" = 1 ] && [ "$ultimo_rc" = 0 ]; then
142    rm -rf "$HAMMER_DIR"/work/sources/* 2>/dev/null || true
143  fi
144done
145
146echo "$(ts) campaña-deuda fin: $ok selladas, $fail fallidas de $total" | tee -a "$LOG"
147[ -n "$falladas" ] && echo "$(ts) fallidas:$falladas" | tee -a "$LOG"
148exit 0