sergio/takana

1#!/usr/bin/env bash
2# selfhost-verify.sh — Verifica el auto-alojamiento bit a bit de Stage 1 de punta a punta
3# (SDD 11 §7; runbook docs/runbooks/stage1-vm-boot.md §8c).
4#
5# Hace TODO el pipeline en una corrida, pensado para un host con KVM + RAM holgada (p. ej. una
6# laptop): construye el store baseline, ensambla el builder, lo empaqueta como initramfs y lo bootea
7# en QEMU, donde `rebuild-stage1` reconstruye stage1' con el toolchain de adentro y compara su
8# content-hash (`of_tree`) con la referencia anclada afuera → ✓ REPRODUCIBLE / ✗ DIVERGENTE.
9#
10# Prerequisitos:
11#   - Lab de dev:  ./scripts/bootstrap-devfs.sh   (deja .dev-fs/alpine + .dev-fs/tools/zig)
12#   - qemu-system-x86_64, cpio, gzip; un kernel x86_64 en $KERNEL.
13#   - Red (el fetch de Rust hace `cargo vendor` desde crates.io).
14#
15# Variables (override por entorno):
16#   STORE      store content-addressed         (default ./store)
17#   KERNEL     kernel a bootear en la VM        (default /boot/vmlinuz-linux)
18#   MEM        RAM de la VM en MiB              (default 6144; con KVM subí a 8192+)
19#   KVM        1 ⇒ -enable-kvm -cpu host        (default auto: 1 si hay /dev/kvm)
20#   PRESEED    "all" rebuild 4/4 in-VM | "hammerd" preseed C+arje, sólo hammerd in-VM
21#              (default all; "hammerd" es el camino barato/rápido si la RAM va justa)
22#   EXPECT_REF content-hash esperado (cross-check de reproducibilidad entre máquinas; opcional)
23#   STAGE0_URL / STAGE0_SHA256 / SEED_VERSION  semilla zig (defaults: zig 0.16.0)
24#
25# Uso típico en la laptop (con KVM):
26#   KVM=1 MEM=10240 ./scripts/selfhost-verify.sh
27set -euo pipefail
28
29REPO_ROOT="$(cd "$(dirname "$0")/.." && pwd)"
30cd "$REPO_ROOT"
31
32STORE="${STORE:-store}"
33KERNEL="${KERNEL:-/boot/vmlinuz-linux}"
34MEM="${MEM:-6144}"
35PRESEED="${PRESEED:-all}"
36SEED_VERSION="${SEED_VERSION:-0.16.0}"
37STAGE0_URL="${STAGE0_URL:-https://ziglang.org/download/0.16.0/zig-x86_64-linux-0.16.0.tar.xz}"
38STAGE0_SHA256="${STAGE0_SHA256:-70e49664a74374b48b51e6f3fdfbf437f6395d42509050588bd49abe52ba3d00}"
39TOOLCHAIN="${TOOLCHAIN:-.dev-fs/alpine}"
40TOOLCHAIN_TAG="${TOOLCHAIN_TAG:-alpine-3.23.4-builder}"
41# Referencia conocida-buena (store baseline en el host de dev, runbook §8c). Si tu corrida produce
42# otra, o bien cambió algo del pin (toolchain/recipes/seed) o hay un no-determinismo nuevo.
43EXPECT_REF="${EXPECT_REF:-b3:198f209f5e2c9d3a37411823b2ea42a09074d4e482f044278958b1b86f232dbb}"
44: "${KVM:=$([[ -w /dev/kvm ]] && echo 1 || echo 0)}"
45
46say() { printf '\n\033[1;36m==> %s\033[0m\n' "$*"; }
47die() { printf '\033[1;31mERROR: %s\033[0m\n' "$*" >&2; exit 1; }
48
49[[ -x "$TOOLCHAIN/usr/bin/rustc" ]] || die "falta el lab: corré ./scripts/bootstrap-devfs.sh (no veo $TOOLCHAIN)"
50[[ -r "$KERNEL" ]] || die "no puedo leer el kernel $KERNEL (set KERNEL=…)"
51command -v qemu-system-x86_64 >/dev/null || die "falta qemu-system-x86_64"
52
53# 0) Binario hammer estático (musl, crt-static) — el builder lo bootea adentro.
54HAMMER_BIN="target/x86_64-unknown-linux-musl/release/hammer"
55say "build hammer estático ($HAMMER_BIN)"
56cargo build --release --target x86_64-unknown-linux-musl -p hammer-cli
57HAMMER="./$HAMMER_BIN"
58
59say "stage0 — ingerir la semilla zig (idempotente)"
60"$HAMMER" --store "$STORE" bootstrap stage0 \
61    --url "$STAGE0_URL" --sha256 "$STAGE0_SHA256" --version "$SEED_VERSION"
62# El seed_hash sale del nombre del artefacto sellado (robusto: no parsea stdout, donde el sha256 del
63# tarball también es 64-hex y podría confundirse).
64SEED_HASH="$(ls -d "$STORE"/*-seed-zig 2>/dev/null | head -1 | sed -E 's#.*/([0-9a-f]{64})-seed-zig#b3:\1#')"
65[[ "$SEED_HASH" == b3:* && ${#SEED_HASH} -eq 67 ]] || die "no encuentro la semilla sellada en $STORE"
66say "semilla: $SEED_HASH"
67
68# 1) Store baseline: stage1 (idempotente; rebuildea lo que falte con -mcpu=baseline ya en fuente).
69say "stage1 — construir y sellar el rootfs baseline"
70"$HAMMER" --store "$STORE" bootstrap stage1 --seed-hash "$SEED_HASH" --recipes recipes
71ROOTFS_HASH="$(ls -d "$STORE"/*-stage1-rootfs | head -1 | sed -E 's#.*/([0-9a-f]{64})-stage1-rootfs#b3:\1#')"
72[[ "$ROOTFS_HASH" == b3:* ]] || die "no encuentro el stage1-rootfs en $STORE"
73say "stage1 rootfs: $ROOTFS_HASH"
74
75# 2) Referencia of_tree(stage1) que la VM debe reproducir.
76REF="$("$HAMMER" --store "$STORE" bootstrap stage2 --rootfs "$ROOTFS_HASH" 2>&1 \
77    | grep -oE 'content-hash: b3:[0-9a-f]{64}|content=b3:[0-9a-f]{64}' | grep -oE 'b3:[0-9a-f]{64}' | tail -1)"
78[[ "$REF" == b3:* ]] || die "no obtuve la referencia de stage2"
79say "referencia of_tree(stage1) = $REF"
80if [[ -n "$EXPECT_REF" && "$REF" != "$EXPECT_REF" ]]; then
81    printf '\033[1;33mAVISO: la referencia difiere de la conocida-buena del host de dev:\n  esta   %s\n  espera %s\nReproducibilidad entre máquinas rota O cambió un pin (toolchain/recipes/seed). Seguimos igual.\033[0m\n' "$REF" "$EXPECT_REF"
82fi
83
84# 3) Inyectar los módulos del kernel DE ESTA máquina al toolchain (el builder los carga: overlay para
85#    el sandbox bwrap, e1000 para la red del vendoring). Deben matchear el kernel que bootea la VM.
86say "inyectar overlay.ko + e1000.ko (kernel $(uname -r)) al toolchain"
87moddir="/lib/modules/$(uname -r)"
88for m in overlay e1000; do
89    src="$(find "$moddir" -name "$m.ko*" 2>/dev/null | head -1)"
90    if [[ -n "$src" ]]; then
91        # Descomprimir si viene .ko.zst/.ko.gz/.ko.xz; el builder hace insmod del .ko crudo.
92        case "$src" in
93            *.zst) zstd -dqf "$src" -o "$TOOLCHAIN/lib/$m.ko" 2>/dev/null || cp "$src" "$TOOLCHAIN/lib/$(basename "$src")" ;;
94            *.gz)  gzip -dc "$src" > "$TOOLCHAIN/lib/$m.ko" ;;
95            *.xz)  xz -dc "$src" > "$TOOLCHAIN/lib/$m.ko" ;;
96            *)     cp "$src" "$TOOLCHAIN/lib/$m.ko" ;;
97        esac
98        echo "    $m: $src"
99    else
100        echo "    $m: NO encontrado en $moddir (si la VM lo necesita, fallará: bwrap overlay / red)"
101    fi
102done
103
104# 4) Ensamblar el builder con la referencia embebida.
105say "ensamblar builder (toolchain in-rootfs + hammer baseline + ref)"
106"$HAMMER" --store "$STORE" bootstrap builder \
107    --stage1 "$ROOTFS_HASH" --seed-hash "$SEED_HASH" \
108    --hammer-bin "$HAMMER_BIN" \
109    --toolchain "$TOOLCHAIN" --toolchain-tag "$TOOLCHAIN_TAG" \
110    --ref-content "$REF" \
111    --work-cache work --out work/builder-rootfs
112
113# 4b) Preseed opcional para abaratar el rebuild in-VM (sólo hammerd se reconstruye).
114if [[ "$PRESEED" == "hammerd" ]]; then
115    say "preseed musl+busybox+arje-zero (sólo hammerd se reconstruye in-VM)"
116    for n in musl busybox arje-zero; do
117        d="$(ls -d "$STORE"/*-"$n" 2>/dev/null | head -1)"
118        [[ -n "$d" ]] && cp -a "$d" work/builder-rootfs/store/ && echo "    preseed: $(basename "$d")"
119    done
120fi
121
122# 5) Empaquetar como initramfs. --owner=root:root OBLIGATORIO: si los ficheros viajan con el uid del
123#    host, el userns de bwrap (mapea 0→0) no lo mapea y el copy-up de overlay falla con EACCES.
124say "empaquetar initramfs (cpio newc, --owner=root:root)"
125( cd work/builder-rootfs && find . -print0 | cpio --null -o -H newc --owner=root:root 2>/dev/null | gzip -1 ) > work/builder.cpio.gz
126echo "    work/builder.cpio.gz: $(du -h work/builder.cpio.gz | cut -f1)"
127
128# 6) Bootear + driver no-interactivo → veredicto.
129say "bootear la VM y correr rebuild-stage1 (KVM=$KVM MEM=$MEM)"
130KVM="$KVM" MEM="$MEM" KERNEL="$KERNEL" BUILDER_CPIO="work/builder.cpio.gz" \
131    python3 scripts/drive-rebuild.py