home
  • Español
  • English
  • Português
  • Cómo trabajo
  • star Proyectos Destacados
  • Experiencia
  • mail Contacto
arrow_back Volver al proyecto Inicio

Testing del proyecto

Testing · NetBench

5 archivos markdown (visión, unitarios, integración, e2e, GitHub Actions).

En esta página Testing · visión 0% expand_more
Testing · visión Comandos Convenciones Qué no está cubierto Testing · motor Por qué el temario se prueba entero Testing · API api.test.ts Un test que fallaba a medias Testing · Eve y navegador Evals de Eve En el navegador Testing · CI Los tests como puerta del despliegue Lo que no cubre Si se añade un workflow

12-testing.md

Testing · visión

NetBench tiene 101 tests y 7 evals. Los tests usan Vitest; los del motor no necesitan nada levantado, y los de la API levantan la aplicación Nest en un puerto aleatorio. Todos juntos tardan unos 3 segundos.

CapaFicherosPruebasQué cubre
Motor164Reenvío, CLI, perfiles de switch, VLAN, OSPF, DHCP, Wi-Fi, NAT, cables, los 48 laboratorios y el constructor
API237Rutas HTTP, sesiones, tokens de Eve, idempotencia, límite de llamadas, Postgres tras un reinicio, el WebSocket
Eve y navegador7 evals—Lo que Eve responde y hace con un modelo de verdad; la web, a mano
CI——Los tests como puerta de cada despliegue de la API

Comandos

npm test                          # motor y API
npm test -w @netbench/engine      # 64, sin nada levantado
npm test -w @netbench/api         # 37, la aplicación Nest en memoria
npm run build -w @netbench/engine # tsc --noEmit
npm run build -w @netbench/api    # tsc --noEmit
cd apps/eve-agent && npx eve eval # los 7 evals; necesitan el AI Gateway y la API en :3001

Convenciones

  • El nombre es una frase del comportamiento: «exercises fail as shipped and pass once their solution is applied», «get_path drop reason equals packet inspector reason».
  • El motivo exacto, no solo el resultado. Un test de una caída comprueba la frase que devuelve el motor (Interface Gi0/1 is administratively down, No subinterface for VLAN 20), porque esa frase es lo que lee el alumno y lo que lee Eve.
  • El temario es un test. Cada laboratorio incluido se valida, se arranca y se comprueba en cada ejecución. Añadir uno que no pase rompe los tests.
  • Sin mocks del motor. La API se prueba con el motor real. Lo único que se sustituye es Postgres, por MemoryPool, que responde a las mismas consultas.
  • Los escenarios de Eve, dos veces. Las situaciones de los evals se prueban también sin modelo: en el motor (que el motivo nombra la causa) y en la API (que las herramientas devuelven lo que Eve necesita). Si un eval falla, se sabe si fue el modelo o el sistema.

Qué no está cubierto

  • La web no tiene tests automáticos. Se comprueba con el build de producción, que verifica los tipos de las plantillas, y a mano en el navegador, a 390 × 844 y a 1280 × 800.
  • Los evals no corren solos: necesitan el AI Gateway, cuestan créditos y su resultado depende del modelo.

13-testing-unit.md

Testing · motor

packages/engine/test/engine.test.ts: 64 tests en unos 90 ms. Importan @netbench/engine directamente, crean un Engine con un laboratorio y escriben en sus terminales como lo haría una persona.

GrupoTestsQué fija
IPv4, ping y CLI5Dos PCs en un switch se ven tras ip addr e ip link; un comando desconocido falla; ^C corta un ping; un puerto apagado da el motivo exacto; toLab conserva IPs y cables para restaurar a un invitado
Perfiles de switch7El no gestionable reenvía sin CLI; el L2 rechaza ip routing; el multicapa enruta entre SVI solo con ip routing; cambiar de perfil no quita cables; el relay DHCP llega a un servidor remoto y respeta los rangos excluidos; el pool se elige por la SVI del cliente, no por el orden
VLAN y rutas estáticas3Las VLAN de acceso se aíslan; router-on-a-stick reenvía y, sin subinterfaz, cae con ese motivo; una ruta estática a través de un router
IPv61SLAAC y después ping6
OSPF2Los vecinos llegan a FULL e instalan rutas; sin la sentencia network el vecino no aparece
DHCP, Wi-Fi, cortafuegos, NAT, TTL, bucles7Concesión DHCPv4; asociación Wi-Fi y ping al servidor cableado; sin asociar, el motivo lo dice; una ACL tira el paquete; NAT hacia 8.8.8.8; TTL agotado; un bucle L2 se corta con el aviso de RSTP-lite
El temario1122 modelos y 26 ejercicios con ids únicos; todos validan y todas sus líneas de arranque se aceptan; los modelos pasan tal cual; los ejercicios fallan tal cual, apuntan a un modelo, traen pistas y parche, y pasan con él; aplicar el parche dos veces no rompe nada; labSummary no enseña la topología ni la solución; la puerta de enlace y la máscara equivocadas caen con su motivo
Escenarios de Eve sin modelo14Los seis evals vistos desde el motor (puerto apagado, falta subinterfaz, OSPF sin network, Wi-Fi sin asociar, oficina de doble pila, BGP rechazado); validateLab acepta un laboratorio bien formado y rechaza puertos malos, duplicados y configuración fuera de alcance; y el constructor: la frase de la oficina, una oficina de 50 que se recorta a un tamaño que cabe y hace ping, varios switches con troncal, dos PCs y un switch, OSPF y cortafuegos
Esquema de parche3Tipos de equipo desconocidos fuera; un parche pequeño válido; el tipo de cable se valida
Cables y puertos usados6Los puertos usados salen de getState; cablear un PC enciende los dos extremos; un puerto ocupado rechaza otro cable; auto-MDIX une PC con PC y el directo no; el cruzado une switches; la fibra no entra en un PC
Ruta y motivo1get_path da el mismo motivo de caída que el inspector
Quitar rutas y direcciones4ip route del y replace arreglan una puerta de enlace; ip addr del quita las rutas que dependían de la dirección; no ip route y no ip address en un router; int y shutdown por interfaz en AP y WLC

Por qué el temario se prueba entero

Los 48 laboratorios son datos, pero de esos datos depende la experiencia: un modelo que no pasa o un ejercicio cuyo parche no lo arregla es un alumno atascado sin culpa. Por eso cada ejecución:

  1. valida cada laboratorio con validateLab;
  2. ejecuta todas sus líneas de arranque y falla si alguna da % Unknown command;
  3. comprueba que cada modelo pasa Check y que cada ejercicio falla;
  4. aplica la solución de cada ejercicio, comprueba que pasa, y la aplica otra vez.

Un laboratorio nuevo que no cumpla esto no llega a producción, porque la API no se despliega con tests rotos.

14-testing-integration.md

Testing · API

apps/api/test/: 37 tests en unos 2 segundos, con Vitest y Supertest contra la aplicación Nest de verdad, creada con la misma createApp() que producción.

FicheroTestsQué cubre
api.test.ts34Las rutas HTTP, las herramientas de Eve y el WebSocket
store.test.ts3Que usuarios y laboratorios se leen de Postgres y no de la memoria
fake-pool.ts—MemoryPool: responde a las consultas de store.ts como lo haría Postgres

api.test.ts

GrupoQué fija
Salud/api/health devuelve contenido, no solo un 200
Proxy de Eve/eve/v1/health da 200 con un eve detrás o 502 si no hay ninguno
Sesiones, ruta y CheckEl motivo de get_path es el del inspector; run_check en cada laboratorio incluido coincide con su tipo (los modelos pasan, los ejercicios fallan); el temario no filtra topologías ni soluciones; la solución solo existe para ejercicios y, aplicada, hace pasar Check; una sesión que no existe es 404 y no 500; un fallo típico da su motivo exacto
Guardado de invitadosave devuelve un JSON que el navegador puede restaurar
confirmToken y esquemaSin token, patch, config y build son 403; con token funcionan; las herramientas de Eve encuentran la sesión más reciente de una labKey; confirm no cuenta para el límite; el token sale de la API, no del modelo; una idempotencyKey repetida devuelve la primera respuesta en vez de aplicar dos veces, también en build_lab; el límite responde 429 con Retry-After; un tipo de equipo desconocido se rechaza
list_commandsLa lista de un PC tiene ping e ip; cada perfil de switch tiene la suya; el perfil viaja por el estado, las ediciones y el guardado, y se puede cambiar en un switch ya colocado
Herramientas de Eve y los seis escenariosLos mismos escenarios que los evals, por HTTP: puerto apagado, falta subinterfaz, OSPF sin network (y arreglado), Wi-Fi con nmcli, la oficina construida hace ping, BGP rechazado; build_lab acepta un JSON entero, informa de las líneas rechazadas y rechaza puertos que no existen
Postgres tras un reinicioCon filas en el pool, iniciar sesión y GET /labs funcionan después de vaciar la memoria
WebSocketUn socket persistente devuelve la salida de la CLI y los paquetes; una sesión desconocida se cierra con 4404

Un test que fallaba a medias

«eve tools resolve a browser labKey to the newest session» abre dos sesiones seguidas con la misma labKey. Cuando caían en el mismo milisegundo, la API se quedaba con la primera y el test fallaba más o menos la mitad de las veces. No era el test: Eve habría leído un laboratorio que el navegador ya había sustituido. Desde el 18 de noviembre de 2026 el empate lo gana la sesión más nueva, y el test pasa siempre.

15-testing-e2e.md

Testing · Eve y navegador

Evals de Eve

apps/eve-agent/evals/: siete conversaciones con un modelo de verdad, escritas con defineEval de eve. Cada una manda un mensaje y comprueba qué herramientas llamó Eve y qué contiene su respuesta.

EvalSituaciónLo que tiene que pasar
shutdown-ifaceDos PCs en la misma VLAN, un puerto apagadoEve nombra el shutdown y el arreglo no shutdown
roas-subifsEntre VLAN sin subinterfaz en el routerEve dice router-on-a-stick y crea las subinterfaces
ospf-networkOSPF sin la sentencia networkEve añade la red correcta en el área 0
wifi-nmcliUn cliente Wi-Fi sin asociarEve da la línea de nmcli
refuse-bgpPiden BGP entre R1 y R2Eve no llama a build_lab, se niega y ofrece OSPF área 0
build-officeUna oficina de doble pila: switch, router, AP, servidor y dos PCsUn laboratorio válido cuyos pings pasan
build-campus-json3 VLAN, 8 PCs, dos switches, router-on-a-stick y un servidorbuild_lab con el JSON entero
npm run dev:api                 # la API en :3001
cd apps/eve-agent && npx eve eval

Necesitan el AI Gateway (npm run link:eve) y gastan créditos, así que no corren en cada despliegue. Los seis primeros escenarios tienen además su versión sin modelo en los tests del motor y de la API.

En el navegador

La web no tiene tests automáticos. Cada cambio de interfaz se comprueba en un navegador real, a 390 × 844 (teléfono, modo Basic) y a 1280 × 800 (escritorio), recorriendo el camino que cambió: tocar, cablear, añadir una IP, activar y desactivar Basic.

El 18 de noviembre de 2026, al mover la API, se recorrió la producción con Chrome sin interfaz:

PasoResultado
Abrir la web sin cuentaToken de invitado, primer laboratorio cargado, pie en Connected
ping -c 3 10.0.0.20 desde PC1Tres respuestas y 28 paquetes en el inspector
Check en el primer laboratorio«All checks passed» y propuesta del siguiente
Check en Find the fault: wrong default gatewayFalla con «ARP timeout for 10.0.1.254 at PC2»
Preguntar a Eve por quéEve lee la ruta, encuentra la puerta de enlace equivocada de PC2, aplica ip route replace default via 10.0.1.1 dev eth0 y Check pasa
Cambiar de laboratorioEl pie sigue en Connected mientras se abre el nuevo

Cada petición tardaba unos 0,3 segundos a través de Cloudflare; la primera tras un rato sin uso, unos 3.

16-testing-ci.md

Testing · CI

NetBench no tiene un workflow de GitHub Actions para los tests. Lo que hace de CI es el despliegue de la API.

Los tests como puerta del despliegue

Cada push a main hace que una plataforma de hosting propia clone el repositorio y construya netbench-api. Como la API corre con tsx y no se compila, su paso de build es:

npm test -w @netbench/engine && npm test -w @netbench/api
PasoQué para
npm ci del motor y la APIUn lockfile desfasado
Tests del motorUna regla de reenvío rota, un laboratorio del temario que no pasa o cuyo parche no lo arregla
Tests de la APIUna ruta rota, un token de Eve que deja de exigirse, una idempotencia que aplica dos veces

Si algo falla, ese commit queda como fallido y la API anterior sigue sirviendo. El resultado está en el panel de la plataforma y en GET /api/health (version es el commit que sirve).

Lo que no cubre

  • La web y Eve no pasan por esa puerta. Vercel los despliega en cada push sin correr los tests. Un commit que solo toca apps/web llega a producción aunque el motor esté roto, porque el build de Angular no importa el motor.
  • Los evals no corren solos (ver Testing · Eve y navegador).
  • El chequeo de tipos (npm run build -w @netbench/engine y -w @netbench/api) pasa limpio, pero no está en el build de la plataforma.

Si se añade un workflow

Bastaría un trabajo con Node 24 que haga npm ci, npm test, los dos tsc --noEmit y npm run build -w @netbench/web. No necesita secretos: sin DATABASE_URL la API usa la memoria, y los tests de Postgres usan MemoryPool.

En esta página

Testing · visión Comandos Convenciones Qué no está cubierto Testing · motor Por qué el temario se prueba entero Testing · API api.test.ts Un test que fallaba a medias Testing · Eve y navegador Evals de Eve En el navegador Testing · CI Los tests como puerta del despliegue Lo que no cubre Si se añade un workflow

0% leído

folder_zip Descargar todos (ZIP)
Pregunta sobre Cristian Asistente con IA, solo datos públicos

Es un asistente automático y puede equivocarse. Para algo importante, escribe a Cristian.