12-testing.md

Testing · visión

Obrador Mel tiene 175 tests y 32 conversaciones de extremo a extremo, todos con node --test, sin librerías de testing. La suite unitaria tarda menos de medio segundo y no necesita nada levantado.

Comandos

npm --prefix engine test                     # unitarios: nada levantado
npm --prefix engine run test:integration     # necesita Postgres
npm --prefix web test                        # el servidor de producción
./scripts/eval.sh                            # necesita el motor en marcha

Convenciones

• El nombre del test es una frase del comportamiento, escrita como lo diría el negocio: «un encargo solo se cierra cuando una persona lo confirma», «lo que no se sabe pasa a una persona en vez de inventarse».
• El reloj se fija. turn, chatTurn y staffAct reciben now, así que los tests no dependen del día en que corren. La mayoría usa el jueves 15 de octubre de 2026.
• Sin mocks del dominio. Los tests usan los datos reales del obrador, y la integración, un Postgres real.
• Lo externo se sustituye en el borde. El modelo se inyecta: turn recibe kbAnswer y answerFromKb recibe complete. Nada simula la base de datos.
• Sin modelo a propósito. La integración apunta Ollama y Qdrant a un puerto cerrado. Si el motor dependiera de ellos para algo importante, fallaría.
• Negocios de prueba solo para lo que el obrador no usa. Las reservas se prueban con un restaurante y una peluquería inventados en engine/test/fixtures/.
• Un error, un test. Cada error de los que aparecen en Retos y resultados tiene el suyo.

Qué no está cubierto

• La interfaz no tiene tests automáticos: componentes y plantillas se comprueban con el build de producción, que verifica los tipos de las plantillas, y a mano en el navegador.
• La calidad de lo que escribe el modelo no se puede fijar en un test. Las conversaciones comprueban que la respuesta contenga lo esperado, y las pruebas unitarias, que las barreras funcionan con un modelo simulado.

13-testing-unit.md

Testing · unitarios

Funciones sin base de datos, sin red y sin procesos. 12 ficheros, 139 tests, menos de medio segundo.

routes.test.mjs levanta un servidor HTTP de verdad en un puerto libre, pero sus casos se rechazan antes de llegar a la base de datos.

Un turno sin levantar nada

turn() no toca la base de datos, así que una conversación entera es un bucle. Es el test más valioso del proyecto: cuesta milisegundos y prueba lo mismo que un cliente.

const noKb = async () => ({ no_data: true, reason: 'prueba' });

async function talk(steps, { now = NOW, kbAnswer = noKb, found = mel, own = [] } = {}) {
  const { business, catalog } = found;
  let state = null;
  const log = [];
  for (const step of steps) {
    const input = typeof step === 'string' ? { text: step } : { action: step };
    const out = await turn({ biz: business, catalog, state, input, now, own, kbAnswer });
    state = out.state;
    log.push(out);
  }
  return log;
}

test('encargo completo: queda PENDIENTE, con el total calculado y sin confirmar nada', async () => {
  const log = await talk(['una caja de macarons y dos palmeras para mañana a las 11', 'Iria', '655444333', 'no', { type: 'confirm' }]);
  assert.ok(log.slice(0, -1).every((o) => !o.request), 'nada se envía hasta confirmar');
  const last = log.at(-1);
  assert.equal(last.request.status, 'pending');
  assert.equal(last.request.total_cents, 1450 + 2 * 220);
});

La misma pregunta de muchas formas

Una tabla de frases y lo que se espera de cada una. Si una regla nueva rompe una forma de preguntar, se ve aquí.

const cases = [
  ['¿A qué hora abrís?', /Hoy abrimos de 09:00 a 14:00 y de 16:30 a 20:00/],
  ['¿Abrís el domingo?', /Sí, el domingo.*09:30 a 14:00/],
  ['¿El lunes estará abierto?', /No, el lunes.*cerramos/],
  ['¿Qué días abrís?', /Abrimos de martes a domingo. Cerramos el lunes/],
  ['¿Cerráis a mediodía?', /hay pausa a mediodía/],
  ['Cando abrides?', /abrimos de 09:00 a 14:00 e de 16:30 a 20:00/],
];

El modelo, inyectado

answerFromKb recibe la función que llama al modelo, y las barreras se prueban con respuestas escritas a mano:

const ask = (content) => async () => ({ model: 'prueba', content, tokens_in: 10, tokens_out: 5, ms: 1 });

test('respuesta: si el modelo inventa una cifra se usa el texto de la fuente', async () => {
  const out = await answer(ask('Las clásicas, con 72 horas de antelación.'));
  assert.equal(out.fallback, true);
  assert.equal(out.text, 'Las tartas clásicas se encargan con 48 horas de antelación. La de Santiago, con 24.');
  assert.deepEqual(out.unsupported, ['72 hora']);
});

Las reservas, con negocios de prueba

El obrador no reserva, pero el motor sí. engine/test/fixtures/ tiene un restaurante y una peluquería mínimos, que pasan la misma validación que el obrador:

test('citas: solo los profesionales que hacen todos los servicios', () => {
  const { business, catalog } = pelu;
  const ids = ['corte-mujer', 'tinte-raiz'];
  const duration = ids.reduce((n, id) => n + catalog.byId.get(id).duration, 0);
  const av = staffAvailability(business, { ymd: '2026-10-21', duration, serviceIds: ids, now: NOW });
  assert.ok(av.slots.every((s) => s.resource.id === 'marta'), 'solo Marta hace corte de mujer y tinte');
});

Los datos también se prueban

store.test.mjs falla si el dataset del obrador tiene un alérgeno desconocido, un horario al revés o una categoría que no existe. Editar la carta está cubierto por la misma suite que el código.

14-testing-integration.md

Testing · integración

Dos ficheros que prueban piezas reales juntas: el motor contra un Postgres de verdad, y el servidor web como un proceso aparte.

El recorrido contra Postgres (engine/test/flow.test.mjs)

26 tests. Llaman directamente a chatTurn y staffAct, las funciones que hay detrás de las rutas, con el reloj fijado y una sesión nueva por test, así que pueden correr sobre una base con datos.

./scripts/up.sh
npm --prefix engine run test:integration

Ollama y Qdrant apuntan a un puerto cerrado a propósito:

process.env.OLLAMA_BASE_URL = 'http://127.0.0.1:9';
process.env.QDRANT_URL = 'http://127.0.0.1:9';

Lo que más vale

La prueba de privacidad no mira una columna: vuelca todo lo que se ha guardado de un expediente y busca el dato.

async function everything(caseId) {
  const q = async (sql) => JSON.stringify(await rows(sql, caseId));
  return (await Promise.all([
    q('SELECT summary FROM cases WHERE id = $1'),
    q('SELECT content, meta FROM messages WHERE case_id = $1'),
    q('SELECT data, dialog FROM biz_requests WHERE case_id = $1'),
    q('SELECT payload FROM events WHERE case_id = $1'),
    q('SELECT draft FROM proposals WHERE case_id = $1'),
  ])).join('\n');
}

test('una tarjeta en el primer mensaje no llega a la base de datos', async () => {
  const out = await say(newSession(), undefined, `hola, mi tarjeta es ${CARD}`);
  assert.equal(out.state, 'refused');
  const stored = await everything(out.case_id);
  assert.ok(!stored.includes('4111'), stored);
  assert.match(stored, /\[TARJETA\]/);
});

Mirar todas las tablas, y no solo messages, es lo que hace que esta prueba vea un resumen sin tapar.

El servidor web (web/serve.test.mjs)

10 tests. Arrancan serve.mjs como proceso aparte contra un motor de mentira que apunta lo que le llega, porque lo importante es lo que no deja pasar.

npm --prefix web test

15-testing-e2e.md

Testing · conversaciones de extremo a extremo

evals/conversations.jsonl guarda 32 conversaciones y evals/run.mjs las pasa contra el motor en marcha, por HTTP, igual que la web. Es la única prueba con el modelo y Qdrant de verdad.

./scripts/eval.sh            # todas
./scripts/eval.sh tarta      # solo las que llevan «tarta» en el id

PASS encargo-completo (623 ms)
PASS plazo-de-tarta (41 ms)
PASS conocimiento-congelar (3599 ms)
...
scored 32 pass 32 fail 0

Formato

Cada línea es una conversación con sus pasos: lo que dice el cliente, un botón o una decisión del local, con lo que se espera.

{"id":"encargo-completo","steps":[
  {"say":"Quiero una tarta de queso para 12 personas {{pickup}}","expect":{"reply":"30,00"}},
  {"say":"Laura"},
  {"say":"655444333"},
  {"say":"Feliz cumple Mateo"},
  {"action":{"type":"confirm"},"expect":{"request":{"kind":"order","status":"pending","total_cents":3000}}},
  {"staff":"accept","expect":{"status":"confirmed"}}
]}

Además, si una conversación se confirma, el runner comprueba que el expediente quedó en emit y que el cliente recibió el aviso del local.

{{pickup}} se sustituye por un día con plazo de sobra y las 11:00 libres. Se le pregunta al propio motor, porque la ocupación depende del día en que corre la prueba.

Qué cubren

Sin modelo

Con EVAL_NO_MODEL=1 se saltan las conversaciones marcadas con "model": true, y el resto pasan con Ollama y Qdrant apagados. Solo una necesita de verdad el modelo: «¿Puedo llevar una tarta en el coche una hora?», porque la mejor sección por palabras es la de aparcar, y hay que leer el contexto para contestar bien.

Esas 31 conversaciones son las que corren en la integración continua.

La interfaz

No hay pruebas automáticas de navegador en el repositorio. Los cambios de interfaz se comprueban recorriendo un encargo completo en el navegador, de la web al panel y de vuelta al chat, en escritorio y en móvil, sin errores del navegador.

16-testing-ci.md

Testing · CI

GitHub Actions corre en cada push a main y en cada pull request. El workflow es .github/workflows/ci.yml y tiene dos trabajos que no dependen entre sí.

engine

Levanta un Postgres 16 como servicio en el mismo puerto que usa en local (55432), con los valores por defecto de .env.example, así que no hacen falta secretos.

El último paso arranca el motor con Ollama y Qdrant apuntando a un puerto cerrado y pasa 31 de las 32 conversaciones. Que pasen sin modelo es parte de lo que se prueba: los encargos no pueden depender de la pieza que más puede fallar.

web

Lo que se queda fuera

• La respuesta del modelo: necesitaría un modelo de varios GB en cada ejecución. La conversación que lo necesita se pasa a mano con ./scripts/eval.sh.
• Los recorridos en el navegador, que se comprueban a mano.

El otro workflow

.github/workflows/portfolio-docs.yml no prueba nada. Cuando cambia docs/ en main, avisa al portafolio para que se reconstruya, porque lee esta documentación al compilar. Si no está configurado el secreto PORTFOLIO_BUILD_HOOK, deja un aviso y termina bien.