Casos de prueba y videos
Los casos de prueba de una tarea dicen qué tiene que funcionar para darla por buena: “BIENVENIDA10 descuenta el 10% del total”, con sus pasos y el resultado esperado. Cada caso tiene una clave (TC-1, TC-2…), un estado y un historial de corridas. Cuando un agente con navegador los prueba, cada corrida deja un video con subtítulos y la verificación de cada caso, capturas anotadas, la toma (el guion JSON que permite repetirla) y un reporte en la pestaña “Reportes”. Quien revisa abre la tarea y mira el video en vez de repetir el flujo a mano.
Esta página cubre los casos vistos desde una tarea. La biblioteca de casos que corren solos contra cada entorno, sin tarea, está en Evidencia.
Flujo recomendado
Sección titulada «Flujo recomendado»-
Abrí la tarea y bajá hasta “Casos de prueba”, debajo de la descripción y las subtareas. Tocá “+ Agregar caso”.
El bloque resume cuántos pasan y cuántos están cubiertos. Si alguno falla, la tarea muestra el aviso "Caso de prueba fallando" con un botón "Abrir el caso". -
Completá el formulario. Sólo “Título” es obligatorio; “Prioridad” arranca en “Media”. Escribí un comportamiento por caso y un resultado esperado que se pueda comprobar mirando la pantalla, con valores reales: “Total $21.600” en vez de “el cálculo da bien”. Si dejás el título vacío, el formulario dice “El título es obligatorio.” y no guarda. Tocá “Guardar”: el caso recibe la clave siguiente.
Descripción, Pasos y Resultado esperado aceptan markdown. La clave no se elige: el caso nuevo recibe la siguiente a la TC más alta de la tarea. -
Tocá “Correr casos”. Elegí el “Agente”, escribí la “URL a probar” y, si querés un antes/después, “Comparar con”; tildá los “Casos” y tocá “Lanzar”. Thulu publica en la Actividad un comentario que menciona al agente (“@qa corré los casos de prueba TC-1, TC-2, TC-3 de esta tarea en
https://staging.tienda.example…”) con las instrucciones plegadas, y el aviso dice “Le pedí a qa que corra 3 casos. Lo ves en la actividad.”. El agente contesta en ese hilo.El botón aparece apagado, con el motivo, si ningún agente contesta menciones o ninguno tiene argus-browser en la etapa con la que contesta. En la lista, un agente sin navegador figura como “qa (le falta el navegador)”. Los MCP se configuran etapa por etapa (ver Agentes y MCPs). Un agente con argus-browser y octopus-api en la columna también corre los casos cuando la tarea entra en ella; ahí la URL va en la descripción.
El navegador corre dentro de la instalación, así que la URL tiene que ser accesible desde ahí: un staging, un preview por PR o la app que el agente levanta en el Sandbox. Un
localhostde tu máquina no sirve.
Un pedido con las dos URL y la respuesta del agente en el mismo hilo: qué pasó en cada caso, con el valor observado, y qué quedó sin correr. -
Cuando la corrida termina, cada caso que el agente verificó cambia de estado y queda tildado “cubierto”. Desplegá un caso para ver sus corridas, de la más nueva a la más vieja: veredicto, cuándo, quién, lo que se observó, el video, y los links “Toma (JSON)”, “Capturas” y “Abrir en Reportes”.
TC-2 con dos corridas: la de hace 3 horas reprodujo el bug (Fallido, observado $24.000) y la última, con el arreglo, pasó. -
Mirá el video. Muestra el cursor, un anillo en cada clic, el paso como subtítulo y, en el momento de cada verificación, una tarjeta verde o roja con lo esperado y lo observado. Si la corrida fue antes/después, los dos lados van sincronizados paso a paso.
Un cuadro del video antes/después: el mismo paso contra la versión vieja (falla, el total sigue en $24.000) y la nueva (pasa, $21.600). -
Si un caso quedó en “Fallido”, leé el “observado” de su corrida y la captura anotada. Corregí el código y volvé a pedir la corrida: cada vuelta es una corrida nueva, las anteriores no se editan.
Revisar una corrida
Sección titulada «Revisar una corrida»Una corrida reúne todo lo que dejó una ejecución de un caso:
| Parte | Qué muestra | Dónde |
|---|---|---|
| Veredicto | “Aprobado”, “Fallido” o “Bloqueado”. El caso toma este estado. | Cabecera de la corrida |
| Observado | Lo que había en pantalla, en una línea (“Cupón inválido”) | Debajo del veredicto |
| Video | MP4 con subtítulos y tarjetas de verificación; sin esperas muertas | Dentro de la corrida |
| “Capturas (N)” | Capturas con zonas numeradas, notas y el resto oscurecido | Abre el visor con las capturas de esa corrida |
| “Toma (JSON)” | El guion de la corrida: pasos, selectores y verificaciones | Descarga el archivo |
| “Reporte” | El reporte completo, plegado bajo la corrida, sin repetir el video | “Abrir en Reportes” lo abre en su pestaña |
La pestaña “Reportes” de la tarea junta un reporte por publicación, del más nuevo al más viejo. El título termina en “pasa” si pasó todo y en “falla” si algo falló; adentro están la URL probada, el tamaño de pantalla, la duración, el video, la tabla de casos (en un antes/después, con una columna por lado), las capturas y los capítulos con su minuto, plegados.
Desde una corrida, “Abrir en Reportes” te lleva directo al suyo.
Qué mide una verificación
Sección titulada «Qué mide una verificación»El agente filma con la herramienta de evidencia de argus-browser. Cada caso que verifica lleva su clave (TC-2) y, cuando puede, una medición de la página que se repite igual en cada reproducción:
| Medición | Compara | Ejemplo de esperado |
|---|---|---|
| Texto | El texto visible de un elemento | $21.600 |
| Valor | Lo que tiene un campo | BIENVENIDA10 |
| Visible / oculto | Si el elemento está o no a la vista | hidden para “no aparece el error” |
| Cantidad | Cuántos elementos coinciden | 3 |
| URL | La dirección actual | /orders/ |
| Título | El título de la página | Checkout |
La comparación puede ser exacta, “contiene” o una expresión regular. Por defecto, la herramienta espera hasta 5 segundos a que el valor coincida antes de dar el caso por fallido, así un total que se actualiza tarde no da un falso rojo. Cuando el agente juzga algo que no se puede medir (“el ícono está alineado”), el reporte lo marca como observado por el agente.
Varias verificaciones del mismo caso en una corrida hacen una sola corrida: pasa si pasan todas. Una clave que la tarea no tiene (TC-9) no se registra en ningún caso; la respuesta del agente la lista aparte.
Estados y “cubierto”
Sección titulada «Estados y “cubierto”»| Estado | Cuándo |
|---|---|
| “Pendiente” | Nadie lo ejecutó. Es el estado al crearlo. |
| “Aprobado” | Se ejecutó y lo observado coincide con lo esperado. |
| “Fallido” | Se ejecutó y no coincide. |
| “Bloqueado” | No se pudo ejecutar por algo ajeno al caso: el entorno caído, falta un dato, otro bug corta el flujo antes. |
| “Omitido” | Se decidió no ejecutarlo en esta tarea. |
“cubierto” indica que alguien lo probó. Una corrida lo tilda sola; también lo podés tildar a mano. El estado se cambia desde el selector de la fila, pero un cambio a mano no deja corrida ni video, y la fila lo marca “a mano”. Pasar a “Aprobado” un caso que nadie corrió pide confirmación (“¿Marcar TC-2 como aprobado?”). Para que quede constancia, pedí la corrida.
Otros flujos
Sección titulada «Otros flujos»Editar, ordenar y borrar casos
Sección titulada «Editar, ordenar y borrar casos»Desplegá el caso. “Editar” abre el mismo formulario en el lugar; las flechas ↑ y ↓ lo mueven en la lista; “Borrar” pide confirmación y borra el caso con sus corridas. Los videos y archivos de esas corridas quedan en la tarea. Editar conserva la clave y el historial; borrar y volver a crear los pierde.
Pasar una checklist vieja a casos
Sección titulada «Pasar una checklist vieja a casos»Las tareas viejas tienen los casos como una sección ## Test Cases con una checklist en la descripción. Mientras la tarea no tenga casos, el bloque ofrece “Importar desde el cuerpo”: cada línea pasa a ser un caso, una línea que empieza con clave (- [ ] TC-1: …) la conserva, y las tildadas (- [x]) entran como “Aprobado” y cubiertas.
Después de importar, el aviso ofrece “Quitar la sección del cuerpo”. Desde ese momento mandan las filas: si dejás la sección, el bloque avisa “El cuerpo todavía tiene la sección Test Cases con estos casos, y nadie la mantiene al día.” y lo que tildes en la checklist ya no cambia el estado de ningún caso.
Que un agente escriba los casos
Sección titulada «Que un agente escriba los casos»Si la etapa de refinamiento tiene un agente con octopus-api, ese agente puede escribir los casos al planificar la tarea, con el mismo formato: un comportamiento por caso, pasos concretos y un esperado con valores. Revisalos antes de mover la tarea a la etapa que prueba.
Llevar un caso a la biblioteca
Sección titulada «Llevar un caso a la biblioteca»Un caso que vale la pena repetir en cada release se copia a la biblioteca de Evidencia. Abrí “Evidencia” en la barra lateral, pestaña “Desde tareas”, y tocá “Agregar a la biblioteca” en su fila. Si el caso ya tenía una corrida filmada, se copia con su toma (“Quedó en la biblioteca como EV-1, con su grabación.”) y desde ahí corre solo contra cada entorno.
Link a un caso
Sección titulada «Link a un caso»/tasks/#task-<id>/TC-3 abre la tarea con ese caso desplegado, para quien tiene acceso al workspace. El botón “Abrir el caso” del aviso de la tarea hace lo mismo con el caso que falla; si fallan varios, el aviso dice cuántos (“2 casos de prueba fallando”) y abre el primero.
Problemas comunes
Sección titulada «Problemas comunes»- Un caso en “Bloqueado”: el agente no pudo llegar al punto de prueba. El “observado” de la corrida dice por qué (por ejemplo, el entorno devolvía 502). Arreglá el entorno y pedí otra corrida.
- “Archivos” de la tarea crece con cada publicación: el video, los capítulos, la toma y las capturas quedan agrupados en un ítem por reporte. Los links de la corrida apuntan a esos archivos; si borrás uno, la corrida muestra “archivo eliminado”.
- Una corrida que filma flujos que cambian datos (crear una orden, mandar un mail) sólo se repite contra entornos descartables. El agente marca esos pasos y la herramienta se niega a reproducir la toma salvo que el agente lo habilite a propósito, algo que corresponde sólo contra un preview o una base de prueba.