¡Hola, usuarios de Apidog! 👋 Durante el último año, hemos construido una plataforma integral de pruebas automatizadas en torno a los Escenarios de Prueba: secuencias de flujo de trabajo reutilizables que encadenan múltiples solicitudes de API en flujos de negocio completos. Los Escenarios de Prueba resuelven el problema de "cómo probar", pero hemos recibido comentarios consistentes de los equipos sobre un desafío diferente: "cómo organizar qué probar".
Los equipos nos dicen que tienen cientos de casos de prueba organizados por módulos de negocio, pero cuando llega el momento de la regresión para un lanzamiento, solo quieren ejecutar sus casos P0, no todo. Actualmente, tienen que buscar y seleccionar manualmente cada uno. Otros mantienen casos de prueba tanto positivos como negativos, pero quieren que las pruebas de humo cubran solo los flujos positivos. Y cuando se añaden nuevos casos, a menudo se olvidan en las listas de regresión.
Hoy, presentamos los Conjuntos de Pruebas (Test Suites): un nuevo tipo de recurso que le permite organizar y ejecutar pruebas por reglas en lugar de por selección individual. Los Conjuntos de Pruebas aportan tres capacidades centrales a su flujo de trabajo de pruebas:
- Enrutamiento dinámico de pruebas: Defina las reglas de filtrado una sola vez (por etiquetas, directorios o niveles de prioridad) y los casos coincidentes se incluirán automáticamente en tiempo de ejecución. Los nuevos casos que cumplan sus criterios se añadirán sin necesidad de mantenimiento manual.
- Ejecución paralela: Alterne entre el modo serie y paralelo con un solo clic. El sistema optimiza automáticamente la concurrencia según los recursos disponibles, reduciendo las regresiones de horas a minutos.
- Informes de pruebas estructurados: Vea los resultados agrupados por su lógica de organización (por módulo, prioridad o etiqueta) en lugar de desplazarse por listas planas. Los casos fallidos se muestran inmediatamente con un contexto claro.
Aquí un vistazo más de cerca a cómo funciona cada capacidad.
Enrutamiento dinámico de pruebas
La solicitud más común que escuchamos de los equipos de control de calidad es: "Quiero ejecutar todos los casos P0 en el módulo de pago sin seleccionarlos uno por uno". Los Conjuntos de Pruebas resuelven esto al separar la creación de pruebas de la organización de pruebas.
Los Escenarios de Prueba siguen siendo sus bloques de construcción: cada uno representa un flujo de trabajo de negocio completo (iniciar sesión, crear pedido, pagar, verificar estado). Los Conjuntos de Pruebas le permiten agrupar estos escenarios por condiciones: etiquetas, directorios, niveles de prioridad o cualquier combinación. Cuando ejecuta un conjunto, este incluye automáticamente todos los casos coincidentes en el momento de la ejecución.
Esto se vuelve cada vez más importante a medida que las herramientas de desarrollo impulsadas por IA aceleran la generación de código y pruebas. Con los conjuntos dinámicos, no necesita actualizar manualmente las listas de regresión cada vez que se añade un nuevo caso. Escriba el caso, aplique las etiquetas correctas y el conjunto se encarga del resto.
Admitimos dos modos para adaptarse a diferentes necesidades de prueba:
El modo estático le ofrece una lista fija de casos. Selecciona exactamente qué escenarios incluir, y esa lista permanece inalterada hasta que la modifique. Esto funciona bien para las pruebas de humo: un conjunto seleccionado de 5-15 escenarios críticos que rara vez cambian pero se ejecutan con frecuencia.
El modo dinámico utiliza reglas para incluir automáticamente los casos coincidentes. Defina una condición (todos los casos en el directorio "Pago" con prioridad P0), y el conjunto se mantendrá actualizado a medida que evolucione su biblioteca de pruebas. Esto funciona bien para la regresión de módulos, donde el recuento de casos cambia regularmente.
En la interfaz del producto, le guiamos a través de esta elección sin necesidad de que entienda la terminología de antemano. Cuando selecciona el modo estático, aparecen casillas de verificación para la selección individual. Cuando selecciona el modo dinámico, ve una vista previa de solo lectura de los casos coincidentes con una nota: "Los nuevos casos que coincidan con estas condiciones se incluirán automáticamente."
Ejecución paralela
Cuando su conjunto de pruebas crece a cientos de casos, la ejecución en serie se convierte en un cuello de botella. Una regresión completa que tarda una hora en completarse retrasa su pipeline de lanzamiento y ralentiza la detección de problemas en el monitoreo de producción.
Los Conjuntos de Pruebas admiten la ejecución paralela de forma predeterminada. Simplemente alterne entre el modo serie y paralelo: el sistema determina automáticamente la concurrencia óptima según los recursos disponibles de su máquina. No se requiere ajuste manual. Esto reduce una regresión de 60 minutos a menos de 30 minutos sin cambiar su lógica de prueba.
La ejecución paralela maneja automáticamente el aislamiento de dependencias. Cada escenario se ejecuta en su propio contexto, asegurando que las variables compartidas o el estado del entorno de un escenario no interfieran con otro. Para escenarios que realmente dependen unos de otros, puede agruparlos en un solo escenario con pasos secuenciales.
Informes de pruebas estructurados
Los informes de pruebas tradicionales enumeran los resultados uno por uno. Cuando ejecuta un conjunto con 200 casos en varios módulos, encontrar los fallos importantes se vuelve tedioso.
Los informes de los Conjuntos de Pruebas se estructuran en torno a su lógica de organización. Los resultados se agrupan por las condiciones que definió: por módulo, por prioridad, por etiqueta. Puede ver inmediatamente que "Módulo de Pago: 45/47 aprobados" y "Módulo de Usuario: 32/32 aprobados" sin desplazarse por entradas individuales.
Cada grupo se expande para mostrar los resultados individuales de los escenarios con tiempo de ejecución, recuento de aserciones y detalles de los fallos. Los escenarios fallidos aparecen en la parte superior con un contexto de error claro, para que pueda clasificar los problemas sin tener que buscar en los registros.
Los informes también incluyen metadatos de ejecución: duración total, eficiencia paralela (tiempo ahorrado en comparación con la ejecución en serie) y configuración del entorno utilizada. Esto le ayuda a optimizar la configuración del conjunto con el tiempo y proporciona pistas de auditoría para los requisitos de cumplimiento.
Configuración unificada con anulaciones flexibles
Cada Escenario de Prueba puede tener su propia configuración de ejecución: entorno, recuento de bucles y otras configuraciones. Cuando agrupa múltiples escenarios en un conjunto, debe decidir qué configuración tiene precedencia.
Por defecto, cada escenario se ejecuta con su configuración guardada, el comportamiento más intuitivo. Específicamente para la configuración del entorno, el conjunto proporciona un selector de entorno unificado que los escenarios pueden heredar. Esto le permite cambiar todo su conjunto de regresión de staging a producción con un solo cambio.
Si necesita control total, puede especificar una configuración personalizada que anule todas las configuraciones a nivel de escenario. Esta opción está disponible en la configuración avanzada para mantener simple la ruta común.
Conjuntos de Pruebas vs. Ejecuciones por lotes de directorios
Apidog ya admite ejecuciones por lotes a nivel de directorio. Los Conjuntos de Pruebas tienen un propósito diferente.
Los Directorios organizan los casos por estructura física. Un caso pertenece a una carpeta.
Los Conjuntos de Pruebas organizan los casos por reglas lógicas. Un caso puede pertenecer a múltiples conjuntos simultáneamente.
Por ejemplo: un caso de prueba P0 de pago puede aparecer tanto en "Regresión del Módulo de Pago" (todos los casos P0/P1 etiquetados como pago) como en "Prueba de Humo Completa" (todos los casos P0 en todo el sistema). Esta flexibilidad le permite construir unidades de ejecución de pruebas reutilizables para diferentes escenarios: pruebas de humo activadas en cada commit, regresión completa antes de los lanzamientos y controles de salud programados en producción.
Capacidad | Propósito | Mejor para |
|---|---|---|
Escenario de Prueba | Orquestación de flujos de negocio | Definición de flujos de trabajo de pruebas individuales |
Directorio | Organización física | Colaboración en equipo, gestión de casos |
Ejecución por lotes de directorio | Ejecución rápida | Pruebas exploratorias, regresión ad-hoc |
Conjunto de Pruebas | Unidad de ejecución reutilizable | Regresión de lanzamiento, pruebas de humo, monitoreo programado |
Qué estamos construyendo a continuación
Estamos evaluando el anidamiento de conjuntos (componer conjuntos a partir de otros conjuntos) y la reintentos automáticos en caso de fallo. El modo dinámico ya maneja la mayoría de las necesidades de composición, y queremos evitar enmascarar fallos genuinos con reintentos. Lo revisaremos basándonos en los patrones de uso.
Cómo empezar
Los Conjuntos de Pruebas ya están disponibles en Apidog. Cree su primer conjunto desde el módulo de Pruebas Automatizadas, seleccione el modo estático o dinámico, defina sus condiciones y ejecútelo. Integre con su pipeline de CI/CD utilizando la CLI para activar conjuntos en la fusión de código o programarlos.
Únase a la conversación
Nos gustaría saber cómo los Conjuntos de Pruebas se ajustan a su flujo de trabajo. Comparta sus comentarios en nuestros canales de la comunidad. Conéctese con otros ingenieros de API y con el equipo de Apidog:
- Discord: Únase a nuestra comunidad para discusiones en tiempo real y estrategias de prueba
- X (Twitter): Síganos para las últimas actualizaciones de productos e información sobre API
- LinkedIn: Conéctese con nosotros para actualizaciones profesionales y perspectivas de la industriaExplore los detalles completos de todas estas actualizaciones en el Changelog de Apidog! 🚀
¡Felices pruebas!