驴Qu茅 Pueden Hacer las Tareas Programadas?
Hay demasiada automatizaci贸n que puede lograr. Perm铆tanme primero enumerar algunos casos de uso comunes:
Monitoreo Din谩mico de Redes Sociales: Rastrea actividades de usuarios espec铆ficas regularmente y monitorea temas de tendencia Adquisici贸n y An谩lisis de Datos: Rastrea art铆culos de sitios web, informaci贸n de comentarios, etc., de forma regular Marketing Automatizado: Publica autom谩ticamente en redes sociales a intervalos programados Automatizaci贸n Personal: Recordatorios de tiempo y gesti贸n de tareas
En el pasado, implementar estas tareas automatizadas programadas era bastante problem谩tico. A menudo requer铆a dominar un lenguaje de programaci贸n (como Python), configurar un servidor o plataforma en la nube, o incluso escribir scripts complejos para manejar diversas situaciones. Esto sol铆a ser una barrera significativa para personas no t茅cnicas o desarrolladores con tiempo limitado.
Pero ahora, con la funci贸n de "Tareas Programadas" de Apidog, estos escenarios automatizados son b谩sicamente f谩ciles de manejar.En Apidog, la implementaci贸n de tareas automatizadas de tiempo, como rastreadores y monitoreo, se puede dividir aproximadamente en los siguientes pasos:
- Obtener API
- An谩lisis de datos devueltos
- Orquestar escenarios de prueba
- Configurar tareas programadas
A continuaci贸n, explicaremos c贸mo operar en Apidog bas谩ndose en estos pasos. Sean cuales sean tus necesidades, lo siguiente puede darte algo de inspiraci贸n.
Obtener API
Si deseas monitorear la din谩mica de las redes sociales de ciertas plataformas, o rastrear datos de ciertas plataformas, el primer paso es obtener la API que implementa esta operaci贸n. Surge entonces la pregunta, 驴d贸nde puedo encontrar estas APIs?
Puedes ir a la "plataforma abierta" oficial para averiguar si hay interfaces abiertas relevantes. Esta es la forma m谩s formal. Generalmente, las p谩ginas que se pueden mostrar en el front-end tendr谩n las APIs correspondientes.
Por ejemplo, suponiendo que queremos monitorear el n煤mero de estrellas de un determinado proyecto en GitHub, podemos ir a la plataforma abierta de GitHub en este momento para ver si hay alguna API relevante disponible. Si es as铆, simplemente c贸pialas directamente.
Se requiere llevar un Token al solicitar una API abierta, y generalmente se puede generar en el entorno del desarrollador.
Adem谩s de ir a la plataforma oficial para encontrar la API, tambi茅n puedes optar por capturar paquetes en el navegador, o encontrar algunos proyectos de c贸digo abierto en GitHub. El m茅todo de operaci贸n espec铆fico se puede ver en la secci贸n de extensiones al final de este art铆culo.
An谩lisis de Datos Devueltos
Ahora que sabemos c贸mo obtener la API relevante, el siguiente paso es analizar los datos devueltos y ver qu茅 informaci贸n 煤til contienen. En general, estas APIs devuelven datos en formato JSON, y necesitamos examinar cuidadosamente qu茅 representa cada campo.
Por ejemplo, al acceder a esta API abierta a continuaci贸n, se puede obtener informaci贸n del repositorio para proyectos de c贸digo abierto espec铆ficos en GitHub:
curl -L \
-H "Accept: application/vnd.github+json" \
-H "Authorization: Bearer <YOUR-TOKEN>" \
-H "X-GitHub-Api-Version: 2022-11-28" \
https://api.github.com/repos/{owner}/{repo}
Donde {owner} es el nombre de usuario o el nombre de la organizaci贸n del propietario del repositorio y {repo} es el nombre del repositorio. Para encontrar esta informaci贸n, solo mira la URL del repositorio de GitHub:
- Abre la p谩gina del proyecto de GitHub que deseas ver
- Echa un vistazo a la URL en la barra de direcciones del navegador, y tiene este formato:
https://github.com/{owner}/{repo} - La parte despu茅s de la primera barra en la URL es
{owner}, la parte despu茅s de la segunda barra es{repo}
En Apidog, puedes copiar directamente el contenido del comando cURL anterior para crear una nueva solicitud de API, o puedes configurar manualmente el m茅todo de solicitud y la URL mientras a帽ades el Token al encabezado de la solicitud.
Una vez que env铆as una solicitud, obtienes una respuesta JSON como esta:
{
"id": 468576060,
"name": "openai-cookbook",
"full_name": "openai/openai-cookbook",
"stargazers_count": 59366,
...
}
Despu茅s de obtener los datos JSON brutos, el siguiente paso es el procesamiento de datos. En Apidog, podemos usar expresiones JSONPath o escribir scripts simples para lograr esto.
Por ejemplo, para usar JSONPath y extraer campos espec铆ficos, puedes a帽adir una operaci贸n de "Extraer Variables" en los "Post-procesadores" y rellenar la expresi贸n correspondiente. Si no est谩s familiarizado con c贸mo escribir expresiones, puedes hacer clic en el icono en el cuadro de entrada de "Expresi贸n JSONPath" para usar la herramienta de extracci贸n JSONPath como asistente.
Los datos extra铆dos se almacenar谩n temporalmente en variables de entorno, que pueden enviarse a servidores o almacenarse en bases de datos en pasos posteriores.
Adem谩s del formato JSON com煤n, existe otro tipo que devuelve directamente todo el documento HTML, lo cual es muy com煤n en escenarios de renderizado del lado del servidor. Para esto, necesitamos usar scripts para el procesamiento.
En Apidog, puedes crear un nuevo "Script Personalizado" en los "Post-procesadores" y usar el m茅todo fox.liveRequire para referenciar la librer铆a htmlparser2 para procesar datos en formato HTML.
Por ejemplo, si deseas extraer todas las etiquetas <article> y su contenido interno de un HTML y convertirlas a formato de texto, puedes escribir un script como este:
fox.liveRequire("htmlparser2", (htmlparser2) => {
console.log(htmlparser2);
// HTML string (generally read from interface return data)
const htmlString = `
<html>
<body>
<article>
<h1>Title</h1>
<p>This is a paragraph.</p>
<p>Another piece of text.</p>
</article>
<footer>Footer content</footer>
</body>
</html>
`;
// Parse document
const document = htmlparser2.parseDocument(htmlString);
// Use DomUtils to find <article> tags
const article = htmlparser2.DomUtils.findOne(elem => elem.name === "article", document.children);
// Convert content in <article> to complete HTML fragment
if (article) {
const articleHTML = htmlparser2.DomUtils.getOuterHTML(article);
console.log(articleHTML);
} else {
console.log("No <article> tag found.");
}
})
El procesamiento de contenido en formato HTML a trav茅s de scripts no se explorar谩 demasiado aqu铆. Simplemente puedes entender esto como "manipulaci贸n del DOM" - puedes pedirle a la IA detalles espec铆ficos.
Orquestar Escenarios de Prueba
Con las APIs listas y los datos analizados, el siguiente paso es orquestar escenarios de prueba en las pruebas automatizadas.
En Apidog, puedes crear un escenario de prueba en las pruebas automatizadas e importar las solicitudes de API preparadas en 茅l.
Si necesitas insertar datos procesados en una base de datos, puedes crear una nueva "Operaci贸n de Base de Datos" en los "Post-procesadores" e insertar los datos procesados en la base de datos a trav茅s de comandos SQL. Los comandos SQL admiten la lectura de valores de variables de entorno, por ejemplo:
INSERT INTO monitoring_data (project_name, star_count, updated_time)
VALUES ('{{project_name}}', {{star_count}}, NOW())
Adem谩s, puedes almacenar datos procesados a trav茅s de APIs, es decir, escribir tu propia API para guardar datos en un servidor, o enviar datos a plataformas de terceros a trav茅s de Webhooks.
Por ejemplo, si quiero enviar datos procesados a Feishu (Lark), puedo a帽adir un nuevo paso de prueba en el escenario de prueba y usar la API de Webhook proporcionada por Feishu para enviar mensajes. Durante este proceso, puedes leer los resultados de ejecuci贸n de los pasos anteriores a trav茅s de "Valores Din谩micos", lo que hace que el procesamiento de datos sea m谩s conveniente.
Si necesitas iterar sobre un grupo de datos, o hacer que los campos devueltos cumplan ciertas condiciones espec铆ficas antes de continuar la ejecuci贸n, tambi茅n puedes a帽adir "Condiciones de Control de Flujo" a los pasos de prueba.
Una vez completada la orquestaci贸n del escenario de prueba, puedes ejecutar la prueba para ver el efecto. Verifica si hay errores en todo el escenario de prueba y confirma si los datos se transmiten correctamente. Si no hay problemas con el escenario de prueba orquestado, puedes pasar al siguiente paso: 隆configurar las tareas programadas!
Configurar Tareas Programadas
En Apidog, configurar tareas programadas es s煤per simple. Sin embargo, el requisito previo para usar tareas programadas es que ya hayas desplegado un Runner en el servidor. Puedes consultar la gu铆a detallada sobre el proceso de instalaci贸n y configuraci贸n de Runner.
Suponiendo que ya hayas desplegado el Runner, ahora puedes a帽adir tareas programadas a los escenarios de prueba previamente orquestados para que se ejecuten seg煤n lo programado, logrando as铆 un monitoreo automatizado.
En las pruebas automatizadas de Apidog, busca el m贸dulo "Tareas Programadas", luego crea una nueva tarea programada. En la interfaz de configuraci贸n, ver谩s las siguientes opciones:
- Nombre de la Tarea: Asigna un nombre descriptivo a la tarea, como "Monitoreo Diario del Recuento de Estrellas de GitHub"
- Escenario de Prueba: Selecciona el escenario de prueba que necesita ejecutarse regularmente, como escenarios de monitoreo programado o de rastreo.
- Establecer Ciclo de Ejecuci贸n: Por ejemplo, ejecutar una vez al d铆a a las 6:00 PM
- Entorno de Ejecuci贸n: Selecciona el servicio Runner desplegado
- Configuraci贸n de Notificaciones: Especifica el m茅todo de notificaci贸n despu茅s de completar la tarea, que puede ser correo electr贸nico, DingTalk, etc.
Despu茅s de configurar y guardar, los escenarios de prueba bajo esta tarea programada se ejecutar谩n regularmente seg煤n el ciclo de ejecuci贸n establecido, y habremos logrado el objetivo del monitoreo programado automatizado.
Extensiones
En la secci贸n "Obtener API" anterior, adem谩s de encontrar APIs en plataformas abiertas oficiales, tambi茅n puedes capturar paquetes directamente en el navegador.
Aqu铆 tienes un ejemplo:
Supongamos que queremos monitorear los temas de tendencia de Weibo. Podemos abrir la p谩gina de tendencias de Weibo en el navegador, luego presionar F12 o Ctrl + Shift + I para abrir las herramientas de desarrollador y cambiar a la pesta帽a de Red. Actualiza la p谩gina y ver谩s un mont贸n de solicitudes. Encuentra la solicitud que obtiene los datos de tendencia, haz clic derecho y c贸piala como cURL. Luego, abre Apidog, crea una nueva interfaz y pega el cURL que acabas de copiar en el cuadro de entrada. Apidog lo analizar谩 autom谩ticamente por nosotros, 隆s煤per conveniente!
Adem谩s de la captura de paquetes, algunos desarrolladores de terceros pueden haber realizado ingenier铆a inversa de ciertas APIs de servicio. Puedes buscar en GitHub y usarlas directamente si es necesario.
Conclusi贸n
Esto concluye el contenido de este art铆culo. Espero que te sirva de inspiraci贸n para usar la funci贸n de tareas programadas de Apidog e implementar operaciones automatizadas interesantes. Si tienes ideas o pr谩cticas geniales, no dudes en compartirlas en la comunidad de usuarios de Apidog. Ya sean consejos de uso personal o ideas para resolver problemas dif铆ciles, 隆todo es bienvenido!