Este workflow automatiza la extracción de datos a gran escala utilizando la plataforma Bright Data. Comienza con un disparador manual (‘Test workflow’). Luego, se configura el ID del dataset y la URL de solicitud. Se inicia una solicitud HTTP a la API de Bright Data para crear un snapshot (instantánea de datos). El workflow incluye un mecanismo de espera y verificación del estado del snapshot. Una vez completado, se descarga el snapshot mediante otra solicitud HTTP. El resultado JSON se procesa y se envía una notificación a través de un webhook. Finalmente, los datos se convierten a un archivo binario y se escriben en disco. El workflow utiliza nodos de control de flujo (If) para gestionar posibles errores y asegurar la correcta ejecución. La autenticación se realiza mediante ‘Header Auth account’ para acceder a la API de Bright Data.
- Automatiza la extracción de grandes conjuntos de datos usando Bright Data.
- Gestiona el estado del proceso de extracción con notificaciones webhook.
- Incluye manejo de errores y control de flujo para asegurar la fiabilidad.
- Convierte los datos JSON a un archivo binario para su posterior procesamiento.
- Utiliza la API de Bright Data para la creación, monitoreo y descarga de snapshots.