Este workflow scrapea ofertas de trabajo de Hacker News utilizando la API de Hacker News y la API de Algolia. Primero, se realiza una consulta a Algolia para obtener publicaciones relevantes con la palabra clave «Who is hiring». Luego, se extrae el ID de la publicación principal y se utiliza la API de Hacker News para obtener los detalles de la publicación, incluyendo los IDs de los comentarios que contienen las ofertas de trabajo. A continuación, se itera sobre cada comentario para obtener el texto de la oferta de trabajo. Se utiliza un modelo de lenguaje OpenAI para estructurar los datos extraídos y finalmente se limpia el texto antes de cargarlo en una base de datos Airtable. El workflow incluye un nodo de limitación para facilitar las pruebas.
- Integración con las APIs de Hacker News y Algolia para obtener datos de publicaciones y comentarios.
- Uso de un modelo de lenguaje OpenAI para estructurar la información extraída.
- Limpieza de texto para mejorar la calidad de los datos.
- Almacenamiento de los datos estructurados en Airtable.
- Diseño modular que permite la fácil extensión y modificación.