Website Scrape
Usa Website Scrape cuando quieras que un paso del flujo de trabajo obtenga una página de la web y devuelva las partes de esa página que tu flujo de trabajo necesita.Configuración
El campo URL admite Insert Variable. Debajo, el panel de configuración te permite elegir qué tipos de salida devolver: HTML, Markdown, Links y Subpages.
Usa Crawl Mode para controlar cómo Fetch Hive recupera la página:
- Preferred (el valor predeterminado de los pasos nuevos) intenta primero un rastreo en vivo y luego recurre a la caché.
- Always siempre usa un rastreo en vivo.
- Fallback usa primero la caché y luego rastrea si es necesario.
- Never solo usa la caché, por lo que falla en páginas que nunca se guardaron. Los pasos creados antes de este cambio conservan el modo con el que se guardaron.
Salida
Haz clic en Run en el encabezado del paso para probar el paso. Fetch Hive muestra el resultado del scrape en Output después de que se complete la ejecución. Usa el selector de variables en un paso posterior para insertar la ruta de salida exacta disponible para esa ejecución. La referencia base es:Ejemplo
Agrega Website Scrape desde el grupo Research en Search steps…. Establece Name en algo comoScrape product page.
Pega la página en URL. Si la URL proviene de un paso anterior del flujo de trabajo, haz clic en Insert Variable y agrega esa referencia.
Activa las salidas que necesites. Por ejemplo, habilita Markdown para contenido limpio, Links para enlaces extraídos y Subpages si quieres que el paso lea más del sitio que la página principal. Define Subpage Count (de 1 a 5) y, de forma opcional, Subpage Focus con palabras como about, services, pricing para que se lean primero las páginas que te interesan. Cada subpágina suma al costo del paso.
Elige un Crawl Mode, luego establece Max Characters, Max Retries y Timeout (ms) para la ejecución.
Si necesitas una captura visual, activa Screenshot y elige Viewport o Full Page en Screenshot Type.
Haz clic en Run y revisa el resultado del scrape en Output antes de enviarlo a pasos posteriores del flujo de trabajo.
Notas
- El resultado devuelto depende de qué interruptores de salida habilites, así que inspecciona el selector de variables después de una ejecución si necesitas nombres de campo exactos.
- El editor muestra una advertencia para URL directas de LinkedIn. Las URL de LinkedIn no son compatibles para scraping.
- Usa Markdown cuando quieras contenido de página más limpio, HTML cuando necesites markup sin procesar y Links cuando solo necesites URL extraídas.
- Cuando este paso está dentro de una Iteration, configura When the step fails de la iteración en Continue porque algunos sitios bloquean. Un fallo de scrape igual detiene ese ítem del bucle; Continue en la iteración es lo que mantiene el resto del flujo de trabajo en marcha.