#web-scraping Repositorios
382 repositorios en total
AI Map es una herramienta de mapeo de sitios web impulsada por IA de Oxylabs AI Studio que utiliza indicaciones en lenguaje natural para descubrir y extraer de forma inteligente URL relevantes de cualquier sitio web.
❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] (encuentra propiedades inmobiliarias de verdad de forma muy fácil) - Fredy sigue buscando nuevos apartamentos, casas y pisos en Europa en plataformas como ImmoScout24, Immowelt y eBay Kleinanzeigen, y te envía los resultados al instante a través de Slack, Telegram, correo electrónico, Discord o ntfy, para que puedas centrarte en las cosas más importantes de la vida ;)
🖱️ Genera movimientos de ratón similares a los humanos con puppeteer o en cualquier plano 2D
Búsqueda web autohospedada para agentes de IA y SEO. Google, Bing, Yandex, Baidu, DuckDuckGo y Ecosia, procesados en un navegador real: resultados ordenados y Markdown limpio de las páginas. API, CLI, MCP 🎉
Versión de Python no detectada de la biblioteca de pruebas y automatización Playwright.
Una extensión simple para Chrome (y Firefox) que convierte novelas web (y otras páginas web) en un EPUB.
AgentQL es un conjunto de herramientas para conectar tu IA a la web. Con un lenguaje de consulta e integraciones de Playwright para interactuar con elementos y extraer datos de forma rápida, precisa y a escala. Incluye API REST, SDK de Python y JavaScript, depurador de navegador.
Busca alquileres en el mapa: ¿Agotado de recorrer toda la ciudad buscando una vivienda de alquiler? ¡Prueba una forma diferente y busca alquileres directamente en el mapa! [Cuenta oficial y miniprograma de WeChat: 人生删除指南]
Colección de parches para puppeteer y playwright para evitar la detección de automatización y fugas. Ayuda a evitar las páginas CAPTCHA de Cloudflare y DataDome. Fácil de parchear/desparchear, se puede habilitar/deshabilitar bajo demanda.
Recopile respuestas estructuradas de un raspador de ChatGPT enviando un mensaje con credenciales válidas de la API de raspado de ChatGPT. Habilite la búsqueda en vivo, inyecte contexto HTML y automatice flujos de trabajo inteligentes de raspador de ChatGPT con solo unos pocos parámetros.
WebAI2API: Herramienta de conversión de IA web a API basada en Camoufox, soporta LMArena/Gemini y más, concurrencia multi-ventana e aislamiento de cuentas. | Web AI to OpenAI API via Camoufox. Supports LMArena/Gemini and more, multi-window concurrency & account isolation.
Utilice la API Web Scraper para extraer datos de Google Finance, incluidos los títulos de acciones, los precios y los cambios de precios en porcentajes.
Puppeteer para Python que los sistemas antibots no pueden detectar, así que no hay captchas: la misma API, Firefox headless sigiloso y anti-detección, una huella digital indetectable, evasión de la detección de bots, scraping web y automatización del navegador.
📖 Servidor MCP para obtener deepwiki.com y obtener el conocimiento más reciente en Cursor y otros editores de código
Cliente HTTP Go con huella digital TLS/HTTP2 idéntica a la del navegador. Elude la detección de bots imitando perfectamente Chrome, Firefox y Safari al nivel criptográfico (JA3/JA4, huella de Akamai, orden de encabezados). Soporta HTTP/1.1, HTTP/2, HTTP/3, sesiones, cookies y proxies.
Script de Python3 para descargar libros de archive.org en formato PDF
Nuevo plugin de origen de metadatos de Douban para Calibre. Douban ya no proporciona API de libros al público, por lo que solo puede utilizar rastreo web para obtener datos. Este es un plugin de Douban para Calibre basado en rastreo web.
🔥 Plataforma de monitoreo web impulsada por IA. Crea exploradores automáticos que buscan en la web y envían alertas por correo electrónico cuando encuentran lo que buscas.
WebLoop: WebKit scriptable y sin cabeza con una API de Go. Como PhantomJS, pero para Go.
Flyscrape es una herramienta de web scraping de línea de comandos diseñada para aquellos sin habilidades avanzadas de programación.
Crawler de Dianping (se puede rastrear en todo el sitio, resuelve el cifrado de fuentes dinámicas, no OCR). Actualización continua
Herramienta de enriquecimiento de datos impulsada por IA que transforma correos electrónicos en conjuntos de datos enriquecidos con perfiles de empresas, datos de financiación, pilas tecnológicas y más utilizando Firecrawl e IA multiagente
Kspider es una plataforma de rastreo que permite definir flujos de rastreo de forma gráfica, lo que permite implementar un flujo de rastreo sin código. Kspider no se limita al rastreo web, sino que también se puede utilizar para pruebas de automatización WEB. Más funciones te esperan para ser exploradas.
Alternativa rápida y ligera a Firecrawl/Tavily escrita en Rust. API de web scraping, rastreo y búsqueda con servidor MCP para agentes de IA. API compatible con Firecrawl (/scrape, /crawl, /search). 2.3 veces más rápida que Tavily y 1.5 veces más rápida que Firecrawl en pruebas de 1K URL. 6 MB de RAM, binario único. Autohospedaje o uso en la nube gestionada.
Un rastreador de precios automatizado que utiliza Bright Data, Playwright, React y Flask.
Motor de huellas digitales de Chromium a nivel de código fuente, clasificado como un Chrome normal por los sitios de detección. Motor de huellas digitales de Chromium a nivel de código fuente que supera las pruebas de detección de bots. No es una inyección de JS: son parches de C++ compilados en el binario.
El trabajador esclavo para la captura masiva de enlaces magnéticos AV o portadas
Proxies residenciales rotativos HTTP(S)/SOCKS5 - ejemplos de código e información general.
Una extensión web para recortar información de páginas web. Guárdala en tu máquina local para evitar la invalidación de la información. Sin registro aburrido, sin cargos.
Inicio de sesión automático en el sitio web netlib.re para mantener el dominio activo