#crawler Repositorios
162 repositorios en total
DecryptLogin: APIs para iniciar sesión en algunos sitios web usando requests.
Geziyor, framework de web crawling y scraping ultrarrápido para Go. Soporta renderizado JS.
:spider: ¡El framework de crawler PHP progresivo! Framework de recolección PHP progresivo elegante.
ScopeSentry-Mapeo del ciberespacio, enumeración de subdominios, escaneo de puertos, descubrimiento de información sensible, escaneo de vulnerabilidades, nodos distribuidos
news-please - Un rastreador web integrado y extractor de información para noticias que simplemente funciona
🕷 CrawlerDetect es una clase PHP para detectar bots/crawlers/spiders a través del agente de usuario
Los prompts filtrados de GPTs eluden el límite de 25 mensajes o para probar GPTs sin una suscripción Plus.
Framework de rastreo web C# multiplataforma creado para la velocidad y la flexibilidad. ¡Por favor, dale una estrella a este proyecto! +1.
Website Cloner - Utiliza potentes rutinas de Go para clonar sitios web en tu ordenador en cuestión de segundos.
Descargador de medios de cualquier sitio, incluyendo Twitter, Reddit, Instagram, BlueSky, TikTok, Threads, Facebook, OnlyFans, YouTube, Pinterest, PornHub, XHamster, XVIDEOS, ThisVid etc.
Blue Sky Collector es un sistema de rastreo de código abierto y gratuito que solo requiere hacer clic y editar reglas para recopilar datos. Puede ejecutarse localmente, en un host virtual o en un servidor en la nube, y puede rastrear casi todo tipo de páginas web. Se integra perfectamente con varios programas de creación de sitios web CMS, publica datos en tiempo real sin iniciar sesión y sin intervención humana. ¡Es un sistema de rastreo en la nube completamente multiplataforma en el software de recopilación de big data web.
La biblioteca principal de NewPipe para extraer datos de sitios de streaming
Colección de casos de rastreo web. Incluyendo, pero no limitado a "Taobao, JD.com, Tmall, Douban, Douyin, Kuaishou, Weibo, WeChat, Alibaba, Toutiao, PDD, Youku, iQIYI, Ctrip, 12306, 58, Sohu, varios índices, VIP, Wanfang, ZLibrary, Oalib, Novelas, sitios de licitaciones, sitios de adquisiciones, Xiaohongshu, Dianping, Twitter, Maimai, Zhihu"
Diskover Community Edition - Indexador de archivos de código abierto, motor de búsqueda de archivos y gestión y análisis de datos impulsado por Elasticsearch
Scraper de BOSS Zhipin / Herramienta de extracción de datos de empleo de BOSS Zhipin, basada en el protocolo Chrome CDP para reutilizar sesiones de inicio de sesión reales, eludir la protección anti-scraping de fuentes y generar JSON/CSV de salarios en texto plano + análisis de habilidades salariales.
Enlace de Python a los motores Modest y Lexbor. Analizador rápido de HTML5 con selectores CSS para Python.
Herramienta CLI para guardar una copia fiel de una página web completa en un único archivo HTML (basado en SingleFile)
❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] (encuentra propiedades inmobiliarias de verdad de forma muy fácil) - Fredy sigue buscando nuevos apartamentos, casas y pisos en Europa en plataformas como ImmoScout24, Immowelt y eBay Kleinanzeigen, y te envía los resultados al instante a través de Slack, Telegram, correo electrónico, Discord o ntfy, para que puedas centrarte en las cosas más importantes de la vida ;)
Crawler de Douyin: recopilación de datos públicos como la página de perfil de la cuenta, me gusta, colecciones, audio original de música, temas, búsqueda, colecciones, obras, seguido, seguidores, etc.
El rastreador web del archivero: salida WARC, panel de control para todos los rastreos, patrones de ignoración dinámicos
Rastreadores de Python, inventario actual: Extracción de canciones de NetEase Cloud Music, Extracción de videos de Bilibili, Extracción de preguntas y respuestas de Zhihu, Extracción de fondos de pantalla, Extracción de videos de xvideos, Extracción de audiolibros, Rastreador de Weibo, Extracción de información de Anjuke + visualización de datos, Extractor de portadas de videos de Bilibili, Encapsulado de pool de proxies IP, Rastreador de usuarios de nivel millón de Zhihu + análisis de datos, Rastreador de usuarios de GitHub
Colección de parches para puppeteer y playwright para evitar la detección de automatización y fugas. Ayuda a evitar las páginas CAPTCHA de Cloudflare y DataDome. Fácil de parchear/desparchear, se puede habilitar/deshabilitar bajo demanda.
Herramienta de recopilación de datos de Xiaohongshu, herramienta de descarga masiva de imágenes de sitios web y recursos de video, herramienta de recopilación de datos de apariencia súper atractiva (descarga masiva, extracción de video, imágenes) Telegram:https://t.me/+ZtLSwuIKTo44MDY1
Resumen de excelentes artículos de ingeniería inversa, vale la pena echarle un vistazo
Compartición de código de web scraping del Hermano K, ingeniería inversa de JS, web scraping avanzado. Sigue la cuenta pública de WeChat: Web scraping del Hermano K
Crawler/scraper web ligero de Ruby con un DSL elegante que extrae datos estructurados de las páginas.
Alternativa rápida y ligera a Firecrawl/Tavily escrita en Rust. API de web scraping, rastreo y búsqueda con servidor MCP para agentes de IA. API compatible con Firecrawl (/scrape, /crawl, /search). 2.3 veces más rápida que Tavily y 1.5 veces más rápida que Firecrawl en pruebas de 1K URL. 6 MB de RAM, binario único. Autohospedaje o uso en la nube gestionada.
Beanbun es un framework de rastreo web multiproceso escrito en PHP, con buena apertura y alta escalabilidad, basado en Workerman.