#crawler Repositorios
162 repositorios en total
Un descargador de cómics de Bilibili fácil de usar, con interfaz gráfica, soporta la búsqueda de cómics por palabras clave e inicio de sesión con código QR, tecnología avanzada para descargar capítulos no desbloqueados, descarga multihilo, varios formatos de guardado, gestión de cómics locales y comprobación de actualizaciones con un clic.
📝 Extrae rápidamente la información (p. ej. seguidores, etiquetas, etc.) de un perfil de Instagram.
Ejecute un rastreador de archivo web basado en navegador de alta fidelidad en un solo contenedor Docker
📰 Newspaper4k, un fork del querido Newspaper3k. Extracción de artículos, títulos y metadatos de sitios de noticias.
Descarga fácilmente todas las fotos/videos de los blogs de Tumblr. Descarga las imágenes y videos de los blogs de Tumblr especificados
Servidor de búsqueda empresarial y de sitios, de código abierto y autohospedado, construido sobre OpenSearch. Rastrea fuentes web, de archivos, de bases de datos y en la nube; soporta más de 20 idiomas, API REST y búsqueda semántica con IA/RAG. Licencia Apache-2.0.
Scripts escalables de scraping web en Python para más de 80 dominios populares
BaiduSpider, un rastreador que extrae resultados de búsqueda de Baidu, actualmente admite la búsqueda web de Baidu, la búsqueda de imágenes de Baidu, la búsqueda de Baidu Knows, la búsqueda de videos de Baidu, la búsqueda de noticias de Baidu, la búsqueda de Baidu Wenku, la búsqueda de experiencias de Baidu y la búsqueda de Baidu Baike.
Crawly, un framework de alto nivel para web crawling y scraping para Elixir.
Golang Eliminación de marca de agua para videos cortos: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipixia Gaoqiao, Xigua Video, Huya, Li Video, AcFun, Haokan Video...
Escribe web scrapers en Ruby usando un DSL limpio y asistido por IA. Kimurai emplea IA para determinar dónde se encuentran los datos, luego almacena en caché los selectores y realiza scraping con Ruby puro. Obtén la inteligencia de un LLM sin la latencia por solicitud ni los costos de tokens.
Navegador antidetección a nivel de kernel con la API de Playwright que ya utiliza. SDK para Python y Node, compatible con MCP y perfiles locales ilimitados. Linux x64 + arm64, macOS Intel + Apple Silicon y Windows x64.
SiteOne Crawler es un rastreador y analizador de sitios web multiplataforma para la optimización de SEO, seguridad, accesibilidad y rendimiento, ideal para desarrolladores, DevOps, ingenieros de control de calidad y consultores. Soporta Windows, macOS y Linux (x64 y arm64).
Lanzamientos, wiki y hoja de ruta de SpiderSuite (rastreador de seguridad web)
Descarga de novelas|Extracción de novelas|起点|笔趣阁|Exportar Markdown|Exportar txt|Convertir epub|Filtrado de anuncios|Corrección automática
Herramientas de protocolo puro en Python y notas de investigación para X.com, con conjuntos de datos de cuentas de Twitter de VibeLoft
Casos de ingeniería inversa de rastreadores, completados: Huella digital TLS | Ruishu | Zhenkunxing | NetEase Yudun | Ingeniería inversa/descompilación de miniprogramas de WeChat (Baida Xingxi) | Tonghuashun | Descifrado RPC | Jiasule | CAPTCHA deslizante de Jueyan | Julang Sanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Plataforma de Big Data de Políticas Industriales | Qizhidiao | Xueqiu.com (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Keji | mohurd | Ejoin Data | Ouke Yunlian
API (interfaz) de solución de Captcha (solucionador de códigos de verificación) de alto rendimiento asíncrono para Douyin (抖音), TikTok, Xiaohongshu (小红书), Kuaishou (快手), Weibo (微博), Instagram, YouTube (油管), Twitter (X) con correo temporal (Temp Mail).
Un framework de rastreador multi-hilo con muchos rastreadores de imágenes incorporados proporcionados.
Google Play scraper para Python inspirado en <facundoolano/google-play-scraper>
ChatWeb puede rastrear páginas web, leer PDF, DOCX, TXT y extraer el contenido principal, luego responder sus preguntas basándose en el contenido o resumir los puntos clave.
Rastreador (bot) que busca filtraciones en sitios de publicación de texto.
Una biblioteca basada en Kotlin para pruebas, scraping y análisis que proporciona la capacidad de analizar y extraer datos de HTML (renderizado en el lado del servidor y del cliente). Pone un énfasis particular en la facilidad de uso y un alto nivel de legibilidad al proporcionar un DSL intuitivo. Apunta a ser una biblioteca de pruebas, pero también se puede usar para hacer scraping de sitios web de manera conveniente.
ArrowDL (Arrow Downloader) es un gestor de descargas para Windows, MacOS y Linux.
Krawl es un servidor de engaño web personalizable, ligero y nativo de la nube, y un anti-rastreador que crea aplicaciones web falsas con vulnerabilidades de bajo colgante utilizando datos de señuelo realistas generados aleatoriamente y plantillas HTML generadas por IA.
Una biblioteca versátil de Ruby para rastreo web que puede rastrear un sitio, múltiples dominios, ciertos enlaces o infinitamente. Spidr está diseñado para ser rápido y fácil de usar.
Motor Chromium sigiloso que evita que los scrapers y los agentes de navegador sean bloqueados con un solo cambio de línea de código.
Código de tutorial simple pero útil para web scraping en Python.
The Big Brother es una plataforma OSINT armada que incluye enumeración de nombres de usuario (más de 473 plataformas), inteligencia visual de cuatro vectores, seguimiento con Sky Radar, análisis de monederos de criptomonedas, inteligencia SSL, reconstrucción de huellas digitales, extracción de EXIF, búsqueda avanzada mediante dorks y reconocimiento de redes.
Herramienta esencial para el reverse engineering de cookies JavaScript: herramienta de visualización para monitorear cambios de cookies JS y hook de cookies JS con puntos de interrupción condicionales
Repositorio de código del libro "Prácticas avanzadas de ingeniería inversa de web scraping"
🕵️♂️ Scraper de perfiles de LinkedIn que devuelve datos de perfil estructurados en JSON.
Wscan es un escáner de seguridad web que se enfoca en la seguridad web, dedicado a hacer que la seguridad web sea accesible para todos.
Buscar en Google, Bing, Yahoo y otros motores de búsqueda con Python
Moodle-DL descarga el contenido del curso rápidamente desde Moodle (por ejemplo, PDFs de conferencias)
Repositorio oficial para "Craw4LLM: Rastreo web eficiente para preentrenamiento de LLM"