#crawler Repositorios
Descubre 162 repositorios activos de código abierto de GitHub etiquetados con #crawler, que acumulan 1,111,814 estrellas en total (una media de 6,863 estrellas por proyecto). El líder de este tema es firecrawl/firecrawl, con 205,758 estrellas.
162 repositorios en total
Infraestructura de conocimiento para hacer más inteligentes a sus agentes. Busque, extraiga y acceda a más de 550 proveedores de datos a través de una sola API.
🕷️ ¡El MEJOR framework de web scraping, capaz de gestionar desde una sola solicitud hasta un rastreo a gran escala! No seas tímido: únete aquí https://discord.gg/EMgGbDceNQ y síguenos aquí para recibir consejos y trucos a diario: https://x.com/Scrapling_dev
Crawl4AI Cloud oficial: una API alojada de scraping web, extracción y búsqueda para agentes de IA. Clave API gratuita, 1.000 créditos al mes y sin tarjeta. Totalmente de código abierto: este repositorio contiene el rastreador Apache-2.0 que lo hace posible, y puedes alojarlo por tu cuenta.
Un crawler/spider web visual sin código: un software de automatización de navegador, recopilación de datos y web scraping visual que permite diseñar y ejecutar tareas de rastreo sin necesidad de código. Alias: ServiceWrapper, un sistema inteligente de encapsulación de servicios para aplicaciones web.
Crawlee—Una biblioteca de web scraping y automatización de navegadores para Node.js para construir rastreadores confiables. En JavaScript y TypeScript. Extrae datos para IA, LLMs, RAG o GPTs. Descarga HTML, PDF, JPG, PNG y otros archivos de sitios web. Funciona con Puppeteer, Playwright, Cheerio, JSDOM y HTTP puro. Tanto en modo con cabeza como sin cabeza. Con rotación de proxies.
🚀 API autoalojada para recopilar datos de Douyin, TikTok y Bilibili y descargar vídeos sin marca de agua. Compatible con llamadas de agentes de IA mediante MCP y con transcripción de voz sin conexión. Despliegue de Docker con un solo clic. | Extractor autoalojado de TikTok, Douyin y Bilibili y descargador de vídeos sin marca de agua: API REST asíncrona, servidor MCP para agentes de IA, CLI y consola web, además de transcripción de voz sin conexión para los vídeos descargados. Grupo de identidades con autorrecuperación, archivo PostgreSQL y puesta en marcha con un solo `docker compose up`.
Convierte cualquier sitio web en una API estructurada. Extrae, automatiza, busca y supervisa la web.
newspaper3k es una extracción de noticias, texto completo y metadatos de artículos en Python 3. Documentación avanzada:
Algunos ejemplos muy interesantes de rastreadores de Python, amigables para principiantes, principalmente para rastrear sitios web como Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ, etc. (Some interesting examples of python crawlers that are friendly to beginners.)
Plataforma de administración distribuida para rastreadores web para la gestión de arañas independientemente de los idiomas y marcos de trabajo. 分布式爬虫管理平台,支持任何语言和框架
Script de Python. Simular inicio de sesión en Zhihu, rastreo web, manipular Excel, cuenta pública de WeChat, encendido remoto.
Sistema de gestión de películas AV, avmoo, javbus, javlibrary Crawler, Biblioteca de películas AV en línea, Base de datos de enlaces de imanes AV, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database
Crawlee: una biblioteca de scraping web y automatización de navegadores para Python con la que crear rastreadores fiables. Extrae datos estructurados con LLM mediante Pydantic AI o controla el navegador en lenguaje natural con Stagehand. Compatible con BeautifulSoup, Parsel, Playwright y HTTP sin procesar. Descarga HTML, PDF, imágenes y otros archivos. Incluye rotación de proxies.
Agente de captación de clientes en redes sociales diseñado a medida para OPC y PYMES
Lista de bibliotecas, herramientas y APIs para web scraping y procesamiento de datos.
API de Python para JMComic | Proporciona acceso a la API de Python a JinManTiantang, compatible con versiones web y móviles | Descargador de GitHub Actions de JinManTiantang🚀
Herramienta de Python y línea de comandos para recopilar texto y metadatos en la Web: Rastreo, raspado, extracción, salida como CSV, JSON, HTML, MD, TXT, XML
Una colección de excelentes web crawlers y spiders en diferentes idiomas
Interfaz de crawler de cuentas públicas de WeChat basada en la búsqueda de WeChat de Sogou
Práctica 🐍 de múltiples sitios web, rastreadores de datos de comercio electrónico 🕷. Incluye 🕸: Productos de Taobao, cuentas públicas de WeChat, Dianping, Qichacha, sitios web de empleo, Xianyu, tareas de Ali, Cnblogs, Weibo, Baidu Tieba, películas de Douban, Baotu.com, Quan jing wang, música de Douban, oficina de supervisión de medicamentos de alguna provincia, noticias de Sohu, recolección de texto de aprendizaje automático, recolección de activos fofa, Autohome, Oficina Nacional de Estadísticas, número de inclusión de palabras clave de Baidu, directorio general de arañas, Toutiao, reseñas de películas de Douban, Ctrip, tienda de aplicaciones de Xiaomi, Anjuke, hospedaje de Tujia ❤️❤️❤️. Proyecto de demostración de rastreador de WeChat:
Análisis de sistemas de protección contra bots con contramedidas disponibles 🚿. ¿Cómo derrotar al sistema anti-bot 👻 y eludir los scripts de huellas digitales del navegador 🕵️♂️ al extraer datos de la web?
Este proyecto está diseñado para recopilar todas las noticias, documentos y regulaciones legales relacionadas con demandas y violaciones que involucran a desarrolladores de crawlers en la China continental. Su objetivo es ayudar a los profesionales del sector de crawlers que trabajan en China continental a comprender las leyes relevantes y evitar infringir los límites de cumplimiento de datos.
Rastreador de Sina Weibo, usando Python para extraer datos de Sina Weibo y descargar imágenes y videos de Weibo
Una forma impulsada por la comunidad para leer y chatear con bots de IA, impulsada por chatGPT.
Herramienta de descarga de cómics y novelas:腾讯漫画 大角虫漫画 有妖气 咪咕 SF漫画 哦漫画 看漫画 漫画柜 汗汗酷漫 動漫伊甸園 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 無限動漫 動漫狂 卡推漫画 动漫之家 动漫屋 古风漫画网 36漫画网 亲亲漫画网 乙女漫画 webtoons 咚漫 ニコニコ静画 ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub.
DotnetSpider, una biblioteca de rastreo web estándar de .NET. Es un framework de alto nivel para rastreo y scraping web ligero, eficiente y rápido.
Proxy [Buscador | Verificador | Servidor]. HTTP(S) & SOCKS :performing_arts:
Pool de proxies inteligente para Humanos™ para extraer contenido de internet y construir tus propios Modelos de Lenguaje Grandes en esta nueva era de IA
Tome una lista de dominios, rastree URL y escanee en busca de puntos finales, secretos, claves de API, extensiones de archivo, tokens y más.
Monitoreo · recopilación · republicación de contenido en múltiples plataformas. Un solo panel web para gestionar Douyin / Xiaohongshu / Kuaishou / Canales de WeChat / TikTok / Bilibili / Instagram / Xiaohongshu internacional (rednote)
🚀🚀🚀feapder es un framework de rastreo fácil de usar y potente | feapder es un framework de rastreo de Python fácil de usar y potente. Incorpora cuatro tipos de rastreadores: AirSpider, Spider, TaskSpider y BatchSpider para satisfacer las necesidades de diferentes escenarios. Admite funciones como la reanudación de puntos de interrupción, monitoreo y alertas, renderizado de navegador y deduplicación de grandes cantidades de datos. Además, el potente sistema de gestión de rastreadores feaplat proporciona una implementación y programación convenientes.
Herramienta todo en uno para la recopilación de información, escaneo de vulnerabilidades y crawling. Una herramienta imprescindible para todos los probadores de penetración
Videodl: Un descargador de videos ligero escrito en Python puro. (Un descargador de videos ligero que prioriza la alta definición sin marcas de agua y admite plataformas como Douyin, Kuaishou, Xiaohongshu, Bilibili, TikTok, YouTube, FIFA+, Youku, Tencent Video, iQIYI, 1905 Movie Network, LeTV, Mango TV, Migu, PPTV, Sohu, Facebook, Twitter, Sina Weibo, Today’s Headlines, NetEase Open Classes, 全民K歌, CCTV, Kugou MV, nuevo estudio de películas, Zhihu, Baidu Tieba, TED y otras vastas plataformas de streaming.)
Preguntas frecuentes
¿Cuál es el repositorio de #crawler más popular en GitHub?
El proyecto de código abierto de #crawler mejor posicionado en GitHub es firecrawl/firecrawl, con 205,758 estrellas. Infraestructura de conocimiento para hacer más inteligentes a sus agentes. Busque, extraiga y acceda a más de 550 proveedores de datos a través de una sola API.
¿Qué lenguajes de programación se utilizan más en los repositorios de #crawler?
Entre los proyectos de #crawler mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Go, TypeScript, JavaScript.
¿Cómo se calcula la clasificación de los repositorios de #crawler?
Seguimos 162 repositorios activos de código abierto etiquetados con #crawler (500+ estrellas), que suman un total de 1,111,814 estrellas, con una media de 6,863 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.