Git Stars Git Stars

#crawler Repositorios

Descubre 162 repositorios activos de código abierto de GitHub etiquetados con #crawler, que acumulan 1,111,814 estrellas en total (una media de 6,863 estrellas por proyecto). El líder de este tema es firecrawl/firecrawl, con 205,758 estrellas.

162
Total de Repositorios
1.1M
Total de estrellas
6,863
Promedio de Estrellas/Repo

162 repositorios en total

1
firecrawl/firecrawl

Infraestructura de conocimiento para hacer más inteligentes a sus agentes. Busque, extraiga y acceda a más de 550 proveedores de datos a través de una sola API.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Actualizado 2026-11-21 📅 Creado 2024-04-15
2
D4Vinci/Scrapling

🕷️ ¡El MEJOR framework de web scraping, capaz de gestionar desde una sola solicitud hasta un rastreo a gran escala! No seas tímido: únete aquí https://discord.gg/EMgGbDceNQ y síguenos aquí para recibir consejos y trucos a diario: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 Actualizado 2026-11-17 📅 Creado 2024-10-13
3
unclecode/crawl4ai

Crawl4AI Cloud oficial: una API alojada de scraping web, extracción y búsqueda para agentes de IA. Clave API gratuita, 1.000 créditos al mes y sin tarjeta. Totalmente de código abierto: este repositorio contiene el rastreador Apache-2.0 que lo hace posible, y puedes alojarlo por tu cuenta.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Actualizado 2026-11-20 📅 Creado 2024-05-09
4
scrapy/scrapy

Scrapy, un framework rápido de alto nivel para web crawling y scraping en Python.

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 Actualizado 2026-11-19 📅 Creado 2010-02-22
5
NaiboWang/EasySpider

Un crawler/spider web visual sin código: un software de automatización de navegador, recopilación de datos y web scraping visual que permite diseñar y ejecutar tareas de rastreo sin necesidad de código. Alias: ServiceWrapper, un sistema inteligente de encapsulación de servicios para aplicaciones web.

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 Actualizado 2026-11-16 📅 Creado 2020-07-18
6
ScrapeGraphAI/Scrapegraph-ai

Scraper de Python basado en IA

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 Actualizado 2026-10-06 📅 Creado 2024-01-27
7
iawia002/lux

👾 Biblioteca y herramienta CLI para descargar videos rápida y simple, escrita en Go

iawia002
⭐ 31,854 Go 👤 iawia002 User 🕐 Actualizado 2026-03-29 📅 Creado 2018-02-24
8
apify/crawlee

Crawlee—Una biblioteca de web scraping y automatización de navegadores para Node.js para construir rastreadores confiables. En JavaScript y TypeScript. Extrae datos para IA, LLMs, RAG o GPTs. Descarga HTML, PDF, JPG, PNG y otros archivos de sitios web. Funciona con Puppeteer, Playwright, Cheerio, JSDOM y HTTP puro. Tanto en modo con cabeza como sin cabeza. Con rotación de proxies.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Actualizado 2026-11-21 📅 Creado 2016-08-26
9
gocolly/colly

Marco elegante de raspado y rastreo para Golang

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 Actualizado 2026-10-16 📅 Creado 2017-09-29
10
jhao104/proxy_pool

Python ProxyPool para web spider

jhao104
⭐ 23,798 Python 👤 jhao104 User 🕐 Actualizado 2026-06-15 📅 Creado 2016-11-25
11
Evil0ctal/Douyin_TikTok_Download_API

🚀 API autoalojada para recopilar datos de Douyin, TikTok y Bilibili y descargar vídeos sin marca de agua. Compatible con llamadas de agentes de IA mediante MCP y con transcripción de voz sin conexión. Despliegue de Docker con un solo clic. | Extractor autoalojado de TikTok, Douyin y Bilibili y descargador de vídeos sin marca de agua: API REST asíncrona, servidor MCP para agentes de IA, CLI y consola web, además de transcripción de voz sin conexión para los vídeos descargados. Grupo de identidades con autorrecuperación, archivo PostgreSQL y puesta en marcha con un solo `docker compose up`.

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 Actualizado 2026-11-20 📅 Creado 2021-11-07
12
getmaxun/maxun

Convierte cualquier sitio web en una API estructurada. Extrae, automatiza, busca y supervisa la web.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 Actualizado 2026-11-20 📅 Creado 2023-10-23
13
projectdiscovery/katana

Un framework de rastreo y araña de próxima generación.

projectdiscovery
⭐ 17,878 Go 👤 projectdiscovery Organization 🕐 Actualizado 2026-11-21 📅 Creado 2021-01-02
14
codelucas/newspaper

newspaper3k es una extracción de noticias, texto completo y metadatos de artículos en Python 3. Documentación avanzada:

codelucas
⭐ 15,192 Python 👤 codelucas User 🕐 Actualizado 2026-10-26 📅 Creado 2013-11-25
15
shengqiangzhang/examples-of-web-crawlers

Algunos ejemplos muy interesantes de rastreadores de Python, amigables para principiantes, principalmente para rastrear sitios web como Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ, etc. (Some interesting examples of python crawlers that are friendly to beginners.)

shengqiangzhang
⭐ 14,654 HTML 👤 shengqiangzhang User 🕐 Actualizado 2025-06-28 📅 Creado 2019-03-13
16
s0md3v/Photon

Rastreador increíblemente rápido diseñado para OSINT.

s0md3v
⭐ 13,377 Python 👤 s0md3v User 🕐 Actualizado 2026-10-17 📅 Creado 2018-03-30
17
crawlab-team/crawlab

Plataforma de administración distribuida para rastreadores web para la gestión de arañas independientemente de los idiomas y marcos de trabajo. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 Actualizado 2026-02-10 📅 Creado 2019-02-10
18
code4craft/webmagic

Un marco de trabajo escalable para rastreadores web en Java.

code4craft
⭐ 11,660 Java 👤 code4craft User 🕐 Actualizado 2025-12-20 📅 Creado 2013-04-23
19
injetlee/Python

Script de Python. Simular inicio de sesión en Zhihu, rastreo web, manipular Excel, cuenta pública de WeChat, encendido remoto.

injetlee
⭐ 10,920 Python 👤 injetlee User 🕐 Actualizado 2026-05-09 📅 Creado 2016-06-23
20
guyueyingmu/avbook

Sistema de gestión de películas AV, avmoo, javbus, javlibrary Crawler, Biblioteca de películas AV en línea, Base de datos de enlaces de imanes AV, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database

guyueyingmu
⭐ 9,894 PHP 👤 guyueyingmu User 🕐 Actualizado 2024-06-01 📅 Creado 2017-02-19
21
apify/crawlee-python

Crawlee: una biblioteca de scraping web y automatización de navegadores para Python con la que crear rastreadores fiables. Extrae datos estructurados con LLM mediante Pydantic AI o controla el navegador en lenguaje natural con Stagehand. Compatible con BeautifulSoup, Parsel, Playwright y HTTP sin procesar. Descarga HTML, PDF, imágenes y otros archivos. Incluye rotación de proxies.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Actualizado 2026-11-20 📅 Creado 2024-01-10
22
TeamWiseFlow/xiaobei

Agente de captación de clientes en redes sociales diseñado a medida para OPC y PYMES

TeamWiseFlow
⭐ 8,743 Python 👤 TeamWiseFlow Organization 🕐 Actualizado 2026-11-20 📅 Creado 2024-04-24
23
lorien/awesome-web-scraping

Lista de bibliotecas, herramientas y APIs para web scraping y procesamiento de datos.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Actualizado 2026-11-21 📅 Creado 2015-08-12
24
hect0x7/JMComic-Crawler-Python

API de Python para JMComic | Proporciona acceso a la API de Python a JinManTiantang, compatible con versiones web y móviles | Descargador de GitHub Actions de JinManTiantang🚀

hect0x7
⭐ 8,148 Python 👤 hect0x7 User 🕐 Actualizado 2026-11-13 📅 Creado 2023-04-02
25
alirezamika/autoscraper

Un raspador web inteligente, automático, rápido y ligero para Python

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 Actualizado 2026-07-29 📅 Creado 2020-08-31
26
mvdctop/Movie_Data_Capture

El rastreador de metadatos de medios locales con IA

mvdctop
⭐ 7,449 Python 👤 mvdctop User 🕐 Actualizado 2026-11-17 📅 Creado 2019-05-26
27
adbar/trafilatura

Herramienta de Python y línea de comandos para recopilar texto y metadatos en la Web: Rastreo, raspado, extracción, salida como CSV, JSON, HTML, MD, TXT, XML

adbar
⭐ 7,157 Python 👤 adbar User 🕐 Actualizado 2026-11-20 📅 Creado 2019-04-08
28
BruceDone/awesome-crawler

Una colección de excelentes web crawlers y spiders en diferentes idiomas

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 Actualizado 2024-06-16 📅 Creado 2016-10-10
29
bda-research/node-crawler

Rastreador Web/Spider para NodeJS + jQuery del lado del servidor ;-)

bda-research
⭐ 6,797 TypeScript 👤 bda-research Organization 🕐 Actualizado 2026-06-18 📅 Creado 2010-11-25
30
chyroc/WechatSogou

Interfaz de crawler de cuentas públicas de WeChat basada en la búsqueda de WeChat de Sogou

chyroc
⭐ 6,411 Python 👤 chyroc User 🕐 Actualizado 2026-10-23 📅 Creado 2016-05-09
31
rmax/scrapy-redis

Componentes basados en Redis para Scrapy.

rmax
⭐ 5,648 Python 👤 rmax User 🕐 Actualizado 2026-11-21 📅 Creado 2011-08-29
32
DropsDevopsOrg/ECommerceCrawlers

Práctica 🐍 de múltiples sitios web, rastreadores de datos de comercio electrónico 🕷. Incluye 🕸: Productos de Taobao, cuentas públicas de WeChat, Dianping, Qichacha, sitios web de empleo, Xianyu, tareas de Ali, Cnblogs, Weibo, Baidu Tieba, películas de Douban, Baotu.com, Quan jing wang, música de Douban, oficina de supervisión de medicamentos de alguna provincia, noticias de Sohu, recolección de texto de aprendizaje automático, recolección de activos fofa, Autohome, Oficina Nacional de Estadísticas, número de inclusión de palabras clave de Baidu, directorio general de arañas, Toutiao, reseñas de películas de Douban, Ctrip, tienda de aplicaciones de Xiaomi, Anjuke, hospedaje de Tujia ❤️❤️❤️. Proyecto de demostración de rastreador de WeChat:

DropsDevopsOrg
⭐ 5,355 Python 👤 DropsDevopsOrg Organization 🕐 Actualizado 2024-05-22 📅 Creado 2019-03-29
33
DedSecInside/TorBot

Herramienta OSINT de la Dark Web

DedSecInside
⭐ 5,220 Python 👤 DedSecInside Organization 🕐 Actualizado 2026-11-12 📅 Creado 2017-05-17
34
niespodd/browser-fingerprinting

Análisis de sistemas de protección contra bots con contramedidas disponibles 🚿. ¿Cómo derrotar al sistema anti-bot 👻 y eludir los scripts de huellas digitales del navegador 🕵️‍♂️ al extraer datos de la web?

niespodd
⭐ 5,171 JavaScript 👤 niespodd User 🕐 Actualizado 2026-07-27 📅 Creado 2021-01-23
35
hiddendevj/Crawler_Illegal_Cases_In_China

Este proyecto está diseñado para recopilar todas las noticias, documentos y regulaciones legales relacionadas con demandas y violaciones que involucran a desarrolladores de crawlers en la China continental. Su objetivo es ayudar a los profesionales del sector de crawlers que trabajan en China continental a comprender las leyes relevantes y evitar infringir los límites de cumplimiento de datos.

hiddendevj
⭐ 4,759 HTML 👤 hiddendevj User 🕐 Actualizado 2026-03-12 📅 Creado 2019-09-29
36
dataabc/weibo-crawler

Rastreador de Sina Weibo, usando Python para extraer datos de Sina Weibo y descargar imágenes y videos de Weibo

dataabc
⭐ 4,705 Python 👤 dataabc User 🕐 Actualizado 2026-11-06 📅 Creado 2019-06-25
37
myreader-io/myGPTReader

Una forma impulsada por la comunidad para leer y chatear con bots de IA, impulsada por chatGPT.

myreader-io
⭐ 4,416 Python 👤 myreader-io Organization 🕐 Actualizado 2026-02-05 📅 Creado 2023-03-08
38
kanasimi/work_crawler

Herramienta de descarga de cómics y novelas:腾讯漫画 大角虫漫画 有妖气 咪咕 SF漫画 哦漫画 看漫画 漫画柜 汗汗酷漫 動漫伊甸園 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 無限動漫 動漫狂 卡推漫画 动漫之家 动漫屋 古风漫画网 36漫画网 亲亲漫画网 乙女漫画 webtoons 咚漫 ニコニコ静画 ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub.

kanasimi
⭐ 4,391 JavaScript 👤 kanasimi User 🕐 Actualizado 2026-10-12 📅 Creado 2016-11-02
39
dotnetcore/DotnetSpider

DotnetSpider, una biblioteca de rastreo web estándar de .NET. Es un framework de alto nivel para rastreo y scraping web ligero, eficiente y rápido.

dotnetcore
⭐ 4,142 C# 👤 dotnetcore Organization 🕐 Actualizado 2026-04-03 📅 Creado 2016-03-21
40
constverum/ProxyBroker

Proxy [Buscador | Verificador | Servidor]. HTTP(S) & SOCKS :performing_arts:

constverum
⭐ 4,084 Python 👤 constverum User 🕐 Actualizado 2024-03-18 📅 Creado 2015-10-11
41
MikeChongCan/scylla

Pool de proxies inteligente para Humanos™ para extraer contenido de internet y construir tus propios Modelos de Lenguaje Grandes en esta nueva era de IA

MikeChongCan
⭐ 4,021 Python 👤 MikeChongCan User 🕐 Actualizado 2026-11-03 📅 Creado 2018-04-10
42
Arachni/arachni

Marco de Escáner de Seguridad de Aplicaciones Web

Arachni
⭐ 4,020 Ruby 👤 Arachni Organization 🕐 Actualizado 2026-04-22 📅 Creado 2010-08-25
43
hardkoded/puppeteer-sharp

API de .NET de Chrome sin cabeza

hardkoded
⭐ 3,936 C# 👤 hardkoded Organization 🕐 Actualizado 2026-11-21 📅 Creado 2017-09-30
44
edoardottt/cariddi

Tome una lista de dominios, rastree URL y escanee en busca de puntos finales, secretos, claves de API, extensiones de archivo, tokens y más.

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 Actualizado 2026-11-19 📅 Creado 2021-04-27
45
3441293738/creatorhub

Monitoreo · recopilación · republicación de contenido en múltiples plataformas. Un solo panel web para gestionar Douyin / Xiaohongshu / Kuaishou / Canales de WeChat / TikTok / Bilibili / Instagram / Xiaohongshu internacional (rednote)

3441293738
⭐ 3,774 Python 👤 3441293738 User 🕐 Actualizado 2026-11-21 📅 Creado 2026-07-03
46
Boris-code/feapder

🚀🚀🚀feapder es un framework de rastreo fácil de usar y potente | feapder es un framework de rastreo de Python fácil de usar y potente. Incorpora cuatro tipos de rastreadores: AirSpider, Spider, TaskSpider y BatchSpider para satisfacer las necesidades de diferentes escenarios. Admite funciones como la reanudación de puntos de interrupción, monitoreo y alertas, renderizado de navegador y deduplicación de grandes cantidades de datos. Además, el potente sistema de gestión de rastreadores feaplat proporciona una implementación y programación convenientes.

Boris-code
⭐ 3,732 Python 👤 Boris-code User 🕐 Actualizado 2026-08-21 📅 Creado 2021-02-08
47
sqzw-x/mdcx

Extractor de metadatos de películas

sqzw-x
⭐ 3,727 Python 👤 sqzw-x User 🕐 Actualizado 2026-08-23 📅 Creado 2023-11-06
48
elliotgao2/toapi

Cada sitio web proporciona API.

elliotgao2
⭐ 3,557 Python 👤 elliotgao2 User 🕐 Actualizado 2026-08-27 📅 Creado 2017-11-27
49
Tuhinshubhra/RED_HAWK

Herramienta todo en uno para la recopilación de información, escaneo de vulnerabilidades y crawling. Una herramienta imprescindible para todos los probadores de penetración

Tuhinshubhra
⭐ 3,491 PHP 👤 Tuhinshubhra User 🕐 Actualizado 2024-07-31 📅 Creado 2017-06-11
50
CharlesPikachu/videodl

Videodl: Un descargador de videos ligero escrito en Python puro. (Un descargador de videos ligero que prioriza la alta definición sin marcas de agua y admite plataformas como Douyin, Kuaishou, Xiaohongshu, Bilibili, TikTok, YouTube, FIFA+, Youku, Tencent Video, iQIYI, 1905 Movie Network, LeTV, Mango TV, Migu, PPTV, Sohu, Facebook, Twitter, Sina Weibo, Today’s Headlines, NetEase Open Classes, 全民K歌, CCTV, Kugou MV, nuevo estudio de películas, Zhihu, Baidu Tieba, TED y otras vastas plataformas de streaming.)

CharlesPikachu
⭐ 3,294 Python 👤 CharlesPikachu User 🕐 Actualizado 2026-11-21 📅 Creado 2018-07-10

Preguntas frecuentes

1

¿Cuál es el repositorio de #crawler más popular en GitHub?

El proyecto de código abierto de #crawler mejor posicionado en GitHub es firecrawl/firecrawl, con 205,758 estrellas. Infraestructura de conocimiento para hacer más inteligentes a sus agentes. Busque, extraiga y acceda a más de 550 proveedores de datos a través de una sola API.

2

¿Qué lenguajes de programación se utilizan más en los repositorios de #crawler?

Entre los proyectos de #crawler mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Go, TypeScript, JavaScript.

3

¿Cómo se calcula la clasificación de los repositorios de #crawler?

Seguimos 162 repositorios activos de código abierto etiquetados con #crawler (500+ estrellas), que suman un total de 1,111,814 estrellas, con una media de 6,863 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.