Git Stars Git Stars

#web-crawling Repositorios

Descubre 38 repositorios activos de código abierto de GitHub etiquetados con #web-crawling, que acumulan 211,837 estrellas en total (una media de 5,574 estrellas por proyecto). El líder de este tema es unclecode/crawl4ai, con 87,627 estrellas.

38
Total de Repositorios
211,837
Total de estrellas
5,574
Promedio de Estrellas/Repo

38 repositorios en total

1
unclecode/crawl4ai

Crawl4AI Cloud oficial: una API alojada de scraping web, extracción y búsqueda para agentes de IA. Clave API gratuita, 1.000 créditos al mes y sin tarjeta. Totalmente de código abierto: este repositorio contiene el rastreador Apache-2.0 que lo hace posible, y puedes alojarlo por tu cuenta.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Actualizado 2026-11-20 📅 Creado 2024-05-09
2
apify/crawlee

Crawlee—Una biblioteca de web scraping y automatización de navegadores para Node.js para construir rastreadores confiables. En JavaScript y TypeScript. Extrae datos para IA, LLMs, RAG o GPTs. Descarga HTML, PDF, JPG, PNG y otros archivos de sitios web. Funciona con Puppeteer, Playwright, Cheerio, JSDOM y HTTP puro. Tanto en modo con cabeza como sin cabeza. Con rotación de proxies.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Actualizado 2026-11-21 📅 Creado 2016-08-26
3
lexmount/moli

El mejor navegador sin interfaz gráfica para agentes de IA. Ligero, rápido y altamente compatible. Desarrollado en Rust

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-08-10
4
apify/crawlee-python

Crawlee: una biblioteca de scraping web y automatización de navegadores para Python con la que crear rastreadores fiables. Extrae datos estructurados con LLM mediante Pydantic AI o controla el navegador en lenguaje natural con Stagehand. Compatible con BeautifulSoup, Parsel, Playwright y HTTP sin procesar. Descarga HTML, PDF, imágenes y otros archivos. Incluye rotación de proxies.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Actualizado 2026-11-20 📅 Creado 2024-01-10
5
prerender/prerender

Servidor Node que utiliza Headless Chrome para renderizar una página renderizada con JavaScript como HTML. Para ser utilizado en conjunto con middleware de prerender.

prerender
⭐ 6,577 JavaScript 👤 prerender Organization 🕐 Actualizado 2026-05-05 📅 Creado 2013-09-26
6
MontFerret/ferret

Lenguaje de automatización de datos declarativo y tiempo de ejecución de Go para flujos de trabajo de extracción estructurada.

MontFerret
⭐ 6,025 Go 👤 MontFerret Organization 🕐 Actualizado 2026-11-19 📅 Creado 2018-08-23
7
omkarcloud/botasaurus

El framework todo en uno para construir scrapers invencibles

omkarcloud
⭐ 5,857 TypeScript 👤 omkarcloud Organization 🕐 Actualizado 2026-11-13 📅 Creado 2023-05-09
8
google/robotstxt

El repositorio contiene el analizador y el coincidente de robots.txt de Google como una biblioteca de C++ (compatible con C++11).

google
⭐ 3,478 C++ 👤 google Organization 🕐 Actualizado 2026-04-01 📅 Creado 2019-06-11
9
CrawlScript/WebCollector

WebCollector es un framework de rastreo web de código abierto basado en Java. Proporciona algunas interfaces sencillas para rastrear la Web, puede configurar un rastreador web multihilo en menos de 5 minutos.

CrawlScript
⭐ 3,073 Java 👤 CrawlScript Organization 🕐 Actualizado 2026-02-10 📅 Creado 2014-07-12
10
digininja/CeWL

CeWL es un Generador de Lista de Palabras Personalizada

digininja
⭐ 2,896 Ruby 👤 digininja User 🕐 Actualizado 2026-06-24 📅 Creado 2016-04-22
11
brightdata/brightdata-mcp

Un potente servidor Model Context Protocol (MCP) que proporciona una solución todo en uno para el acceso a la web pública.

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 Actualizado 2026-11-18 📅 Creado 2025-04-15
12
tavily-ai/tavily-mcp

Servidor MCP listo para producción con búsqueda en tiempo real, extracción, mapeo y rastreo.

tavily-ai
⭐ 2,499 TypeScript 👤 tavily-ai Organization 🕐 Actualizado 2026-11-18 📅 Creado 2025-01-27
13
dataabc/weibo-search

Obtener información de los resultados de búsqueda de Weibo, la búsqueda puede ser una búsqueda por palabra clave de Weibo o una búsqueda por tema de Weibo

dataabc
⭐ 2,340 Python 👤 dataabc User 🕐 Actualizado 2026-06-05 📅 Creado 2020-03-25
14
coleam00/mcp-crawl4ai-rag

Capacidades de rastreo web y RAG para agentes de IA y asistentes de codificación de IA

coleam00
⭐ 2,224 Python 👤 coleam00 User 🕐 Actualizado 2025-07-25 📅 Creado 2025-05-03
15
zhegexiaohuozi/SeimiCrawler

Un framework de rastreo Java simple, ágil y distribuido compatible con Spring Boot; Un framework de rastreo ágil y distribuido.

zhegexiaohuozi
⭐ 1,984 Java 👤 zhegexiaohuozi User 🕐 Actualizado 2026-11-17 📅 Creado 2015-11-06
16
firecrawl/fireplexity

🔥 Motor de búsqueda de IA de código abierto similar a Perplexity con citas en tiempo real, respuestas en streaming y datos en vivo impulsado por Firecrawl

firecrawl
⭐ 1,956 TypeScript 👤 firecrawl Organization 🕐 Actualizado 2025-08-22 📅 Creado 2025-06-19
17
DanMcInerney/xsscrapy

Araña XSS - 66/66 wavsep XSS detectado

DanMcInerney
⭐ 1,731 Python 👤 DanMcInerney User 🕐 Actualizado 2024-06-13 📅 Creado 2014-06-23
18
xnl-h4ck3r/xnLinkFinder

Una herramienta Python utilizada para descubrir endpoints, parámetros potenciales, una lista de palabras específica para un objetivo y secretos.

xnl-h4ck3r
⭐ 1,599 Python 👤 xnl-h4ck3r User 🕐 Actualizado 2026-03-08 📅 Creado 2022-04-14
19
submato/xhscrawl

datos de Xiaohongshu, recopilación de datos de XHS, ingeniería inversa de Xiaohongshu, ingeniería inversa de XS de Xiaohongshu, scraper de Xiaohongshu, datos de Xiaohongshu

submato
⭐ 1,533 👤 submato User 🕐 Actualizado 2026-11-02 📅 Creado 2023-07-05
20
ShilongLee/Crawler

Servidor de interfaz API de código abierto para web scraping de plataformas como Douyin (a_bogus última versión), Kuaishou, Bilibili, Xiaohongshu, Taobao, JD.com, Weibo, etc. Rápida implementación con Docker con un solo clic.

ShilongLee
⭐ 1,490 JavaScript 👤 ShilongLee User 🕐 Actualizado 2026-10-19 📅 Creado 2024-05-24
21
wummel/linkchecker

verificar enlaces en documentos web o sitios web completos

wummel
⭐ 1,433 Python 👤 wummel User 🕐 Actualizado 2024-11-07 📅 Creado 2012-12-19
22
regenrek/deepwiki-mcp

📖 Servidor MCP para obtener deepwiki.com y obtener el conocimiento más reciente en Cursor y otros editores de código

regenrek
⭐ 1,393 TypeScript 👤 regenrek User 🕐 Actualizado 2026-03-20 📅 Creado 2025-04-28
23
mvdbos/php-spider

Un araña web PHP configurable y extensible

mvdbos
⭐ 1,338 PHP 👤 mvdbos User 🕐 Actualizado 2026-11-02 📅 Creado 2013-02-25
24
scrapinghub/frontera

Una frontera escalable para rastreadores web

scrapinghub
⭐ 1,329 Python 👤 scrapinghub Organization 🕐 Actualizado 2025-06-06 📅 Creado 2014-11-22
25
Darwin-lfl/langmanus

Un marco de automatización de IA impulsado por la comunidad que se basa en el increíble trabajo de la comunidad de código abierto. Nuestro objetivo es combinar modelos de lenguaje con herramientas especializadas para tareas como la búsqueda web, el rastreo y la ejecución de código Python, al tiempo que retribuimos a la comunidad que lo hizo posible.

Darwin-lfl
⭐ 1,317 👤 Darwin-lfl User 🕐 Actualizado 2025-03-17 📅 Creado 2025-03-18
26
harlan-zw/mdream

☁️ El convertidor de HTML a markdown más rápido en GitHub. Optimizado para LLMs y admite streaming.

harlan-zw
⭐ 1,032 TypeScript 👤 harlan-zw User 🕐 Actualizado 2026-11-21 📅 Creado 2025-04-16
27
changfengoss/pub

Herramientas para acceder a Internet científicamente

changfengoss
⭐ 1,007 👤 changfengoss User 🕐 Actualizado 2026-10-22 📅 Creado 2021-08-30
28
tiliondev/fortress

Motor Chromium sigiloso que evita que los scrapers y los agentes de navegador sean bloqueados con un solo cambio de línea de código.

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 Actualizado 2026-11-03 📅 Creado 2026-07-02
29
hyperbrowserai/mcp

Una implementación de servidor MCP para hyperbrowser

hyperbrowserai
⭐ 795 TypeScript 👤 hyperbrowserai Organization 🕐 Actualizado 2025-11-20 📅 Creado 2025-02-25
30
rubycdp/vessel

Framework Ruby rápido de alto nivel para web crawling

rubycdp
⭐ 725 Ruby 👤 rubycdp Organization 🕐 Actualizado 2026-11-03 📅 Creado 2019-09-17
31
spatie/laravel-export

Crear un paquete de sitio estático desde una aplicación Laravel

spatie
⭐ 701 PHP 👤 spatie Organization 🕐 Actualizado 2026-11-06 📅 Creado 2019-03-18
32
muratcankoylan/AI-Investigator

Un sistema de IA automatizado (framework Python) diseñado para analizar cualquier tipo de contenido de sitio web y generar informes estructurados utilizando la API Claude 3.5 Sonnet y Firecrawl. Si bien actualmente está configurada para estudios de casos de IA empresariales, la arquitectura se puede adaptar a diversas necesidades de análisis de contenido.

muratcankoylan
⭐ 679 Python 👤 muratcankoylan User 🕐 Actualizado 2024-11-05 📅 Creado 2024-11-04
33
cxcscmu/Craw4LLM

Repositorio oficial para "Craw4LLM: Rastreo web eficiente para preentrenamiento de LLM"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Actualizado 2025-02-24 📅 Creado 2025-02-17
34
ArchiveTeam/wpull

Descargador y rastreador web compatible con Wget.

ArchiveTeam
⭐ 595 HTML 👤 ArchiveTeam Organization 🕐 Actualizado 2024-04-29 📅 Creado 2013-12-07
35
unconv/gpt4v-browsing

Web Scraping con la API GPT-4 Vision y Puppeteer

unconv
⭐ 563 JavaScript 👤 unconv User 🕐 Actualizado 2024-01-31 📅 Creado 2023-11-24
36
detectify/page-fetch

Recuperar páginas web utilizando headless Chrome, almacenando todos los recursos recuperados, incluidos los archivos de JavaScript. Ejecutar JavaScript arbitrario en muchas páginas web y ver los valores devueltos

detectify
⭐ 530 Go 👤 detectify Organization 🕐 Actualizado 2026-07-03 📅 Creado 2021-06-03
37
firecrawl/llmstxt-generator

🔥 ¡Genera los archivos llms.txt y llms-full.txt para cualquier sitio web!

firecrawl
⭐ 528 TypeScript 👤 firecrawl Organization 🕐 Actualizado 2025-06-17 📅 Creado 2024-11-19
38
brave-people/Dev-Event-Subscribe

🎉🎈 El ≪ 📧 Servicio de Suscripción por Correo Electrónico de Eventos de Desarrollo ≫ que recibe semanalmente por correo electrónico

brave-people
⭐ 512 👤 brave-people Organization 🕐 Actualizado 2024-06-07 📅 Creado 2021-02-08

Preguntas frecuentes

1

¿Cuál es el repositorio de #web-crawling más popular en GitHub?

El proyecto de código abierto de #web-crawling mejor posicionado en GitHub es unclecode/crawl4ai, con 87,627 estrellas. Crawl4AI Cloud oficial: una API alojada de scraping web, extracción y búsqueda para agentes de IA. Clave API gratuita, 1.000 créditos al mes y sin tarjeta. Totalmente de código abierto: este repositorio contiene el rastreador Apache-2.0 que lo hace posible, y puedes alojarlo por tu cuenta.

2

¿Qué lenguajes de programación se utilizan más en los repositorios de #web-crawling?

Entre los proyectos de #web-crawling mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, TypeScript, JavaScript, Go.

3

¿Cómo se calcula la clasificación de los repositorios de #web-crawling?

Seguimos 38 repositorios activos de código abierto etiquetados con #web-crawling (500+ estrellas), que suman un total de 211,837 estrellas, con una media de 5,574 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.