Git Stars Git Stars

#web-crawler Repositorios

Descubre 39 repositorios activos de código abierto de GitHub etiquetados con #web-crawler, que acumulan 470,326 estrellas en total (una media de 12,059 estrellas por proyecto). El líder de este tema es firecrawl/firecrawl, con 205,758 estrellas.

39
Total de Repositorios
470,326
Total de estrellas
12,059
Promedio de Estrellas/Repo

39 repositorios en total

1
firecrawl/firecrawl

Infraestructura de conocimiento para hacer más inteligentes a sus agentes. Busque, extraiga y acceda a más de 550 proveedores de datos a través de una sola API.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Actualizado 2026-11-21 📅 Creado 2024-04-15
2
unclecode/crawl4ai

Crawl4AI Cloud oficial: una API alojada de scraping web, extracción y búsqueda para agentes de IA. Clave API gratuita, 1.000 créditos al mes y sin tarjeta. Totalmente de código abierto: este repositorio contiene el rastreador Apache-2.0 que lo hace posible, y puedes alojarlo por tu cuenta.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Actualizado 2026-11-20 📅 Creado 2024-05-09
3
ScrapeGraphAI/Scrapegraph-ai

Scraper de Python basado en IA

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 Actualizado 2026-10-06 📅 Creado 2024-01-27
4
apify/crawlee

Crawlee—Una biblioteca de web scraping y automatización de navegadores para Node.js para construir rastreadores confiables. En JavaScript y TypeScript. Extrae datos para IA, LLMs, RAG o GPTs. Descarga HTML, PDF, JPG, PNG y otros archivos de sitios web. Funciona con Puppeteer, Playwright, Cheerio, JSDOM y HTTP puro. Tanto en modo con cabeza como sin cabeza. Con rotación de proxies.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Actualizado 2026-11-21 📅 Creado 2016-08-26
5
lexmount/moli

El mejor navegador sin interfaz gráfica para agentes de IA. Ligero, rápido y altamente compatible. Desarrollado en Rust

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-08-10
6
crawlab-team/crawlab

Plataforma de administración distribuida para rastreadores web para la gestión de arañas independientemente de los idiomas y marcos de trabajo. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 Actualizado 2026-02-10 📅 Creado 2019-02-10
7
apify/crawlee-python

Crawlee: una biblioteca de scraping web y automatización de navegadores para Python con la que crear rastreadores fiables. Extrae datos estructurados con LLM mediante Pydantic AI o controla el navegador en lenguaje natural con Stagehand. Compatible con BeautifulSoup, Parsel, Playwright y HTTP sin procesar. Descarga HTML, PDF, imágenes y otros archivos. Incluye rotación de proxies.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Actualizado 2026-11-20 📅 Creado 2024-01-10
8
adithya-s-k/omniparse

Ingiera, analice y optimice cualquier formato de datos ➡️ desde documentos hasta multimedia ➡️ para una mejor compatibilidad con los marcos de GenAI

adithya-s-k
⭐ 7,935 Python 👤 adithya-s-k User 🕐 Actualizado 2025-12-12 📅 Creado 2024-06-04
9
firecrawl/firecrawl-mcp-server

Servidor MCP oficial de Firecrawl, la API de contexto para agentes de IA: busca, extrae e interactúa con la web, además de analizar, rastrear, mapear y usar Agent y Monitor desde cualquier cliente MCP.

firecrawl
⭐ 7,871 JavaScript 👤 firecrawl Organization 🕐 Actualizado 2026-11-21 📅 Creado 2024-12-06
10
BruceDone/awesome-crawler

Una colección de excelentes web crawlers y spiders en diferentes idiomas

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 Actualizado 2024-06-16 📅 Creado 2016-10-10
11
KnockOutEZ/wigolo

La web de referencia para su agente de codificación de IA: búsqueda local, obtención, rastreo e investigación a través de MCP. Sin claves API, sin nube, $0/consulta. Beta pública.

KnockOutEZ
⭐ 5,560 TypeScript 👤 KnockOutEZ User 🕐 Actualizado 2026-11-21 📅 Creado 2026-04-12
12
divinelabio/Argus

El kit de herramientas definitivo para la recopilación de información

divinelabio
⭐ 4,348 Python 👤 divinelabio User 🕐 Actualizado 2025-12-10 📅 Creado 2024-10-01
13
Anakin-Inc/anakin

API de web scraping de código abierto. Convierte cualquier sitio web en Markdown limpio o JSON estructurado. Navegador anti-detección, selección automática de proxy, autohospedado. Un solo comando: make up

Anakin-Inc
⭐ 3,764 Go 👤 Anakin-Inc Organization 🕐 Actualizado 2026-08-18 📅 Creado 2026-03-17
14
apache/nutch

Apache Nutch es un rastreador web extensible y escalable

apache
⭐ 3,311 Java 👤 apache Organization 🕐 Actualizado 2026-11-17 📅 Creado 2009-05-21
15
oxylabs/ai-crawler-py

Rastrea un sitio web a partir de una URL, encuentra páginas relevantes y extrae datos, todo guiado por tu indicación en lenguaje natural.

oxylabs
⭐ 3,264 👤 oxylabs Organization 🕐 Actualizado 2026-08-21 📅 Creado 2025-09-17
16
spider-rs/spider

Recopilación de datos web de baja latencia y fundamentos en Rust

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 Actualizado 2026-11-20 📅 Creado 2018-01-07
17
0xMassi/webclaw

Extracción rápida de contenido web local-first para LLMs. Extrae, rastrea, extrae datos estructurados — todo desde Rust. CLI, REST API y servidor MCP.

0xMassi
⭐ 2,440 Rust 👤 0xMassi User 🕐 Actualizado 2026-11-21 📅 Creado 2026-03-10
18
sjdirect/abot

Framework de rastreo web C# multiplataforma creado para la velocidad y la flexibilidad. ¡Por favor, dale una estrella a este proyecto! +1.

sjdirect
⭐ 2,308 C# 👤 sjdirect User 🕐 Actualizado 2026-07-17 📅 Creado 2013-08-08
19
MarginaliaSearch/MarginaliaSearch

Motor de búsqueda de Internet para sitios web orientados al texto. Indexación de la web pequeña, antigua y extraña.

MarginaliaSearch
⭐ 2,241 Java 👤 MarginaliaSearch Organization 🕐 Actualizado 2026-11-18 📅 Creado 2023-03-20
20
gildas-lormeau/single-file-cli

Herramienta CLI para guardar una copia fiel de una página web completa en un único archivo HTML (basado en SingleFile)

gildas-lormeau
⭐ 1,702 JavaScript 👤 gildas-lormeau User 🕐 Actualizado 2026-11-18 📅 Creado 2022-05-31
21
gigablast/open-source-search-engine

20 de nov. de 2017 -- Un motor de búsqueda distribuido de código abierto y araña/crawler escrito en C/C++ para Linux en Intel/AMD. De gigablast dot com, que tiene binarios para descargar. Consulta el archivo README.md en la parte inferior de esta página para instrucciones.

gigablast
⭐ 1,599 C++ 👤 gigablast User 🕐 Actualizado 2024-01-10 📅 Creado 2013-08-02
22
GBSOSS/skill-from-masters

Apóyate en los hombros de los gigantes — Crea habilidades de IA basadas en metodologías probadas de expertos de dominio.

GBSOSS
⭐ 1,592 👤 GBSOSS Organization 🕐 Actualizado 2026-02-16 📅 Creado 2026-01-08
23
JustinBeckwith/linkinator

Verificador de enlaces rotos que rastrea sitios web y valida enlaces. Encuentre enlaces rotos, enlaces muertos y URL no válidas en sitios web, documentación y archivos locales. Perfecto para auditorías de SEO y CI/CD.

JustinBeckwith
⭐ 1,290 TypeScript 👤 JustinBeckwith User 🕐 Actualizado 2026-11-20 📅 Creado 2019-02-12
24
fastcrw/crw

Alternativa rápida y ligera a Firecrawl/Tavily escrita en Rust. API de web scraping, rastreo y búsqueda con servidor MCP para agentes de IA. API compatible con Firecrawl (/scrape, /crawl, /search). 2.3 veces más rápida que Tavily y 1.5 veces más rápida que Firecrawl en pruebas de 1K URL. 6 MB de RAM, binario único. Autohospedaje o uso en la nube gestionada.

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-03-02
25
webrecorder/browsertrix-crawler

Ejecute un rastreador de archivo web basado en navegador de alta fidelidad en un solo contenedor Docker

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 Actualizado 2026-11-19 📅 Creado 2020-11-02
26
PhialsBasement/LibreCrawl

Crawler SEO de escritorio gratuito - alternativa open source a Screaming Frog y herramientas similares. Explora sitios web, analiza enlaces, extrae datos SEO y exporta resultados sin cuotas de suscripción. Totalmente personalizable y extensible.

PhialsBasement
⭐ 1,133 Python 👤 PhialsBasement User 🕐 Actualizado 2026-11-10 📅 Creado 2025-09-27
27
scrapfly/scrapfly-scrapers

Scripts escalables de scraping web en Python para más de 80 dominios populares

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-05-22
28
apache/stormcrawler

Un rastreador web escalable, maduro y versátil basado en Apache Storm

apache
⭐ 1,014 Java 👤 apache Organization 🕐 Actualizado 2026-11-17 📅 Creado 2013-04-12
29
RimoChan/sese-engine

【sese-engine】¡El motor de búsqueda de una nueva era!

RimoChan
⭐ 952 Python 👤 RimoChan User 🕐 Actualizado 2025-05-10 📅 Creado 2022-01-09
30
firecrawl/firecrawl-app-examples

🔥 Este repositorio contiene ejemplos completos de aplicaciones, incluidos sitios web y otros proyectos, desarrollados con Firecrawl.

firecrawl
⭐ 847 Jupyter Notebook 👤 firecrawl Organization 🕐 Actualizado 2026-01-13 📅 Creado 2024-06-22
31
postmodern/spidr

Una biblioteca versátil de Ruby para rastreo web que puede rastrear un sitio, múltiples dominios, ciertos enlaces o infinitamente. Spidr está diseñado para ser rápido y fácil de usar.

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 Actualizado 2026-01-12 📅 Creado 2009-03-08
32
johnlui/DIYSearchEngine

🔍 Motor de búsqueda de Internet de código abierto desarrollado en Go, con el tutorial "Crea tu propio motor de búsqueda de Internet"

johnlui
⭐ 706 Go 👤 johnlui User 🕐 Actualizado 2026-08-27 📅 Creado 2023-07-01
33
Team-intN18-SoybeanSeclab/Phantom

Una extensión de navegador diseñada para la recopilación de información de páginas en escenarios de descubrimiento de vulnerabilidades SRC, que recopila automáticamente información sensible y pistas sospechosas de páginas y recursos relacionados, compatible con escaneo básico, escaneo recursivo profundo, pruebas de API masivas, exportación de resultados y configuración de expresiones regulares personalizadas.

Team-intN18-SoybeanSeclab
⭐ 696 JavaScript 👤 Team-intN18-SoybeanSeclab Organization 🕐 Actualizado 2026-09-16 📅 Creado 2025-08-21
34
Madi-S/Lead-Generation

Script de Python que permite a personas sin conocimientos de programación generar prospectos de calidad a gran escala. Este repositorio estará compuesto por diversas técnicas versátiles utilizadas en la generación de prospectos.

Madi-S
⭐ 693 Python 👤 Madi-S User 🕐 Actualizado 2026-09-23 📅 Creado 2020-12-14
35
cxcscmu/Craw4LLM

Repositorio oficial para "Craw4LLM: Rastreo web eficiente para preentrenamiento de LLM"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Actualizado 2025-02-24 📅 Creado 2025-02-17
36
vakra-dev/reader

Infraestructura web de código abierto para IA. Raspado, rastreo y automatización de la web, limpieza de markdown, sesiones de navegador, listo para tus agentes.

vakra-dev
⭐ 577 TypeScript 👤 vakra-dev Organization 🕐 Actualizado 2026-10-06 📅 Creado 2026-01-07
37
jpjacobpadilla/Stealth-Requests

¡Web-scraping indetectable y análisis HTML fluido en Python!

jpjacobpadilla
⭐ 570 Python 👤 jpjacobpadilla User 🕐 Actualizado 2026-09-19 📅 Creado 2024-08-04
38
lefterisloukas/edgar-crawler

El único kit de herramientas de código abierto que puede descargar informes financieros SEC EDGAR y extraer datos textuales de secciones de elementos específicos en archivos JSON estructurados, limpios y agradables. Presentado en WWW 2025 @ Sídney, Australia (https://dl.acm.org/doi/10.1145/3701716.3715289)

lefterisloukas
⭐ 535 Python 👤 lefterisloukas User 🕐 Actualizado 2025-07-18 📅 Creado 2021-09-24
39
erevus-cn/pocscan

Voluntad de ser un marco de escaneo niubility

erevus-cn
⭐ 520 Python 👤 erevus-cn User 🕐 Actualizado 2025-07-01 📅 Creado 2016-02-02

Preguntas frecuentes

1

¿Cuál es el repositorio de #web-crawler más popular en GitHub?

El proyecto de código abierto de #web-crawler mejor posicionado en GitHub es firecrawl/firecrawl, con 205,758 estrellas. Infraestructura de conocimiento para hacer más inteligentes a sus agentes. Busque, extraiga y acceda a más de 550 proveedores de datos a través de una sola API.

2

¿Qué lenguajes de programación se utilizan más en los repositorios de #web-crawler?

Entre los proyectos de #web-crawler mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, TypeScript, Rust, Go.

3

¿Cómo se calcula la clasificación de los repositorios de #web-crawler?

Seguimos 39 repositorios activos de código abierto etiquetados con #web-crawler (500+ estrellas), que suman un total de 470,326 estrellas, con una media de 12,059 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.