Git Stars Git Stars

#crawling Repositorios

Descubre 39 repositorios activos de código abierto de GitHub etiquetados con #crawling, que acumulan 335,438 estrellas en total (una media de 8,600 estrellas por proyecto). El líder de este tema es D4Vinci/Scrapling, con 104,760 estrellas.

39
Total de Repositorios
335,438
Total de estrellas
8,600
Promedio de Estrellas/Repo

39 repositorios en total

1
D4Vinci/Scrapling

🕷️ ¡El MEJOR framework de web scraping, capaz de gestionar desde una sola solicitud hasta un rastreo a gran escala! No seas tímido: únete aquí https://discord.gg/EMgGbDceNQ y síguenos aquí para recibir consejos y trucos a diario: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 Actualizado 2026-11-17 📅 Creado 2024-10-13
2
scrapy/scrapy

Scrapy, un framework rápido de alto nivel para web crawling y scraping en Python.

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 Actualizado 2026-11-19 📅 Creado 2010-02-22
3
apify/crawlee

Crawlee—Una biblioteca de web scraping y automatización de navegadores para Node.js para construir rastreadores confiables. En JavaScript y TypeScript. Extrae datos para IA, LLMs, RAG o GPTs. Descarga HTML, PDF, JPG, PNG y otros archivos de sitios web. Funciona con Puppeteer, Playwright, Cheerio, JSDOM y HTTP puro. Tanto en modo con cabeza como sin cabeza. Con rotación de proxies.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Actualizado 2026-11-21 📅 Creado 2016-08-26
4
gocolly/colly

Marco elegante de raspado y rastreo para Golang

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 Actualizado 2026-10-16 📅 Creado 2017-09-29
5
getmaxun/maxun

Convierte cualquier sitio web en una API estructurada. Extrae, automatiza, busca y supervisa la web.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 Actualizado 2026-11-20 📅 Creado 2023-10-23
6
codelucas/newspaper

newspaper3k es una extracción de noticias, texto completo y metadatos de artículos en Python 3. Documentación avanzada:

codelucas
⭐ 15,192 Python 👤 codelucas User 🕐 Actualizado 2026-10-26 📅 Creado 2013-11-25
7
apify/crawlee-python

Crawlee: una biblioteca de scraping web y automatización de navegadores para Python con la que crear rastreadores fiables. Extrae datos estructurados con LLM mediante Pydantic AI o controla el navegador en lenguaje natural con Stagehand. Compatible con BeautifulSoup, Parsel, Playwright y HTTP sin procesar. Descarga HTML, PDF, imágenes y otros archivos. Incluye rotación de proxies.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Actualizado 2026-11-20 📅 Creado 2024-01-10
8
lorien/awesome-web-scraping

Lista de bibliotecas, herramientas y APIs para web scraping y procesamiento de datos.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Actualizado 2026-11-21 📅 Creado 2015-08-12
9
go-rod/rod

Un controlador del Protocolo de Herramientas para Desarrolladores de Chrome para automatización web y scraping.

go-rod
⭐ 7,160 Go 👤 go-rod Organization 🕐 Actualizado 2026-08-11 📅 Creado 2020-01-21
10
exa-labs/exa-mcp-server

¡Exa MCP para búsqueda web y rastreo web!

exa-labs
⭐ 5,250 TypeScript 👤 exa-labs Organization 🕐 Actualizado 2026-11-21 📅 Creado 2024-11-27
11
hakluke/hakrawler

Web crawler simple y rápido diseñado para el fácil y rápido descubrimiento de endpoints y activos dentro de una aplicación web

hakluke
⭐ 5,171 Go 👤 hakluke User 🕐 Actualizado 2026-08-05 📅 Creado 2019-12-15
12
ai-robots-txt/ai.robots.txt

Una lista de agentes y robots de IA para bloquear.

ai-robots-txt
⭐ 4,265 Python 👤 ai-robots-txt Organization 🕐 Actualizado 2026-11-16 📅 Creado 2024-03-27
13
hardkoded/puppeteer-sharp

API de .NET de Chrome sin cabeza

hardkoded
⭐ 3,936 C# 👤 hardkoded Organization 🕐 Actualizado 2026-11-21 📅 Creado 2017-09-30
14
edoardottt/cariddi

Tome una lista de dominios, rastree URL y escanee en busca de puntos finales, secretos, claves de API, extensiones de archivo, tokens y más.

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 Actualizado 2026-11-19 📅 Creado 2021-04-27
15
apache/nutch

Apache Nutch es un rastreador web extensible y escalable

apache
⭐ 3,311 Java 👤 apache Organization 🕐 Actualizado 2026-11-17 📅 Creado 2009-05-21
16
transitive-bullshit/awesome-puppeteer

Una lista curada de recursos increíbles de Puppeteer.

transitive-bullshit
⭐ 2,528 👤 transitive-bullshit User 🕐 Actualizado 2024-07-19 📅 Creado 2018-05-07
17
lorien/grab

Marco de Web Scraping

lorien
⭐ 2,461 Python 👤 lorien User 🕐 Actualizado 2025-09-19 📅 Creado 2013-05-01
18
NateScarlet/holiday-cn

📅🇨🇳 Datos de días festivos estatutarios de China Recopilados automáticamente diariamente de los anuncios del Consejo de Estado

NateScarlet
⭐ 2,293 Python 👤 NateScarlet User 🕐 Actualizado 2026-11-21 📅 Creado 2019-03-05
19
zorlan/skycaiji

Blue Sky Collector es un sistema de rastreo de código abierto y gratuito que solo requiere hacer clic y editar reglas para recopilar datos. Puede ejecutarse localmente, en un host virtual o en un servidor en la nube, y puede rastrear casi todo tipo de páginas web. Se integra perfectamente con varios programas de creación de sitios web CMS, publica datos en tiempo real sin iniciar sesión y sin intervención humana. ¡Es un sistema de rastreo en la nube completamente multiplataforma en el software de recopilación de big data web.

zorlan
⭐ 2,098 PHP 👤 zorlan User 🕐 Actualizado 2026-10-07 📅 Creado 2018-02-26
20
rebrowser/rebrowser-patches

Colección de parches para puppeteer y playwright para evitar la detección de automatización y fugas. Ayuda a evitar las páginas CAPTCHA de Cloudflare y DataDome. Fácil de parchear/desparchear, se puede habilitar/deshabilitar bajo demanda.

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 Actualizado 2026-11-02 📅 Creado 2024-08-06
21
roach-php/core

El kit de herramientas completo de web scraping para PHP.

roach-php
⭐ 1,456 PHP 👤 roach-php Organization 🕐 Actualizado 2025-10-27 📅 Creado 2021-08-17
22
lorey/mlscraper

🤖 Extrae datos de sitios web HTML automáticamente con solo proporcionar ejemplos

lorey
⭐ 1,370 Python 👤 lorey User 🕐 Actualizado 2024-03-17 📅 Creado 2020-07-30
23
webrecorder/browsertrix-crawler

Ejecute un rastreador de archivo web basado en navegador de alta fidelidad en un solo contenedor Docker

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 Actualizado 2026-11-19 📅 Creado 2020-11-02
24
needleworm/bhban_rpa

Este es el código de ejemplo de <6개월 치 업무를 하루 만에 끝내는 업무 자동화(생능출판사, 2020)>. Este ejemplo está pensado para quienes nunca han aprendido Python y ofrece ejemplos de diferentes campos relacionados con la automatización de tareas, desde Excel hasta diseño, macros y crawling.

needleworm
⭐ 1,153 Python 👤 needleworm User 🕐 Actualizado 2026-10-25 📅 Creado 2020-02-11
25
dondai44423/donsetch

Obtención, búsqueda y rastreo web para agentes de IA. Creado desde cero en Rust. Sin claves, sin cuentas. AGPL v3.

dondai44423
⭐ 1,138 Rust 👤 dondai44423 User 🕐 Actualizado 2026-11-21 📅 Creado 2026-08-07
26
scrapfly/scrapfly-scrapers

Scripts escalables de scraping web en Python para más de 80 dominios populares

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-05-22
27
elixir-crawly/crawly

Crawly, un framework de alto nivel para web crawling y scraping para Elixir.

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 Actualizado 2026-11-20 📅 Creado 2019-03-09
28
janreges/siteone-crawler

SiteOne Crawler es un rastreador y analizador de sitios web multiplataforma para la optimización de SEO, seguridad, accesibilidad y rendimiento, ideal para desarrolladores, DevOps, ingenieros de control de calidad y consultores. Soporta Windows, macOS y Linux (x64 y arm64).

janreges
⭐ 1,019 Rust 👤 janreges User 🕐 Actualizado 2026-09-27 📅 Creado 2023-10-04
29
clemfromspace/scrapy-selenium

Middleware de Scrapy para manejar páginas de JavaScript usando Selenium

clemfromspace
⭐ 950 Python 👤 clemfromspace User 🕐 Actualizado 2026-04-13 📅 Creado 2018-02-11
30
mishakorzik/AdminHack

hoy hackearemos el panel de administración del sitio.

mishakorzik
⭐ 932 Shell 👤 mishakorzik User 🕐 Actualizado 2026-09-10 📅 Creado 2021-05-16
31
scrapinghub/scrapyrt

API HTTP para arañas de Scrapy

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 Actualizado 2026-10-13 📅 Creado 2015-01-06
32
StJudeWasHere/seonaut

Herramienta de auditoría SEO de código abierto.

StJudeWasHere
⭐ 873 Go 👤 StJudeWasHere User 🕐 Actualizado 2026-10-08 📅 Creado 2022-03-02
33
MorvanZhou/easy-scraping-tutorial

Código de tutorial simple pero útil para web scraping en Python.

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 Actualizado 2024-04-07 📅 Creado 2017-12-29
34
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ Scraper de perfiles de LinkedIn que devuelve datos de perfil estructurados en JSON.

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 Actualizado 2024-04-05 📅 Creado 2018-12-21
35
lumpinif/deepcrawl

100% gratuito y alternativa open-source completa a Firecrawl edge con mejor extracción de enlaces para agentes - que puedes desplegar tú mismo en Cloudflare o Vercel.

lumpinif
⭐ 704 TypeScript 👤 lumpinif User 🕐 Actualizado 2026-08-24 📅 Creado 2025-05-22
36
cxcscmu/Craw4LLM

Repositorio oficial para "Craw4LLM: Rastreo web eficiente para preentrenamiento de LLM"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Actualizado 2025-02-24 📅 Creado 2025-02-17
37
l4rm4nd/LinkedInDumper

Script de Python 3 para volcar/extraer/extraer empleados de empresas de la API de LinkedIn

l4rm4nd
⭐ 624 Python 👤 l4rm4nd User 🕐 Actualizado 2026-08-21 📅 Creado 2022-10-17
38
scrapinghub/spidermon

Extensión de Scrapy para monitorear la ejecución de spiders.

scrapinghub
⭐ 563 Python 👤 scrapinghub Organization 🕐 Actualizado 2026-10-20 📅 Creado 2015-11-17
39
zhuyingda/webster

Un framework confiable de alto nivel para web crawling y scraping para Node.js.

zhuyingda
⭐ 560 JavaScript 👤 zhuyingda User 🕐 Actualizado 2025-03-12 📅 Creado 2017-11-04

Preguntas frecuentes

1

¿Cuál es el repositorio de #crawling más popular en GitHub?

El proyecto de código abierto de #crawling mejor posicionado en GitHub es D4Vinci/Scrapling, con 104,760 estrellas. 🕷️ ¡El MEJOR framework de web scraping, capaz de gestionar desde una sola solicitud hasta un rastreo a gran escala! No seas tímido: únete aquí https://discord.gg/EMgGbDceNQ y síguenos aquí para recibir consejos y trucos a diario: https://x.com/Scrapling_dev

2

¿Qué lenguajes de programación se utilizan más en los repositorios de #crawling?

Entre los proyectos de #crawling mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, TypeScript, Go, JavaScript.

3

¿Cómo se calcula la clasificación de los repositorios de #crawling?

Seguimos 39 repositorios activos de código abierto etiquetados con #crawling (500+ estrellas), que suman un total de 335,438 estrellas, con una media de 8,600 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.