Git Stars Git Stars

#crawler Repositorios

162
Total de Repositorios
1.1M
Total de estrellas
6,863
Promedio de Estrellas/Repo

162 repositorios en total

101
Zeal-L/BiliBili-Manga-Downloader

Un descargador de cómics de Bilibili fácil de usar, con interfaz gráfica, soporta la búsqueda de cómics por palabras clave e inicio de sesión con código QR, tecnología avanzada para descargar capítulos no desbloqueados, descarga multihilo, varios formatos de guardado, gestión de cómics locales y comprobación de actualizaciones con un clic.

Zeal-L
⭐ 1,244 Python 👤 Zeal-L User 🕐 Actualizado 2025-07-23 📅 Creado 2023-01-15
102
InstaPy/instagram-profilecrawl

📝 Extrae rápidamente la información (p. ej. seguidores, etiquetas, etc.) de un perfil de Instagram.

InstaPy
⭐ 1,244 Python 👤 InstaPy Organization 🕐 Actualizado 2024-03-19 📅 Creado 2017-02-15
103
seveniruby/AppCrawler

Herramienta de recorrido automático de apps basada en Appium

seveniruby
⭐ 1,244 Scala 👤 seveniruby User 🕐 Actualizado 2026-04-20 📅 Creado 2016-02-16
104
webrecorder/browsertrix-crawler

Ejecute un rastreador de archivo web basado en navegador de alta fidelidad en un solo contenedor Docker

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 Actualizado 2026-11-19 📅 Creado 2020-11-02
105
AndyTheFactory/newspaper4k

📰 Newspaper4k, un fork del querido Newspaper3k. Extracción de artículos, títulos y metadatos de sitios de noticias.

AndyTheFactory
⭐ 1,170 Python 👤 AndyTheFactory User 🕐 Actualizado 2026-11-01 📅 Creado 2023-10-22
106
dixudx/tumblr-crawler

Descarga fácilmente todas las fotos/videos de los blogs de Tumblr. Descarga las imágenes y videos de los blogs de Tumblr especificados

dixudx
⭐ 1,160 Python 👤 dixudx User 🕐 Actualizado 2025-12-26 📅 Creado 2016-04-15
107
codelibs/fess

Servidor de búsqueda empresarial y de sitios, de código abierto y autohospedado, construido sobre OpenSearch. Rastrea fuentes web, de archivos, de bases de datos y en la nube; soporta más de 20 idiomas, API REST y búsqueda semántica con IA/RAG. Licencia Apache-2.0.

codelibs
⭐ 1,152 Java 👤 codelibs Organization 🕐 Actualizado 2026-11-21 📅 Creado 2013-09-13
108
scrapfly/scrapfly-scrapers

Scripts escalables de scraping web en Python para más de 80 dominios populares

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-05-22
109
BaiduSpider/BaiduSpider

BaiduSpider, un rastreador que extrae resultados de búsqueda de Baidu, actualmente admite la búsqueda web de Baidu, la búsqueda de imágenes de Baidu, la búsqueda de Baidu Knows, la búsqueda de videos de Baidu, la búsqueda de noticias de Baidu, la búsqueda de Baidu Wenku, la búsqueda de experiencias de Baidu y la búsqueda de Baidu Baike.

BaiduSpider
⭐ 1,130 Python 👤 BaiduSpider Organization 🕐 Actualizado 2024-06-14 📅 Creado 2020-10-03
110
elixir-crawly/crawly

Crawly, un framework de alto nivel para web crawling y scraping para Elixir.

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 Actualizado 2026-11-20 📅 Creado 2019-03-09
111
0x676e67/wreq

Un cliente HTTP en Rust ergonómico y consciente de la privacidad

0x676e67
⭐ 1,118 Rust 👤 0x676e67 User 🕐 Actualizado 2026-11-20 📅 Creado 2024-09-19
112
wujunwei928/parse-video

Golang Eliminación de marca de agua para videos cortos: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipixia Gaoqiao, Xigua Video, Huya, Li Video, AcFun, Haokan Video...

wujunwei928
⭐ 1,104 Go 👤 wujunwei928 User 🕐 Actualizado 2026-11-08 📅 Creado 2022-07-12
113
vifreefly/kimuraframework

Escribe web scrapers en Ruby usando un DSL limpio y asistido por IA. Kimurai emplea IA para determinar dónde se encuentran los datos, luego almacena en caché los selectores y realiza scraping con Ruby puro. Obtén la inteligencia de un LLM sin la latencia por solicitud ni los costos de tokens.

vifreefly
⭐ 1,102 Ruby 👤 vifreefly User 🕐 Actualizado 2026-01-27 📅 Creado 2018-08-23
114
antibrow/antibrow

Navegador antidetección a nivel de kernel con la API de Playwright que ya utiliza. SDK para Python y Node, compatible con MCP y perfiles locales ilimitados. Linux x64 + arm64, macOS Intel + Apple Silicon y Windows x64.

antibrow
⭐ 1,068 TypeScript 👤 antibrow User 🕐 Actualizado 2026-09-28 📅 Creado 2026-07-29
115
darbra/awesome-ai-reverse

Ingeniería inversa con IA, todo de una vez

darbra
⭐ 1,026 👤 darbra User 🕐 Actualizado 2026-09-29 📅 Creado 2026-04-14
116
janreges/siteone-crawler

SiteOne Crawler es un rastreador y analizador de sitios web multiplataforma para la optimización de SEO, seguridad, accesibilidad y rendimiento, ideal para desarrolladores, DevOps, ingenieros de control de calidad y consultores. Soporta Windows, macOS y Linux (x64 y arm64).

janreges
⭐ 1,019 Rust 👤 janreges User 🕐 Actualizado 2026-09-27 📅 Creado 2023-10-04
117
apache/stormcrawler

Un rastreador web escalable, maduro y versátil basado en Apache Storm

apache
⭐ 1,014 Java 👤 apache Organization 🕐 Actualizado 2026-11-17 📅 Creado 2013-04-12
118
pea3nut/Pxer

Una herramienta para pixiv.net. Un crawler de P Station accesible para todos

pea3nut
⭐ 1,010 JavaScript 👤 pea3nut User 🕐 Actualizado 2025-03-03 📅 Creado 2015-12-16
119
spidersuite/SpiderSuite

Lanzamientos, wiki y hoja de ruta de SpiderSuite (rastreador de seguridad web)

spidersuite
⭐ 990 👤 spidersuite Organization 🕐 Actualizado 2026-08-13 📅 Creado 2023-04-05
120
fredwu/crawler

Un rastreador/raspador web de alto rendimiento en Elixir.

fredwu
⭐ 963 Elixir 👤 fredwu User 🕐 Actualizado 2026-11-21 📅 Creado 2016-08-08
121
ma6254/FictionDown

Descarga de novelas|Extracción de novelas|起点|笔趣阁|Exportar Markdown|Exportar txt|Convertir epub|Filtrado de anuncios|Corrección automática

ma6254
⭐ 955 Go 👤 ma6254 User 🕐 Actualizado 2025-01-21 📅 Creado 2019-03-03
122
xiaoxiunique/x-kit

Herramientas de protocolo puro en Python y notas de investigación para X.com, con conjuntos de datos de cuentas de Twitter de VibeLoft

xiaoxiunique
⭐ 947 Python 👤 xiaoxiunique User 🕐 Actualizado 2026-11-04 📅 Creado 2024-12-16
123
0xAllenChen/spider_reverse

Casos de ingeniería inversa de rastreadores, completados: Huella digital TLS | Ruishu | Zhenkunxing | NetEase Yudun | Ingeniería inversa/descompilación de miniprogramas de WeChat (Baida Xingxi) | Tonghuashun | Descifrado RPC | Jiasule | CAPTCHA deslizante de Jueyan | Julang Sanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Plataforma de Big Data de Políticas Industriales | Qizhidiao | Xueqiu.com (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Keji | mohurd | Ejoin Data | Ouke Yunlian

0xAllenChen
⭐ 946 Python 👤 0xAllenChen User 🕐 Actualizado 2026-11-17 📅 Creado 2023-06-02
124
TikHub/TikHub-API-Python-SDK

API (interfaz) de solución de Captcha (solucionador de códigos de verificación) de alto rendimiento asíncrono para Douyin (抖音), TikTok, Xiaohongshu (小红书), Kuaishou (快手), Weibo (微博), Instagram, YouTube (油管), Twitter (X) con correo temporal (Temp Mail).

TikHub
⭐ 943 Python 👤 TikHub Organization 🕐 Actualizado 2026-10-03 📅 Creado 2022-12-17
125
hellock/icrawler

Un framework de rastreador multi-hilo con muchos rastreadores de imágenes incorporados proporcionados.

hellock
⭐ 936 Python 👤 hellock User 🕐 Actualizado 2025-12-10 📅 Creado 2016-03-19
126
JoMingyu/google-play-scraper

Google Play scraper para Python inspirado en <facundoolano/google-play-scraper>

JoMingyu
⭐ 930 Python 👤 JoMingyu User 🕐 Actualizado 2024-08-05 📅 Creado 2019-06-04
127
SkywalkerDarren/chatWeb

ChatWeb puede rastrear páginas web, leer PDF, DOCX, TXT y extraer el contenido principal, luego responder sus preguntas basándose en el contenido o resumir los puntos clave.

SkywalkerDarren
⭐ 916 Python 👤 SkywalkerDarren User 🕐 Actualizado 2026-05-25 📅 Creado 2023-03-09
128
scrapinghub/scrapyrt

API HTTP para arañas de Scrapy

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 Actualizado 2026-10-13 📅 Creado 2015-01-06
129
rndinfosecguy/Scavenger

Rastreador (bot) que busca filtraciones en sitios de publicación de texto.

rndinfosecguy
⭐ 883 Python 👤 rndinfosecguy User 🕐 Actualizado 2026-11-20 📅 Creado 2018-03-10
130
skrapeit/skrape.it

Una biblioteca basada en Kotlin para pruebas, scraping y análisis que proporciona la capacidad de analizar y extraer datos de HTML (renderizado en el lado del servidor y del cliente). Pone un énfasis particular en la facilidad de uso y un alto nivel de legibilidad al proporcionar un DSL intuitivo. Apunta a ser una biblioteca de pruebas, pero también se puede usar para hacer scraping de sitios web de manera conveniente.

skrapeit
⭐ 874 Kotlin 👤 skrapeit User 🕐 Actualizado 2026-10-20 📅 Creado 2019-01-14
131
StJudeWasHere/seonaut

Herramienta de auditoría SEO de código abierto.

StJudeWasHere
⭐ 873 Go 👤 StJudeWasHere User 🕐 Actualizado 2026-10-08 📅 Creado 2022-03-02
132
setvisible/ArrowDL

ArrowDL (Arrow Downloader) es un gestor de descargas para Windows, MacOS y Linux.

setvisible
⭐ 855 C++ 👤 setvisible User 🕐 Actualizado 2026-05-04 📅 Creado 2019-07-04
133
BlessedRebuS/Krawl

Krawl es un servidor de engaño web personalizable, ligero y nativo de la nube, y un anti-rastreador que crea aplicaciones web falsas con vulnerabilidades de bajo colgante utilizando datos de señuelo realistas generados aleatoriamente y plantillas HTML generadas por IA.

BlessedRebuS
⭐ 844 Python 👤 BlessedRebuS User 🕐 Actualizado 2026-11-20 📅 Creado 2025-12-10
134
postmodern/spidr

Una biblioteca versátil de Ruby para rastreo web que puede rastrear un sitio, múltiples dominios, ciertos enlaces o infinitamente. Spidr está diseñado para ser rápido y fácil de usar.

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 Actualizado 2026-01-12 📅 Creado 2009-03-08
135
tiliondev/fortress

Motor Chromium sigiloso que evita que los scrapers y los agentes de navegador sean bloqueados con un solo cambio de línea de código.

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 Actualizado 2026-11-03 📅 Creado 2026-07-02
136
MorvanZhou/easy-scraping-tutorial

Código de tutorial simple pero útil para web scraping en Python.

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 Actualizado 2024-04-07 📅 Creado 2017-12-29
137
fffonion/xeHentai

Doujinshi downloader Descarga de cómics eróticos

fffonion
⭐ 808 Python 👤 fffonion User 🕐 Actualizado 2026-11-15 📅 Creado 2013-03-23
138
fanyong920/jvppeteer

API de Java para Chrome y Firefox

fanyong920
⭐ 805 Java 👤 fanyong920 User 🕐 Actualizado 2026-10-04 📅 Creado 2020-03-11
139
chadi0x/TheBigBrother

The Big Brother es una plataforma OSINT armada que incluye enumeración de nombres de usuario (más de 473 plataformas), inteligencia visual de cuatro vectores, seguimiento con Sky Radar, análisis de monederos de criptomonedas, inteligencia SSL, reconstrucción de huellas digitales, extracción de EXIF, búsqueda avanzada mediante dorks y reconocimiento de redes.

chadi0x
⭐ 787 Python 👤 chadi0x User 🕐 Actualizado 2026-11-14 📅 Creado 2025-12-08
140
JSREI/js-cookie-monitor-debugger-hook

Herramienta esencial para el reverse engineering de cookies JavaScript: herramienta de visualización para monitorear cambios de cookies JS y hook de cookies JS con puntos de interrupción condicionales

JSREI
⭐ 779 TypeScript 👤 JSREI Organization 🕐 Actualizado 2026-01-28 📅 Creado 2022-07-22
141
lixi5338619/lxBook

Repositorio de código del libro "Prácticas avanzadas de ingeniería inversa de web scraping"

lixi5338619
⭐ 770 JavaScript 👤 lixi5338619 User 🕐 Actualizado 2026-01-26 📅 Creado 2021-11-16
142
xuxueli/xxl-crawler

Un framework ligero para web crawlers. (Framework de crawler de Java)

xuxueli
⭐ 756 Java 👤 xuxueli User 🕐 Actualizado 2026-08-08 📅 Creado 2017-10-17
143
polyrabbit/hacker-news-digest

📰 Deja que un LLM resuma Hacker News por ti

polyrabbit
⭐ 754 Python 👤 polyrabbit User 🕐 Actualizado 2026-11-21 📅 Creado 2014-09-17
144
TumblThreeApp/TumblThree

Una aplicación de respaldo de blogs de Tumblr y Twitter

TumblThreeApp
⭐ 744 C# 👤 TumblThreeApp Organization 🕐 Actualizado 2026-11-14 📅 Creado 2018-12-29
145
PyPtt/PyPtt

La mejor biblioteca PTT

PyPtt
⭐ 733 Python 👤 PyPtt Organization 🕐 Actualizado 2026-11-13 📅 Creado 2017-05-28
146
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ Scraper de perfiles de LinkedIn que devuelve datos de perfil estructurados en JSON.

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 Actualizado 2024-04-05 📅 Creado 2018-12-21
147
chushuai/wscan

Wscan es un escáner de seguridad web que se enfoca en la seguridad web, dedicado a hacer que la seguridad web sea accesible para todos.

chushuai
⭐ 717 Go 👤 chushuai User 🕐 Actualizado 2026-09-21 📅 Creado 2022-05-06
148
tasos-py/Search-Engines-Scraper

Buscar en Google, Bing, Yahoo y otros motores de búsqueda con Python

tasos-py
⭐ 672 Python 👤 tasos-py User 🕐 Actualizado 2025-04-02 📅 Creado 2018-01-08
149
C0D3D3V/Moodle-DL

Moodle-DL descarga el contenido del curso rápidamente desde Moodle (por ejemplo, PDFs de conferencias)

C0D3D3V
⭐ 668 Python 👤 C0D3D3V User 🕐 Actualizado 2026-10-22 📅 Creado 2019-12-19
150
cxcscmu/Craw4LLM

Repositorio oficial para "Craw4LLM: Rastreo web eficiente para preentrenamiento de LLM"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Actualizado 2025-02-24 📅 Creado 2025-02-17