Git Stars Git Stars

#crawler Repositórios

162
Total de Repositórios
1.1M
Total de estrelas
6,863
Média de Estrelas/Repositório

162 repositórios no total

101
Zeal-L/BiliBili-Manga-Downloader

Um prático downloader de mangás do Bilibili, com interface gráfica, que suporta busca de mangás por palavra-chave e login via código QR, utiliza tecnologia avançada para baixar capítulos bloqueados, oferece download multi-threaded, múltiplos formatos de salvamento, gerenciamento de mangás locais e verificação de atualizações com um clique!

Zeal-L
⭐ 1,244 Python 👤 Zeal-L User 🕐 Atualizado 2025-07-23 📅 Criado 2023-01-15
102
InstaPy/instagram-profilecrawl

📝 Extraia rapidamente as informações (por exemplo, seguidores, tags etc...) de um perfil do Instagram.

InstaPy
⭐ 1,244 Python 👤 InstaPy Organization 🕐 Atualizado 2024-03-19 📅 Criado 2017-02-15
103
seveniruby/AppCrawler

Ferramenta de travessia automática de apps baseada em Appium

seveniruby
⭐ 1,244 Scala 👤 seveniruby User 🕐 Atualizado 2026-04-20 📅 Criado 2016-02-16
104
webrecorder/browsertrix-crawler

Execute um rastreador de arquivamento web de alta fidelidade baseado em navegador em um único contêiner Docker

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 Atualizado 2026-11-19 📅 Criado 2020-11-02
105
AndyTheFactory/newspaper4k

📰 Newspaper4k um fork do amado Newspaper3k. Extração de artigos, títulos e metadados de sites de notícias.

AndyTheFactory
⭐ 1,170 Python 👤 AndyTheFactory User 🕐 Atualizado 2026-11-01 📅 Criado 2023-10-22
106
dixudx/tumblr-crawler

Baixe facilmente todas as fotos/vídeos de blogs do tumblr. Baixe as imagens e vídeos de blogs específicos do Tumblr

dixudx
⭐ 1,160 Python 👤 dixudx User 🕐 Atualizado 2025-12-26 📅 Criado 2016-04-15
107
codelibs/fess

Servidor de busca empresarial e de sites, de código aberto e auto-hospedado, construído sobre o OpenSearch. Rastreia fontes web, arquivos, bancos de dados e nuvem, suporta mais de 20 idiomas, API REST e busca semântica com IA/RAG. Licença Apache-2.0.

codelibs
⭐ 1,152 Java 👤 codelibs Organization 🕐 Atualizado 2026-11-21 📅 Criado 2013-09-13
108
scrapfly/scrapfly-scrapers

Scripts escaláveis de web scraping em Python para mais de 80 domínios populares

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-05-22
109
BaiduSpider/BaiduSpider

BaiduSpider, um crawler que extrai resultados de pesquisa do Baidu, atualmente suporta a Pesquisa Web do Baidu, a Pesquisa de Imagens do Baidu, a Pesquisa Baidu Zhidao, a Pesquisa de Vídeos do Baidu, a Pesquisa de Notícias do Baidu, a Pesquisa Baidu Wenku, a Pesquisa Baidu Jingyan e a Pesquisa Baidu Baike.

BaiduSpider
⭐ 1,130 Python 👤 BaiduSpider Organization 🕐 Atualizado 2024-06-14 📅 Criado 2020-10-03
110
elixir-crawly/crawly

Crawly, um framework de rastreamento e raspagem web de alto nível para Elixir.

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 Atualizado 2026-11-20 📅 Criado 2019-03-09
111
0x676e67/wreq

Um cliente HTTP em Rust ergonômico e focado em privacidade

0x676e67
⭐ 1,118 Rust 👤 0x676e67 User 🕐 Atualizado 2026-11-20 📅 Criado 2024-09-19
112
wujunwei928/parse-video

Remoção de marca d'água de vídeos curtos com Golang: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipi Gaoxiao, Xigua Video, Huya, Pear Video, AcFun, Haokan Video...

wujunwei928
⭐ 1,104 Go 👤 wujunwei928 User 🕐 Atualizado 2026-11-08 📅 Criado 2022-07-12
113
vifreefly/kimuraframework

Escreva web scrapers em Ruby usando um DSL limpo e assistido por IA. O Kimurai utiliza IA para descobrir onde os dados estão, em seguida armazena em cache os seletores e faz scraping com Ruby puro. Obtenha a inteligência de um LLM sem a latência por solicitação ou custos de tokens.

vifreefly
⭐ 1,102 Ruby 👤 vifreefly User 🕐 Atualizado 2026-01-27 📅 Criado 2018-08-23
114
antibrow/antibrow

Navegador antidetecção em nível de kernel com a API Playwright que você já utiliza. SDKs para Python e Node, compatível com MCP e perfis locais ilimitados. Linux x64 + arm64, macOS Intel + Apple Silicon e Windows x64.

antibrow
⭐ 1,068 TypeScript 👤 antibrow User 🕐 Atualizado 2026-09-28 📅 Criado 2026-07-29
115
darbra/awesome-ai-reverse

Engenharia reversa com IA, tudo de uma vez

darbra
⭐ 1,026 👤 darbra User 🕐 Atualizado 2026-09-29 📅 Criado 2026-04-14
116
janreges/siteone-crawler

SiteOne Crawler é um rastreador e analisador de websites multiplataforma para otimização de SEO, segurança, acessibilidade e desempenho — ideal para desenvolvedores, DevOps, engenheiros de QA e consultores. Suporta Windows, macOS e Linux (x64 e arm64).

janreges
⭐ 1,019 Rust 👤 janreges User 🕐 Atualizado 2026-09-27 📅 Criado 2023-10-04
117
apache/stormcrawler

Um rastreador web escalável, maduro e versátil baseado no Apache Storm

apache
⭐ 1,014 Java 👤 apache Organization 🕐 Atualizado 2026-11-17 📅 Criado 2013-04-12
118
pea3nut/Pxer

Uma ferramenta para pixiv.net. Um crawler do Pixiv acessível a todos

pea3nut
⭐ 1,010 JavaScript 👤 pea3nut User 🕐 Atualizado 2025-03-03 📅 Criado 2015-12-16
119
spidersuite/SpiderSuite

Lançamentos, wiki e roteiro do SpiderSuite (crawler de segurança web)

spidersuite
⭐ 990 👤 spidersuite Organization 🕐 Atualizado 2026-08-13 📅 Criado 2023-04-05
120
fredwu/crawler

Um web crawler / scraper de alto desempenho em Elixir.

fredwu
⭐ 963 Elixir 👤 fredwu User 🕐 Atualizado 2026-11-21 📅 Criado 2016-08-08
121
ma6254/FictionDown

Download de romances | Rastreamento de romances | Qidian | BiQuGe | Exportar Markdown | Exportar txt | Converter epub | Filtragem de anúncios | Correção automática

ma6254
⭐ 955 Go 👤 ma6254 User 🕐 Atualizado 2025-01-21 📅 Criado 2019-03-03
122
xiaoxiunique/x-kit

Ferramentas de protocolo puro em Python e notas de pesquisa para X.com, com conjuntos de dados de contas do Twitter VibeLoft

xiaoxiunique
⭐ 947 Python 👤 xiaoxiunique User 🕐 Atualizado 2026-11-04 📅 Criado 2024-12-16
123
0xAllenChen/spider_reverse

Casos de engenharia reversa de web scraping, concluídos: Impressão digital TLS | Ruishu | Zhenkunxing | NetEase Yidun | Engenharia reversa de descompilação de Mini Programas WeChat (Baidaxingxi) | Tonghuashun | Descriptografia RPC | Jiasule | Captcha de deslize Geetest | Juliang Suanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Plataforma de Big Data de Políticas Industriais | Qizhidao | Xueqiu.com (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Technology | mohurd | EntGroup Data | OKLink

0xAllenChen
⭐ 946 Python 👤 0xAllenChen User 🕐 Atualizado 2026-11-17 📅 Criado 2023-06-02
124
TikHub/TikHub-API-Python-SDK

API de Solucionador de Captcha (verificação) de alto desempenho assíncrono para Douyin (抖音) TikTok Xiaohongshu (小红书) Kuaishou (快手) Weibo (微博) Instagram YouTube (油管) Twitter (X) e E-mail Temporário (serviço de e-mail descartável).

TikHub
⭐ 943 Python 👤 TikHub Organization 🕐 Atualizado 2026-10-03 📅 Criado 2022-12-17
125
hellock/icrawler

Um framework de crawler multi-thread com muitos crawlers de imagem integrados fornecidos.

hellock
⭐ 936 Python 👤 hellock User 🕐 Atualizado 2025-12-10 📅 Criado 2016-03-19
126
JoMingyu/google-play-scraper

Scraper do Google Play para Python inspirado por <facundoolano/google-play-scraper>

JoMingyu
⭐ 930 Python 👤 JoMingyu User 🕐 Atualizado 2024-08-05 📅 Criado 2019-06-04
127
SkywalkerDarren/chatWeb

O ChatWeb pode rastrear páginas da web, ler PDF, DOCX, TXT e extrair o conteúdo principal, em seguida, responder às suas perguntas com base no conteúdo, ou resumir os pontos-chave.

SkywalkerDarren
⭐ 916 Python 👤 SkywalkerDarren User 🕐 Atualizado 2026-05-25 📅 Criado 2023-03-09
128
scrapinghub/scrapyrt

API HTTP para spiders do Scrapy

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 Atualizado 2026-10-13 📅 Criado 2015-01-06
129
rndinfosecguy/Scavenger

Rastreador (bot) que procura vazamentos em sites de compartilhamento de texto.

rndinfosecguy
⭐ 883 Python 👤 rndinfosecguy User 🕐 Atualizado 2026-11-20 📅 Criado 2018-03-10
130
skrapeit/skrape.it

Uma biblioteca de testes/raspagem/análise baseada em Kotlin, que oferece a capacidade de analisar e extrair dados de HTML (renderizado no lado do servidor e do cliente). Ela coloca ênfase particular na facilidade de uso e em um alto nível de legibilidade, fornecendo uma DSL intuitiva. Seu objetivo é ser uma biblioteca de testes, mas também pode ser usada para raspar sites de forma conveniente.

skrapeit
⭐ 874 Kotlin 👤 skrapeit User 🕐 Atualizado 2026-10-20 📅 Criado 2019-01-14
131
StJudeWasHere/seonaut

Ferramenta de auditoria de SEO de código aberto.

StJudeWasHere
⭐ 873 Go 👤 StJudeWasHere User 🕐 Atualizado 2026-10-08 📅 Criado 2022-03-02
132
setvisible/ArrowDL

ArrowDL (Arrow Downloader) é um gerenciador de downloads para Windows, MacOS e Linux

setvisible
⭐ 855 C++ 👤 setvisible User 🕐 Atualizado 2026-05-04 📅 Criado 2019-07-04
133
BlessedRebuS/Krawl

Krawl é um servidor de engano web personalizável, leve e nativo da nuvem, e um anti-rastreador que cria aplicativos web falsos com vulnerabilidades de baixa pendência usando dados de isca realistas gerados aleatoriamente e modelos HTML gerados por IA.

BlessedRebuS
⭐ 844 Python 👤 BlessedRebuS User 🕐 Atualizado 2026-11-20 📅 Criado 2025-12-10
134
postmodern/spidr

Uma biblioteca versátil de web spidering em Ruby que pode rastrear um site, múltiplos domínios, links específicos ou infinitamente. Spidr foi projetada para ser rápida e fácil de usar.

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 Atualizado 2026-01-12 📅 Criado 2009-03-08
135
tiliondev/fortress

Motor Chromium furtivo que impede que scrapers e agentes de navegador sejam bloqueados com uma única alteração em uma linha de código.

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 Atualizado 2026-11-03 📅 Criado 2026-07-02
136
MorvanZhou/easy-scraping-tutorial

Código de tutorial de web scraping em Python simples, mas útil.

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 Atualizado 2024-04-07 📅 Criado 2017-12-29
137
fffonion/xeHentai

Baixador de Doujinshi Mangá de Cavalheiro

fffonion
⭐ 808 Python 👤 fffonion User 🕐 Atualizado 2026-11-15 📅 Criado 2013-03-23
138
fanyong920/jvppeteer

API Java Para Chrome e Firefox

fanyong920
⭐ 805 Java 👤 fanyong920 User 🕐 Atualizado 2026-10-04 📅 Criado 2020-03-11
139
chadi0x/TheBigBrother

The Big Brother é uma plataforma OSINT militarizada que oferece enumeração de nomes de usuário (em mais de 473 plataformas), inteligência visual de quatro vetores, rastreamento Sky Radar, análise de carteiras de criptomoedas, inteligência SSL, reconstrução da pegada digital, extração de EXIF, dorking avançado e reconhecimento de redes.

chadi0x
⭐ 787 Python 👤 chadi0x User 🕐 Atualizado 2026-11-14 📅 Criado 2025-12-08
140
JSREI/js-cookie-monitor-debugger-hook

A ferramenta essencial para engenharia reversa de cookies JS: Ferramenta de monitoramento visual de mudanças em cookies JS e hook de cookies JS para definir pontos de interrupção condicionais.

JSREI
⭐ 779 TypeScript 👤 JSREI Organization 🕐 Atualizado 2026-01-28 📅 Criado 2022-07-22
141
lixi5338619/lxBook

Repositório de código do livro "Engenharia Reversa Avançada de Web Scraping"

lixi5338619
⭐ 770 JavaScript 👤 lixi5338619 User 🕐 Atualizado 2026-01-26 📅 Criado 2021-11-16
142
xuxueli/xxl-crawler

Um framework de web crawler leve. (Framework de rastreamento Java)

xuxueli
⭐ 756 Java 👤 xuxueli User 🕐 Atualizado 2026-08-08 📅 Criado 2017-10-17
143
polyrabbit/hacker-news-digest

📰 Deixe um LLM resumir o Hacker News para você

polyrabbit
⭐ 754 Python 👤 polyrabbit User 🕐 Atualizado 2026-11-21 📅 Criado 2014-09-17
144
TumblThreeApp/TumblThree

Um Aplicativo de Backup de Blog para Tumblr e Twitter

TumblThreeApp
⭐ 744 C# 👤 TumblThreeApp Organization 🕐 Atualizado 2026-11-14 📅 Criado 2018-12-29
145
PyPtt/PyPtt

A melhor biblioteca PTT

PyPtt
⭐ 733 Python 👤 PyPtt Organization 🕐 Atualizado 2026-11-13 📅 Criado 2017-05-28
146
josephlimtech/linkedin-profile-scraper-api

Raspador de perfil do LinkedIn retornando dados de perfil estruturados em JSON.

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 Atualizado 2024-04-05 📅 Criado 2018-12-21
147
chushuai/wscan

Wscan é um scanner de segurança web que se concentra em segurança web, dedicado a tornar a segurança web acessível a todos.

chushuai
⭐ 717 Go 👤 chushuai User 🕐 Atualizado 2026-09-21 📅 Criado 2022-05-06
148
tasos-py/Search-Engines-Scraper

Pesquisar no Google, Bing, Yahoo e outros motores de busca com python

tasos-py
⭐ 672 Python 👤 tasos-py User 🕐 Atualizado 2025-04-02 📅 Criado 2018-01-08
149
C0D3D3V/Moodle-DL

Moodle-DL baixa rapidamente o conteúdo do curso do Moodle (ex.: PDFs de aulas)

C0D3D3V
⭐ 668 Python 👤 C0D3D3V User 🕐 Atualizado 2026-10-22 📅 Criado 2019-12-19
150
cxcscmu/Craw4LLM

Repositório oficial para "Craw4LLM: Rastreamento Web Eficiente para Pré-treinamento de LLM"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Atualizado 2025-02-24 📅 Criado 2025-02-17