Git Stars Git Stars

#crawler Repositórios

162
Total de Repositórios
1.1M
Total de estrelas
6,863
Média de Estrelas/Repositório

162 repositórios no total

51
thewhiteh4t/FinalRecon

Tudo em Um Reconhecimento Web

thewhiteh4t
⭐ 3,058 Python 👤 thewhiteh4t User 🕐 Atualizado 2026-10-31 📅 Criado 2019-03-28
52
Qianlitp/crawlergo

Um poderoso crawler de navegador para scanners de vulnerabilidade web

Qianlitp
⭐ 3,034 Go 👤 Qianlitp User 🕐 Atualizado 2025-03-11 📅 Criado 2019-12-25
53
facundoolano/google-play-scraper

Scraper Node.js para obter dados do Google Play

facundoolano
⭐ 3,005 JavaScript 👤 facundoolano User 🕐 Atualizado 2026-10-17 📅 Criado 2015-04-07
54
howie6879/owllook

owllook - Mecanismo de busca de romances

howie6879
⭐ 2,900 Python 👤 howie6879 User 🕐 Atualizado 2026-10-30 📅 Criado 2017-02-18
55
CharlesPikachu/DecryptLogin

DecryptLogin: APIs para fazer login em alguns sites usando requests.

CharlesPikachu
⭐ 2,871 Python 👤 CharlesPikachu User 🕐 Atualizado 2024-08-09 📅 Criado 2019-02-25
56
spider-rs/spider

Coleta fundamental de dados da web com baixa latência em Rust

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 Atualizado 2026-11-20 📅 Criado 2018-01-07
57
jaeles-project/gospider

Gospider - Rastreador web rápido escrito em Go

jaeles-project
⭐ 2,851 Go 👤 jaeles-project Organization 🕐 Atualizado 2024-04-21 📅 Criado 2020-01-22
58
spatie/crawler

https://spatie.be/docs/crawler

spatie
⭐ 2,827 PHP 👤 spatie Organization 🕐 Atualizado 2026-11-05 📅 Criado 2015-11-02
59
geziyor/geziyor

Geziyor, framework de rastreamento e raspagem web ultrarrápido para Go. Suporta renderização JS.

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 Atualizado 2026-07-02 📅 Criado 2019-06-06
60
jae-jae/QueryList

:spider: O framework progressivo de rastreamento PHP! Um elegante framework progressivo de coleta PHP.

jae-jae
⭐ 2,689 PHP 👤 jae-jae User 🕐 Atualizado 2026-10-20 📅 Criado 2015-12-20
61
Autumn-27/ScopeSentry

Mapeamento do ciberespaço ScopeSentry, enumeração de subdomínios, varredura de portas, descoberta de informações sensíveis, varredura de vulnerabilidades, nós distribuídos

Autumn-27
⭐ 2,597 Go 👤 Autumn-27 User 🕐 Atualizado 2026-10-11 📅 Criado 2024-02-27
62
xtuhcy/gecco

Rastreador web leve e fácil de usar

xtuhcy
⭐ 2,510 Java 👤 xtuhcy User 🕐 Atualizado 2026-10-09 📅 Criado 2015-12-12
63
fhamborg/news-please

news-please - um rastreador web integrado e extrator de informações para notícias que simplesmente funciona

fhamborg
⭐ 2,494 Python 👤 fhamborg User 🕐 Atualizado 2026-04-14 📅 Criado 2016-12-18
64
lorien/grab

Estrutura de Web Scraping

lorien
⭐ 2,461 Python 👤 lorien User 🕐 Atualizado 2025-09-19 📅 Criado 2013-05-01
65
JayBizzle/Crawler-Detect

🕷 CrawlerDetect é uma classe PHP para detectar bots/crawlers/spiders através do user agent

JayBizzle
⭐ 2,410 PHP 👤 JayBizzle User 🕐 Atualizado 2026-11-16 📅 Criado 2015-03-23
66
friuns2/Leaked-GPTs

Prompts vazados de GPTs para contornar o limite de 25 mensagens ou para experimentar GPTs sem uma subscrição Plus.

friuns2
⭐ 2,396 Python 👤 friuns2 User 🕐 Atualizado 2024-01-17 📅 Criado 2023-11-27
67
sjdirect/abot

Framework de web crawler C# multiplataforma, desenvolvido para velocidade e flexibilidade. Por favor, favorite este projeto! +1.

sjdirect
⭐ 2,308 C# 👤 sjdirect User 🕐 Atualizado 2026-07-17 📅 Criado 2013-08-08
68
goclone-dev/goclone

Clonador de Sites - Utiliza rotinas Go poderosas para clonar sites no seu computador em segundos.

goclone-dev
⭐ 2,303 Go 👤 goclone-dev Organization 🕐 Atualizado 2026-06-02 📅 Criado 2020-03-23
69
AAndyProgram/SCrawler

🏳️‍🌈 Baixador de mídia de quaisquer sites, incluindo Twitter, Reddit, Instagram, BlueSky, TikTok, Threads, Facebook, OnlyFans, YouTube, Pinterest, PornHub, XHamster, XVIDEOS, ThisVid etc.

AAndyProgram
⭐ 2,263 Visual Basic .NET 👤 AAndyProgram User 🕐 Atualizado 2026-11-08 📅 Criado 2021-12-07
70
watercrawl/WaterCrawl

Transformar Conteúdo Web em Dados Prontos para LLM

watercrawl
⭐ 2,244 TypeScript 👤 watercrawl Organization 🕐 Atualizado 2026-08-17 📅 Criado 2024-12-15
71
zorlan/skycaiji

O Blue Sky Collector é um sistema de rastreamento de código aberto e gratuito, que permite coletar dados com apenas cliques e edições de regras. Ele pode ser executado localmente, em hospedagem virtual ou em servidores em nuvem, sendo capaz de coletar quase todos os tipos de páginas da web. Ele se integra perfeitamente a vários programas de construção de sites CMS, publica dados em tempo real sem login, e é totalmente automático, sem intervenção humana! É um sistema de rastreamento em nuvem totalmente multiplataforma em softwares de coleta de dados da web em grande escala.

zorlan
⭐ 2,098 PHP 👤 zorlan User 🕐 Atualizado 2026-10-07 📅 Criado 2018-02-26
72
TeamNewPipe/NewPipeExtractor

A biblioteca principal do NewPipe para extrair dados de sites de streaming

TeamNewPipe
⭐ 2,070 Java 👤 TeamNewPipe Organization 🕐 Atualizado 2026-11-19 📅 Criado 2017-03-01
73
elliotgao2/gain

Framework de web crawling baseado em asyncio.

elliotgao2
⭐ 2,017 Python 👤 elliotgao2 User 🕐 Atualizado 2026-08-09 📅 Criado 2017-05-31
74
coder-hxl/x-crawl

Biblioteca flexível de rastreamento para Node.js

coder-hxl
⭐ 1,888 TypeScript 👤 coder-hxl User 🕐 Atualizado 2026-11-21 📅 Criado 2023-01-22
75
JSREI/ast-hook-for-js-RE

Solução de roaming de memória do navegador (Em exploração...)

JSREI
⭐ 1,882 JavaScript 👤 JSREI Organization 🕐 Atualizado 2024-05-07 📅 Criado 2021-01-15
76
lixi5338619/lxSpider

Coleção de exemplos de web scraping. Incluindo, mas não se limitando a 《Taobao, JD, Tmall, Douban, Douyin, Kuaishou, Weibo, WeChat, Alibaba, Toutiao, PDD, Youku, iQiyi, Ctrip, 12306, 58, Sohu, vários índices, VIP, Wanfang Data, Zlibraty, Oalib, romances, sites de licitação, sites de compras, Xiaohongshu, Dianping, Twitter, Maimai, Zhihu》

lixi5338619
⭐ 1,876 Python 👤 lixi5338619 User 🕐 Atualizado 2024-05-09 📅 Criado 2021-01-29
77
diskoverdata/diskover-community

Diskover Community Edition - Indexador de arquivos de código aberto, mecanismo de busca de arquivos e gerenciamento e análise de dados com tecnologia Elasticsearch

diskoverdata
⭐ 1,831 PHP 👤 diskoverdata Organization 🕐 Atualizado 2026-03-25 📅 Criado 2017-04-19
78
eatmoreduck/boss-zhipin-scraper

Scraper do BOSS Zhipin / Ferramenta de extração de dados de vagas do BOSS Zhipin, baseada no protocolo Chrome CDP para reutilizar sessões de login reais, contornar o anti-scraping de fontes e gerar JSON/CSV de salários em texto simples + análise de habilidades salariais.

eatmoreduck
⭐ 1,781 Python 👤 eatmoreduck User 🕐 Atualizado 2026-11-03 📅 Criado 2026-06-11
79
u3c3/BT-btt

Introdução ao site de links magnéticos U3C3 e atualização de domínio

u3c3
⭐ 1,779 👤 u3c3 User 🕐 Atualizado 2025-01-01 📅 Criado 2020-04-28
80
howie6879/ruia

Microframework assíncrono de web scraping para Python 3.6+ baseado em asyncio

howie6879
⭐ 1,738 Python 👤 howie6879 User 🕐 Atualizado 2026-10-30 📅 Criado 2018-07-10
81
rushter/selectolax

Binding Python para os motores Modest e Lexbor. Parser HTML5 rápido com seletores CSS para Python.

rushter
⭐ 1,717 Python 👤 rushter User 🕐 Atualizado 2026-11-10 📅 Criado 2017-11-26
82
gildas-lormeau/single-file-cli

Ferramenta CLI para salvar uma cópia fiel de uma página da web completa em um único arquivo HTML (baseado em SingleFile)

gildas-lormeau
⭐ 1,702 JavaScript 👤 gildas-lormeau User 🕐 Atualizado 2026-11-18 📅 Criado 2022-05-31
83
YoongiKim/AutoCrawler

Rastreador web de imagens multiprocesso do Google e Naver (Selenium)

YoongiKim
⭐ 1,700 Python 👤 YoongiKim User 🕐 Atualizado 2026-11-12 📅 Criado 2018-11-21
84
orangecoding/fredy

❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] (encontre imóveis de verdade com toda a facilidade) - O Fredy continua a procurar novos apartamentos, casas e imóveis na Europa em plataformas como ImmoScout24, Immowelt e eBay Kleinanzeigen e envia-lhe instantaneamente os resultados através do Slack, Telegram, e-mail, Discord ou ntfy, para que possa concentrar-se nas coisas mais importantes da vida ;)

orangecoding
⭐ 1,648 JavaScript 👤 orangecoding User 🕐 Atualizado 2026-11-19 📅 Criado 2018-01-15
85
erma0/douyin

Crawler de Douyin – coleta dados públicos como: perfis de conta, curtidas, favoritos, áudios originais, tópicos, resultados de pesquisa, coleções, publicações, contas seguidas, seguidores, entre outros.

erma0
⭐ 1,625 👤 erma0 User 🕐 Atualizado 2026-08-14 📅 Criado 2022-05-29
86
ArchiveTeam/grab-site

O rastreador web do arquivista: saída WARC, painel para todos os rastreamentos, padrões dinâmicos de ignorar

ArchiveTeam
⭐ 1,572 Python 👤 ArchiveTeam Organization 🕐 Atualizado 2025-05-23 📅 Criado 2015-02-05
87
srx-2000/spider_collection

Raspador Python, estoque atual: raspagem de músicas do NetEase Cloud Music, raspagem de vídeos do Bilibili, raspagem de perguntas e respostas do Zhihu, raspagem de papéis de parede, raspagem de vídeos xvideos, raspagem de audiolivros, raspador do Weibo, raspagem de informações do Anjuke + visualização de dados, extrator de capas de vídeo do Bilibili, empacotamento de pool de proxies IP, raspador de milhões de usuários do Zhihu + análise de dados, raspador de usuários do GitHub

srx-2000
⭐ 1,554 Python 👤 srx-2000 User 🕐 Atualizado 2024-04-23 📅 Criado 2020-02-04
88
0x676e67/wreq-python

Um cliente HTTP Python ergonômico e consciente da privacidade

0x676e67
⭐ 1,526 Python 👤 0x676e67 User 🕐 Atualizado 2026-11-15 📅 Criado 2025-02-10
89
rebrowser/rebrowser-patches

Coleção de patches para puppeteer e playwright para evitar a detecção de automação e vazamentos. Ajuda a evitar páginas CAPTCHA do Cloudflare e DataDome. Fácil de aplicar/remover patches, pode ser ativado/desativado sob demanda.

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 Atualizado 2026-11-02 📅 Criado 2024-08-06
90
dadoonet/fscrawler

Rastreador de Sistema de Arquivos do Elasticsearch (FS Crawler)

dadoonet
⭐ 1,459 Java 👤 dadoonet User 🕐 Atualizado 2026-11-19 📅 Criado 2012-06-08
91
xisuo67/XHS-Spider

Ferramenta de coleta de dados do Xiaohongshu, e para download em massa de imagens e vídeos de sites, uma ferramenta de coleta de dados com um visual deslumbrante (download em massa, extração de vídeo, imagens). Telegram:https://t.me/+ZtLSwuIKTo44MDY1

xisuo67
⭐ 1,456 👤 xisuo67 User 🕐 Atualizado 2025-12-16 📅 Criado 2023-04-25
92
openwpm/OpenWPM

Uma estrutura de medição de privacidade web

openwpm
⭐ 1,429 Python 👤 openwpm Organization 🕐 Atualizado 2026-10-13 📅 Criado 2014-06-10
93
darbra/sperm

Compilação de artigos incríveis sobre engenharia reversa que você já viu, vale a pena conferir.

darbra
⭐ 1,427 👤 darbra User 🕐 Atualizado 2026-04-13 📅 Criado 2022-03-02
94
kgspider/crawler

Compartilhamento de código de crawler do Irmão K, engenharia reversa de JS, aprimoramento de crawler. Siga a conta pública: K哥爬虫

kgspider
⭐ 1,371 JavaScript 👤 kgspider User 🕐 Atualizado 2025-05-12 📅 Criado 2021-08-24
95
lorey/mlscraper

🤖 Extraia dados de sites HTML automaticamente apenas fornecendo exemplos

lorey
⭐ 1,370 Python 👤 lorey User 🕐 Atualizado 2024-03-17 📅 Criado 2020-07-30
96
felipecsl/wombat

Um rastreador/scraper web Ruby leve, com uma DSL elegante, que extrai dados estruturados de páginas.

felipecsl
⭐ 1,360 Ruby 👤 felipecsl User 🕐 Atualizado 2026-10-27 📅 Criado 2011-11-14
97
0xInfection/XSRFProbe

O Kit de Ferramentas de Auditoria e Exploração de Cross Site Request Forgery (CSRF) Prime.

0xInfection
⭐ 1,310 Python 👤 0xInfection User 🕐 Atualizado 2026-07-12 📅 Criado 2018-08-21
98
fastcrw/crw

Alternativa rápida e leve ao Firecrawl/Tavily em Rust. API de web scraping, crawler e pesquisa com servidor MCP para agentes de IA. API compatível com Firecrawl (/scrape, /crawl, /search). 2,3x mais rápida que o Tavily, 1,5x mais rápida que o Firecrawl em benchmarks de 1K URLs. 6 MB de RAM, binário único. Auto-hospedagem ou uso em nuvem gerenciada.

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-03-02
99
dwisiswant0/go-dork

O scanner de dorks mais rápido escrito em Go.

dwisiswant0
⭐ 1,266 Go 👤 dwisiswant0 User 🕐 Atualizado 2024-02-04 📅 Criado 2020-07-13
100
kiddyuchina/Beanbun

Beanbun é um framework de rastreamento web multiprocesso escrito em PHP, com boa abertura e alta escalabilidade, baseado no Workerman.

kiddyuchina
⭐ 1,258 PHP 👤 kiddyuchina User 🕐 Atualizado 2026-05-26 📅 Criado 2017-04-13