Git Stars Git Stars

#crawling Repositórios

Descubra 39 repositórios ativos de código aberto no GitHub marcados com #crawling, acumulando um total de 335,438 estrelas (uma média de 8,600 por projeto). O líder deste tópico é D4Vinci/Scrapling, com 104,760 estrelas.

39
Total de Repositórios
335,438
Total de estrelas
8,600
Média de Estrelas/Repositório

39 repositórios no total

1
D4Vinci/Scrapling

🕷️ O MELHOR framework de web scraping, que dá conta de tudo, desde uma única solicitação até uma coleta em grande escala! Não seja tímido: participe aqui https://discord.gg/EMgGbDceNQ e siga-nos aqui para receber dicas e truques diários: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 Atualizado 2026-11-17 📅 Criado 2024-10-13
2
scrapy/scrapy

Scrapy, um framework Python rápido e de alto nível para rastreamento e raspagem web.

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 Atualizado 2026-11-19 📅 Criado 2010-02-22
3
apify/crawlee

Crawlee—Uma biblioteca de raspagem da web e automação de navegador para Node.js para construir crawlers confiáveis. Em JavaScript e TypeScript. Extraia dados para IA, LLMs, RAG ou GPTs. Baixe arquivos HTML, PDF, JPG, PNG e outros de websites. Funciona com Puppeteer, Playwright, Cheerio, JSDOM e HTTP puro. Em modo com e sem interface gráfica (headful e headless). Com rotação de proxy.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Atualizado 2026-11-21 📅 Criado 2016-08-26
4
gocolly/colly

Framework elegante de raspagem e rastreamento para Golang

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 Atualizado 2026-10-16 📅 Criado 2017-09-29
5
getmaxun/maxun

Transforme qualquer site em uma API estruturada. Extraia, automatize, pesquise e monitore a web.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 Atualizado 2026-11-20 📅 Criado 2023-10-23
6
codelucas/newspaper

newspaper3k é uma ferramenta de extração de notícias, texto completo e metadados de artigos em Python 3. Docs avançados:

codelucas
⭐ 15,192 Python 👤 codelucas User 🕐 Atualizado 2026-10-26 📅 Criado 2013-11-25
7
apify/crawlee-python

Crawlee — uma biblioteca Python de web scraping e automação de navegador para criar crawlers confiáveis. Extraia dados estruturados com LLMs por meio do Pydantic AI ou controle o navegador em linguagem natural com o Stagehand. Compatível com BeautifulSoup, Parsel, Playwright e HTTP bruto. Baixe HTML, PDF, imagens e outros arquivos. A rotação de proxies está incluída.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Atualizado 2026-11-20 📅 Criado 2024-01-10
8
lorien/awesome-web-scraping

Lista de bibliotecas, ferramentas e APIs para web scraping e processamento de dados.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Atualizado 2026-11-21 📅 Criado 2015-08-12
9
go-rod/rod

Um driver do Chrome DevTools Protocol para automação e raspagem da web.

go-rod
⭐ 7,160 Go 👤 go-rod Organization 🕐 Atualizado 2026-08-11 📅 Criado 2020-01-21
10
exa-labs/exa-mcp-server

Exa MCP para pesquisa na web e rastreamento da web!

exa-labs
⭐ 5,250 TypeScript 👤 exa-labs Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-11-27
11
hakluke/hakrawler

Rastreador web simples e rápido, projetado para a descoberta fácil e rápida de endpoints e ativos dentro de uma aplicação web

hakluke
⭐ 5,171 Go 👤 hakluke User 🕐 Atualizado 2026-08-05 📅 Criado 2019-12-15
12
ai-robots-txt/ai.robots.txt

Uma lista de agentes de IA e robôs a bloquear.

ai-robots-txt
⭐ 4,265 Python 👤 ai-robots-txt Organization 🕐 Atualizado 2026-11-16 📅 Criado 2024-03-27
13
hardkoded/puppeteer-sharp

API .NET para Headless Chrome

hardkoded
⭐ 3,936 C# 👤 hardkoded Organization 🕐 Atualizado 2026-11-21 📅 Criado 2017-09-30
14
edoardottt/cariddi

Obtenha uma lista de domínios, rastreie URLs e escaneie em busca de endpoints, segredos, chaves de API, extensões de arquivo, tokens e muito mais

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 Atualizado 2026-11-19 📅 Criado 2021-04-27
15
apache/nutch

Apache Nutch é um rastreador web extensível e escalável

apache
⭐ 3,311 Java 👤 apache Organization 🕐 Atualizado 2026-11-17 📅 Criado 2009-05-21
16
transitive-bullshit/awesome-puppeteer

Uma lista selecionada de recursos incríveis do Puppeteer.

transitive-bullshit
⭐ 2,528 👤 transitive-bullshit User 🕐 Atualizado 2024-07-19 📅 Criado 2018-05-07
17
lorien/grab

Estrutura de Web Scraping

lorien
⭐ 2,461 Python 👤 lorien User 🕐 Atualizado 2025-09-19 📅 Criado 2013-05-01
18
NateScarlet/holiday-cn

📅🇨🇳Dados de feriados legais da China: Captura automática diária de anúncios do Conselho de Estado

NateScarlet
⭐ 2,293 Python 👤 NateScarlet User 🕐 Atualizado 2026-11-21 📅 Criado 2019-03-05
19
zorlan/skycaiji

O Blue Sky Collector é um sistema de rastreamento de código aberto e gratuito, que permite coletar dados com apenas cliques e edições de regras. Ele pode ser executado localmente, em hospedagem virtual ou em servidores em nuvem, sendo capaz de coletar quase todos os tipos de páginas da web. Ele se integra perfeitamente a vários programas de construção de sites CMS, publica dados em tempo real sem login, e é totalmente automático, sem intervenção humana! É um sistema de rastreamento em nuvem totalmente multiplataforma em softwares de coleta de dados da web em grande escala.

zorlan
⭐ 2,098 PHP 👤 zorlan User 🕐 Atualizado 2026-10-07 📅 Criado 2018-02-26
20
rebrowser/rebrowser-patches

Coleção de patches para puppeteer e playwright para evitar a detecção de automação e vazamentos. Ajuda a evitar páginas CAPTCHA do Cloudflare e DataDome. Fácil de aplicar/remover patches, pode ser ativado/desativado sob demanda.

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 Atualizado 2026-11-02 📅 Criado 2024-08-06
21
roach-php/core

O kit de ferramentas completo para web scraping em PHP.

roach-php
⭐ 1,456 PHP 👤 roach-php Organization 🕐 Atualizado 2025-10-27 📅 Criado 2021-08-17
22
lorey/mlscraper

🤖 Extraia dados de sites HTML automaticamente apenas fornecendo exemplos

lorey
⭐ 1,370 Python 👤 lorey User 🕐 Atualizado 2024-03-17 📅 Criado 2020-07-30
23
webrecorder/browsertrix-crawler

Execute um rastreador de arquivamento web de alta fidelidade baseado em navegador em um único contêiner Docker

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 Atualizado 2026-11-19 📅 Criado 2020-11-02
24
needleworm/bhban_rpa

Este é um código de exemplo de <6개월 치 업무를 하루 만에 끝내는 업무 자동화(생능출판사, 2020)>. Ele serve como exemplo para pessoas que nunca aprenderam Python e oferece exemplos em diversas áreas relacionadas à automação de tarefas, desde Excel até design, macros e crawling.

needleworm
⭐ 1,153 Python 👤 needleworm User 🕐 Atualizado 2026-10-25 📅 Criado 2020-02-11
25
dondai44423/donsetch

Obtenção, pesquisa e rastreamento web para agentes de IA. Desenvolvido do zero em Rust. Sem chaves, sem contas. AGPL v3.

dondai44423
⭐ 1,138 Rust 👤 dondai44423 User 🕐 Atualizado 2026-11-21 📅 Criado 2026-08-07
26
scrapfly/scrapfly-scrapers

Scripts escaláveis de web scraping em Python para mais de 80 domínios populares

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-05-22
27
elixir-crawly/crawly

Crawly, um framework de rastreamento e raspagem web de alto nível para Elixir.

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 Atualizado 2026-11-20 📅 Criado 2019-03-09
28
janreges/siteone-crawler

SiteOne Crawler é um rastreador e analisador de websites multiplataforma para otimização de SEO, segurança, acessibilidade e desempenho — ideal para desenvolvedores, DevOps, engenheiros de QA e consultores. Suporta Windows, macOS e Linux (x64 e arm64).

janreges
⭐ 1,019 Rust 👤 janreges User 🕐 Atualizado 2026-09-27 📅 Criado 2023-10-04
29
clemfromspace/scrapy-selenium

Middleware Scrapy para lidar com páginas javascript usando selenium

clemfromspace
⭐ 950 Python 👤 clemfromspace User 🕐 Atualizado 2026-04-13 📅 Criado 2018-02-11
30
mishakorzik/AdminHack

Hoje vamos invadir o painel de administração do site.

mishakorzik
⭐ 932 Shell 👤 mishakorzik User 🕐 Atualizado 2026-09-10 📅 Criado 2021-05-16
31
scrapinghub/scrapyrt

API HTTP para spiders do Scrapy

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 Atualizado 2026-10-13 📅 Criado 2015-01-06
32
StJudeWasHere/seonaut

Ferramenta de auditoria de SEO de código aberto.

StJudeWasHere
⭐ 873 Go 👤 StJudeWasHere User 🕐 Atualizado 2026-10-08 📅 Criado 2022-03-02
33
MorvanZhou/easy-scraping-tutorial

Código de tutorial de web scraping em Python simples, mas útil.

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 Atualizado 2024-04-07 📅 Criado 2017-12-29
34
josephlimtech/linkedin-profile-scraper-api

Raspador de perfil do LinkedIn retornando dados de perfil estruturados em JSON.

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 Atualizado 2024-04-05 📅 Criado 2018-12-21
35
lumpinif/deepcrawl

100% grátis e alternativa open-source completa ao Firecrawl edge com extração de links melhor para agentes - que você pode implantar no Cloudflare ou Vercel por conta própria.

lumpinif
⭐ 704 TypeScript 👤 lumpinif User 🕐 Atualizado 2026-08-24 📅 Criado 2025-05-22
36
cxcscmu/Craw4LLM

Repositório oficial para "Craw4LLM: Rastreamento Web Eficiente para Pré-treinamento de LLM"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Atualizado 2025-02-24 📅 Criado 2025-02-17
37
l4rm4nd/LinkedInDumper

Script Python 3 para despejar/raspar/extrair funcionários da empresa da API do LinkedIn

l4rm4nd
⭐ 624 Python 👤 l4rm4nd User 🕐 Atualizado 2026-08-21 📅 Criado 2022-10-17
38
scrapinghub/spidermon

Extensão Scrapy para monitoramento da execução de spiders.

scrapinghub
⭐ 563 Python 👤 scrapinghub Organization 🕐 Atualizado 2026-10-20 📅 Criado 2015-11-17
39
zhuyingda/webster

um framework confiável de web crawling e scraping de alto nível para Node.js.

zhuyingda
⭐ 560 JavaScript 👤 zhuyingda User 🕐 Atualizado 2025-03-12 📅 Criado 2017-11-04

Perguntas Frequentes

1

Qual é o repositório de #crawling mais popular no GitHub?

O projeto de código aberto de #crawling mais bem classificado no GitHub é D4Vinci/Scrapling, com 104,760 estrelas. 🕷️ O MELHOR framework de web scraping, que dá conta de tudo, desde uma única solicitação até uma coleta em grande escala! Não seja tímido: participe aqui https://discord.gg/EMgGbDceNQ e siga-nos aqui para receber dicas e truques diários: https://x.com/Scrapling_dev

2

Quais linguagens de programação são mais usadas nos repositórios de #crawling?

Entre os projetos de #crawling mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, Go, JavaScript.

3

Como é calculada a classificação dos repositórios de #crawling?

Acompanhamos 39 repositórios ativos de código aberto marcados com #crawling (com mais de 500 estrelas), totalizando 335,438 estrelas e uma média de 8,600 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.