Git Stars Git Stars

#data-extraction Repositórios

Descubra 131 repositórios ativos de código aberto no GitHub marcados com #data-extraction, acumulando um total de 729,329 estrelas (uma média de 5,567 por projeto). O líder deste tópico é firecrawl/firecrawl, com 205,758 estrelas.

131
Total de Repositórios
729,329
Total de estrelas
5,567
Média de Estrelas/Repositório

131 repositórios no total

1
firecrawl/firecrawl

Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-04-15
2
D4Vinci/Scrapling

🕷️ O MELHOR framework de web scraping, que dá conta de tudo, desde uma única solicitação até uma coleta em grande escala! Não seja tímido: participe aqui https://discord.gg/EMgGbDceNQ e siga-nos aqui para receber dicas e truques diários: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 Atualizado 2026-11-17 📅 Criado 2024-10-13
3
unclecode/crawl4ai

Crawl4AI Cloud oficial: uma API hospedada de scraping da web, extração e pesquisa para agentes de IA. Chave de API gratuita, 1.000 créditos por mês e sem cartão. Totalmente de código aberto: este repositório contém o crawler Apache-2.0 que o alimenta, e você pode hospedá-lo por conta própria.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Atualizado 2026-11-20 📅 Criado 2024-05-09
4
ScrapeGraphAI/Scrapegraph-ai

Extrator Python baseado em IA

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 Atualizado 2026-10-06 📅 Criado 2024-01-27
5
browserbase/stagehand

O SDK para extrair dados e interagir com qualquer site na web. Comece com Claude Code, Codex, Eve, Mastra e muito mais.

browserbase
⭐ 26,109 TypeScript 👤 browserbase Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-03-24
6
getmaxun/maxun

Transforme qualquer site em uma API estruturada. Extraia, automatize, pesquise e monitore a web.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 Atualizado 2026-11-20 📅 Criado 2023-10-23
7
ReFirmLabs/binwalk

Ferramenta de Análise de Firmware

ReFirmLabs
⭐ 14,731 Rust 👤 ReFirmLabs Organization 🕐 Atualizado 2026-08-11 📅 Criado 2013-11-15
8
phiresky/ripgrep-all

rga: ripgrep, mas também pesquisa em PDFs, E-books, documentos do Office, zip, tar.gz, etc.

phiresky
⭐ 9,937 Rust 👤 phiresky User 🕐 Atualizado 2026-09-17 📅 Criado 2019-06-04
9
scrapinghub/portia

Raspagem visual para Scrapy

scrapinghub
⭐ 9,479 Python 👤 scrapinghub Organization 🕐 Atualizado 2024-06-26 📅 Criado 2014-03-21
10
cv-cat/Spider_XHS

Coleta de dados com crawler do Xiaohongshu (RED), engenharia reversa do Xiaohongshu, mensagens privadas, transmissão ao vivo e soluções de operação integral no Xiaohongshu

cv-cat
⭐ 8,542 Python 👤 cv-cat User 🕐 Atualizado 2026-10-22 📅 Criado 2023-08-08
11
ericchiang/pup

Analisando HTML na linha de comando

ericchiang
⭐ 8,372 HTML 👤 ericchiang User 🕐 Atualizado 2024-05-02 📅 Criado 2014-09-01
12
mgdm/htmlq

Como jq, mas para HTML.

mgdm
⭐ 7,591 Rust 👤 mgdm User 🕐 Atualizado 2026-05-27 📅 Criado 2019-05-07
13
browser-act/skills

CLI de automação de navegador construída para agentes de IA. Supere barreiras anti-bot, transfira para humanos em várias plataformas quando estiver travado. Execução paralela de múltiplas tarefas, operação independente de múltiplas sessões, navegação isolada de múltiplas contas.

browser-act
⭐ 6,385 Python 👤 browser-act Organization 🕐 Atualizado 2026-11-04 📅 Criado 2026-02-06
14
nickscamara/open-deep-research

Um clone de pesquisa profunda de código aberto. Um Agente de IA que analisa grandes quantidades de dados da web extraídos com o Firecrawl

nickscamara
⭐ 6,242 TypeScript 👤 nickscamara User 🕐 Atualizado 2025-05-07 📅 Criado 2025-02-03
15
MontFerret/ferret

Linguagem declarativa de automação de dados e runtime Go para fluxos de trabalho de extração estruturada.

MontFerret
⭐ 6,025 Go 👤 MontFerret Organization 🕐 Atualizado 2026-11-19 📅 Criado 2018-08-23
16
matthewmueller/x-ray

O próximo web scraper. Veja através do ruído <html>.

matthewmueller
⭐ 5,899 JavaScript 👤 matthewmueller User 🕐 Atualizado 2026-08-31 📅 Criado 2015-02-05
17
vi3k6i5/flashtext

Extrair Palavras-chave da frase ou Substituir palavras-chave em frases.

vi3k6i5
⭐ 5,714 Python 👤 vi3k6i5 User 🕐 Atualizado 2025-04-13 📅 Criado 2017-08-15
18
Hammer1/cozeworkflows

Coleção de mais de 200 fluxos de trabalho do Coze, em constante atualização

Hammer1
⭐ 5,446 👤 Hammer1 User 🕐 Atualizado 2025-07-27 📅 Criado 2025-07-27
19
ultrafunkamsterdam/nodriver

Sucessor do Undetected-Chromedriver. Fornecendo um framework extremamente rápido para automação web, web scraping, bots e quaisquer outras ideias criativas que são normalmente impedidas por sistemas irritantes anti-bot como Captcha / CloudFlare / Imperva / hCaptcha

ultrafunkamsterdam
⭐ 4,950 Python 👤 ultrafunkamsterdam User 🕐 Atualizado 2026-10-26 📅 Criado 2024-02-20
20
REMitchell/python-scraping

Amostras de código do livro Web Scraping with Python http://shop.oreilly.com/product/0636920034391.do

REMitchell
⭐ 4,669 Jupyter Notebook 👤 REMitchell User 🕐 Atualizado 2024-06-01 📅 Criado 2015-06-14
21
AhmadHassan-BTed/Noria

Um extrator agêntico para plataformas de mensagens. A Noria recebe mensagens e URLs por chat, coleta dados da web para avaliar o conteúdo com base em matrizes de pontuação personalizadas (por exemplo, vagas de emprego e bolsas de estudo) e envia um resumo estruturado, com uma pontuação de compatibilidade calculada, diretamente para o número de mensagens atribuído.

AhmadHassan-BTed
⭐ 4,624 JavaScript 👤 AhmadHassan-BTed User 🕐 Atualizado 2026-11-10 📅 Criado 2026-05-31
22
meta/duckling

Linguagem, motor e ferramentas para expressar, testar e avaliar regras de linguagem compostas em strings de entrada.

meta
⭐ 4,328 Haskell 👤 meta Organization 🕐 Atualizado 2026-03-15 📅 Criado 2017-03-02
23
tomnomnom/waybackurls

Buscar todos os URLs que a Wayback Machine conhece para um domínio

tomnomnom
⭐ 4,255 Go 👤 tomnomnom User 🕐 Atualizado 2024-05-01 📅 Criado 2018-01-24
24
scrapinghub/splash

Navegador leve e com script, como serviço, com uma API HTTP

scrapinghub
⭐ 4,197 Python 👤 scrapinghub Organization 🕐 Atualizado 2024-08-02 📅 Criado 2013-05-20
25
CrawlScript/WebCollector

O WebCollector é um framework de web crawler de código aberto baseado em Java. Ele fornece interfaces simples para rastrear a Web, e você pode configurar um rastreador web multithreaded em menos de 5 minutos.

CrawlScript
⭐ 3,073 Java 👤 CrawlScript Organization 🕐 Atualizado 2026-02-10 📅 Criado 2014-07-12
26
goldsmith/Wikipedia

Um wrapper Pythonico para a API da Wikipedia

goldsmith
⭐ 3,014 Python 👤 goldsmith User 🕐 Atualizado 2026-10-25 📅 Criado 2013-08-20
27
brightdata/brightdata-mcp

Um servidor poderoso de Protocolo de Contexto de Modelo (MCP) que fornece uma solução completa para acesso público à web.

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 Atualizado 2026-11-18 📅 Criado 2025-04-15
28
smalot/pdfparser

PdfParser, uma biblioteca PHP autônoma, fornece várias ferramentas para extrair dados de um arquivo PDF.

smalot
⭐ 2,732 PHP 👤 smalot User 🕐 Atualizado 2026-10-13 📅 Criado 2013-08-30
29
Predidit/KazumiRules

Repositório de regras da Kazumi, contribuições são bem-vindas ^•ﻌ•^

Predidit
⭐ 2,653 Dart 👤 Predidit User 🕐 Atualizado 2026-11-13 📅 Criado 2024-05-22
30
Bistutu/GoMusic

Migrar playlists do NetEase Cloud/Quishui/QQ Music para Apple/Youtube/Spotify Music

Bistutu
⭐ 2,552 Go 👤 Bistutu User 🕐 Atualizado 2026-11-21 📅 Criado 2023-10-07
31
tavily-ai/tavily-mcp

Servidor MCP pronto para produção com pesquisa, extração, mapeamento e rastreamento em tempo real.

tavily-ai
⭐ 2,499 TypeScript 👤 tavily-ai Organization 🕐 Atualizado 2026-11-18 📅 Criado 2025-01-27
32
jmespath/jmespath.py

JMESPath é uma linguagem de consulta para JSON.

jmespath
⭐ 2,458 Python 👤 jmespath Organization 🕐 Atualizado 2026-04-20 📅 Criado 2013-02-19
33
saifyxpro/HeadlessX

Plataforma de automação de navegador auto-hospedado e invisível. Alimentada pelo Camoufox (Firefox) com taxa de detecção de 0%. Construída para velocidade, privacidade e escalabilidade.

saifyxpro
⭐ 2,365 TypeScript 👤 saifyxpro User 🕐 Atualizado 2026-11-12 📅 Criado 2025-09-12
34
dataabc/weibo-search

Obtenha informações dos resultados de pesquisa do Weibo; a pesquisa pode ser tanto por palavra-chave do Weibo quanto por tópico do Weibo.

dataabc
⭐ 2,340 Python 👤 dataabc User 🕐 Atualizado 2026-06-05 📅 Criado 2020-03-25
35
decaywood/XueQiuSuperSpider

Super rastreador de informações de ações de bola de neve

decaywood
⭐ 2,326 Java 👤 decaywood User 🕐 Atualizado 2024-03-27 📅 Criado 2015-11-24
36
opendatalab/DocLayout-YOLO

DocLayout-YOLO: Aprimorando a Análise de Layout de Documentos através de Dados Sintéticos Diversos e Percepção Adaptativa Global-Local

opendatalab
⭐ 2,315 Python 👤 opendatalab Organization 🕐 Atualizado 2026-10-21 📅 Criado 2024-10-14
39
hhursev/recipe-scrapers

Pacote Python para extração de dados de receitas

hhursev
⭐ 2,263 Python 👤 hhursev User 🕐 Atualizado 2026-11-15 📅 Criado 2015-09-14
40
shcherbak-ai/contextgem

Extraia dados estruturados e insights de documentos usando modelos de linguagem de grande porte e modelos de decisão

shcherbak-ai
⭐ 2,095 Python 👤 shcherbak-ai Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-10-11
41
xaitax/TotalRecall

Esta ferramenta extrai e exibe dados do recurso Recall no Windows 11, fornecendo uma maneira fácil de acessar informações sobre os instantâneos de atividade do seu PC.

xaitax
⭐ 2,037 Python 👤 xaitax User 🕐 Atualizado 2024-06-08 📅 Criado 2024-06-03
42
jmespath/jmespath.php

Especifique declarativamente como extrair elementos de um documento JSON, em PHP

jmespath
⭐ 2,013 PHP 👤 jmespath Organization 🕐 Atualizado 2026-11-17 📅 Criado 2013-07-06
43
KEV0143/Parser-Chitai-Gorod

Analisador inteligente para o catálogo "Chitai-Gorod". Coleta e estruturação de dados de alta velocidade baseada em quaisquer parâmetros especificados: do ISBN à dinâmica de descontos.

KEV0143
⭐ 1,979 Python 👤 KEV0143 User 🕐 Atualizado 2026-09-17 📅 Criado 2025-05-18
45
extractus/article-extractor

Extrair artigo da URL fornecida

extractus
⭐ 1,920 TypeScript 👤 extractus Organization 🕐 Atualizado 2026-08-20 📅 Criado 2015-11-29
46
Kengxxiao/ArknightsGameData

Dados do Jogo Arknights

Kengxxiao
⭐ 1,907 Lua 👤 Kengxxiao User 🕐 Atualizado 2026-11-16 📅 Criado 2019-12-31
47
shuchkin/simplexlsx

Analisar e recuperar dados de arquivos Excel XLSx

shuchkin
⭐ 1,829 PHP 👤 shuchkin User 🕐 Atualizado 2026-10-20 📅 Criado 2016-05-25
48
DQinYuan/chinese_province_city_area_mapper

Um módulo Python para extrair províncias, cidades e distritos de uma string de caracteres chineses simplificados, que pode ser mapeado, verificado e usado para plotagem simples.

DQinYuan
⭐ 1,770 Python 👤 DQinYuan User 🕐 Atualizado 2024-03-19 📅 Criado 2018-03-04
49
biuuu/star-rail-warp-export

Exportador de Histórico de Warp de Honkai: Star Rail

biuuu
⭐ 1,640 JavaScript 👤 biuuu User 🕐 Atualizado 2026-11-11 📅 Criado 2023-05-01
50
JonathanLink/PDFLayoutTextStripper

Converte um arquivo PDF em um arquivo de texto, preservando o layout do PDF original. É útil, por exemplo, para extrair o conteúdo de uma tabela de um arquivo PDF. É uma subclasse da classe PDFTextStripper da biblioteca Apache PDFBox.

JonathanLink
⭐ 1,612 Java 👤 JonathanLink User 🕐 Atualizado 2026-11-18 📅 Criado 2015-10-11

Perguntas Frequentes

1

Qual é o repositório de #data-extraction mais popular no GitHub?

O projeto de código aberto de #data-extraction mais bem classificado no GitHub é firecrawl/firecrawl, com 205,758 estrelas. Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.

2

Quais linguagens de programação são mais usadas nos repositórios de #data-extraction?

Entre os projetos de #data-extraction mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, JavaScript, Rust.

3

Como é calculada a classificação dos repositórios de #data-extraction?

Acompanhamos 131 repositórios ativos de código aberto marcados com #data-extraction (com mais de 500 estrelas), totalizando 729,329 estrelas e uma média de 5,567 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.