#data-extraction Repositórios
Descubra 131 repositórios ativos de código aberto no GitHub marcados com #data-extraction, acumulando um total de 729,329 estrelas (uma média de 5,567 por projeto). O líder deste tópico é firecrawl/firecrawl, com 205,758 estrelas.
131 repositórios no total
Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.
🕷️ O MELHOR framework de web scraping, que dá conta de tudo, desde uma única solicitação até uma coleta em grande escala! Não seja tímido: participe aqui https://discord.gg/EMgGbDceNQ e siga-nos aqui para receber dicas e truques diários: https://x.com/Scrapling_dev
Crawl4AI Cloud oficial: uma API hospedada de scraping da web, extração e pesquisa para agentes de IA. Chave de API gratuita, 1.000 créditos por mês e sem cartão. Totalmente de código aberto: este repositório contém o crawler Apache-2.0 que o alimenta, e você pode hospedá-lo por conta própria.
O SDK para extrair dados e interagir com qualquer site na web. Comece com Claude Code, Codex, Eve, Mastra e muito mais.
Transforme qualquer site em uma API estruturada. Extraia, automatize, pesquise e monitore a web.
rga: ripgrep, mas também pesquisa em PDFs, E-books, documentos do Office, zip, tar.gz, etc.
Coleta de dados com crawler do Xiaohongshu (RED), engenharia reversa do Xiaohongshu, mensagens privadas, transmissão ao vivo e soluções de operação integral no Xiaohongshu
CLI de automação de navegador construída para agentes de IA. Supere barreiras anti-bot, transfira para humanos em várias plataformas quando estiver travado. Execução paralela de múltiplas tarefas, operação independente de múltiplas sessões, navegação isolada de múltiplas contas.
Um clone de pesquisa profunda de código aberto. Um Agente de IA que analisa grandes quantidades de dados da web extraídos com o Firecrawl
Linguagem declarativa de automação de dados e runtime Go para fluxos de trabalho de extração estruturada.
Coleção de mais de 200 fluxos de trabalho do Coze, em constante atualização
Sucessor do Undetected-Chromedriver. Fornecendo um framework extremamente rápido para automação web, web scraping, bots e quaisquer outras ideias criativas que são normalmente impedidas por sistemas irritantes anti-bot como Captcha / CloudFlare / Imperva / hCaptcha
Amostras de código do livro Web Scraping with Python http://shop.oreilly.com/product/0636920034391.do
Um extrator agêntico para plataformas de mensagens. A Noria recebe mensagens e URLs por chat, coleta dados da web para avaliar o conteúdo com base em matrizes de pontuação personalizadas (por exemplo, vagas de emprego e bolsas de estudo) e envia um resumo estruturado, com uma pontuação de compatibilidade calculada, diretamente para o número de mensagens atribuído.
Linguagem, motor e ferramentas para expressar, testar e avaliar regras de linguagem compostas em strings de entrada.
O WebCollector é um framework de web crawler de código aberto baseado em Java. Ele fornece interfaces simples para rastrear a Web, e você pode configurar um rastreador web multithreaded em menos de 5 minutos.
Um servidor poderoso de Protocolo de Contexto de Modelo (MCP) que fornece uma solução completa para acesso público à web.
PdfParser, uma biblioteca PHP autônoma, fornece várias ferramentas para extrair dados de um arquivo PDF.
Migrar playlists do NetEase Cloud/Quishui/QQ Music para Apple/Youtube/Spotify Music
Servidor MCP pronto para produção com pesquisa, extração, mapeamento e rastreamento em tempo real.
Plataforma de automação de navegador auto-hospedado e invisível. Alimentada pelo Camoufox (Firefox) com taxa de detecção de 0%. Construída para velocidade, privacidade e escalabilidade.
Obtenha informações dos resultados de pesquisa do Weibo; a pesquisa pode ser tanto por palavra-chave do Weibo quanto por tópico do Weibo.
DocLayout-YOLO: Aprimorando a Análise de Layout de Documentos através de Dados Sintéticos Diversos e Percepção Adaptativa Global-Local
Extraia dados estruturados e insights de documentos usando modelos de linguagem de grande porte e modelos de decisão
Esta ferramenta extrai e exibe dados do recurso Recall no Windows 11, fornecendo uma maneira fácil de acessar informações sobre os instantâneos de atividade do seu PC.
Especifique declarativamente como extrair elementos de um documento JSON, em PHP
Analisador inteligente para o catálogo "Chitai-Gorod". Coleta e estruturação de dados de alta velocidade baseada em quaisquer parâmetros especificados: do ISBN à dinâmica de descontos.
Um módulo Python para extrair províncias, cidades e distritos de uma string de caracteres chineses simplificados, que pode ser mapeado, verificado e usado para plotagem simples.
Converte um arquivo PDF em um arquivo de texto, preservando o layout do PDF original. É útil, por exemplo, para extrair o conteúdo de uma tabela de um arquivo PDF. É uma subclasse da classe PDFTextStripper da biblioteca Apache PDFBox.
Perguntas Frequentes
Qual é o repositório de #data-extraction mais popular no GitHub?
O projeto de código aberto de #data-extraction mais bem classificado no GitHub é firecrawl/firecrawl, com 205,758 estrelas. Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.
Quais linguagens de programação são mais usadas nos repositórios de #data-extraction?
Entre os projetos de #data-extraction mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, JavaScript, Rust.
Como é calculada a classificação dos repositórios de #data-extraction?
Acompanhamos 131 repositórios ativos de código aberto marcados com #data-extraction (com mais de 500 estrelas), totalizando 729,329 estrelas e uma média de 5,567 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.