#data-extraction Repositórios
131 repositórios no total
:truck: Fluxos de Trabalho Ágeis de Preparação de Dados facilitados com Pandas, Dask, cuDF, Dask-cuDF, Vaex e PySpark
Servidor de API de código aberto para web scraping de plataformas como Douyin (versão mais recente de a_bogus), Kuaishou, Bilibili, Xiaohongshu, Taobao, JD.com, Weibo, etc. Implantação rápida com um clique via docker.
Ferramenta de consulta de informações sensíveis em heapdump, por exemplo, para localizar senhas em texto claro em heapdumps do Spring, AK, SK, etc.
Extraia dados sem esforço com nossa API de scraper com IA. Simplifique a extração de dados, obtenha saídas JSON limpas e adapte-se às alterações de página. Experimente grátis hoje mesmo!
Um toolkit Python intuitivo para iniciantes, mas poderoso para análise financeira e automação — construído para tornar o investimento moderno acessível a todos
Flyscrape é uma ferramenta de web scraping de linha de comando projetada para aqueles sem habilidades avançadas de programação.
Web Crawler (Rastreador) do Dianping (todo o site é rastreável, resolve a criptografia de fonte dinâmica, não é OCR). Atualização contínua
CommonForms — modelos abertos para detecção automática de campos de formulário PDF
🔥 Ferramenta de enriquecimento de dados com inteligência artificial que transforma e-mails em conjuntos de dados ricos com perfis de empresas, dados de financiamento, tecnologias utilizadas e muito mais, utilizando Firecrawl e IA multi-agente
Alternativa rápida e leve ao Firecrawl/Tavily em Rust. API de web scraping, crawler e pesquisa com servidor MCP para agentes de IA. API compatível com Firecrawl (/scrape, /crawl, /search). 2,3x mais rápida que o Tavily, 1,5x mais rápida que o Firecrawl em benchmarks de 1K URLs. 6 MB de RAM, binário único. Auto-hospedagem ou uso em nuvem gerenciada.
A biblioteca PDF mais rápida para Python e Rust. Extração de texto, extração de imagens, conversão para markdown, criação e edição de PDF. Média de 0.8 ms, 5× mais rápida que os líderes da indústria, taxa de aprovação de 100% em 3.830 PDFs. MIT/Apache-2.0.
Uma ferramenta para raspar o LinkedIn sem restrições de API para reconhecimento de dados
⛏️ O mecanismo de extração por trás do Maigret: transforme qualquer URL de perfil em um registro OSINT estruturado em mais de 150 sites
Uma biblioteca Rust para extrair dados úteis de documentos HTML, adequada para web scraping.
Biblioteca para fornecer uma interface de cliente simples para a API REST da Strava (v3).
Classificação dos resultados de pesquisa do Google Scholar com base no número de citações
Usado para exportar o banco de palavras do Mòmo Back Words e gerar bancos de palavras personalizados adequados para List Back Words, No Back Words, Oulu Dictionary, etc.
Assistente de IA local e de código aberto para seus dados. Unifique tarefas, notas, documentos, fotos e favoritos. Privado, auto-hospedado e extensível via APIs.
Uma versão compatível com Python 3 do goose http://goose3.readthedocs.io/en/latest/index.html
Uma ferramenta CLI e uma API para buscar dados do Twitter gratuitamente!
Código-fonte do desafio da Equipe Tianchen Poxiao, ganhadora do Prêmio de Melhor Exploração Inovadora na Competição CCF-BDCI de 2019 e campeã do desafio de Extração de Elementos de Cartão de Identidade Baseada em OCR.
Acesse programaticamente os seus dados de acompanhamento de refeições armazenados no MyFitnessPal
Estrutura de gerenciamento de dados para Python que fornece funcionalidades para descrever, extrair, validar e transformar dados tabulares
Um framework de chatbot/GraphRAG que cria agentes multi-LLM a partir de comentários de usuários de plataformas sociais e os permite debater sobre tópicos específicos.
Uma extensão de navegador: usada principalmente para fazer anotações no WeChat Reading, útil para leitores que usam frequentemente Markdown para anotações.