#web-scraping Repositórios
382 repositórios no total
Uscrapper Vanta: Mergulhe mais fundo na web com esta poderosa ferramenta de código aberto. Extraia insights valiosos com facilidade e eficiência, de fontes da web superficial e profunda. Potencialize sua mineração e análise de dados com as capacidades avançadas de Vanta. Rápido, confiável e fácil de usar, Uscrapper Vanta é a escolha definitiva para pesquisadores e analistas.
Raspador Amazon. Raspe produtos dos resultados de pesquisa da Amazon ou avaliações de um produto específico
Editor de web scraping com tecnologia de IA e construtor de fluxo de trabalho visual. Crie, teste e implemente web scrapers usando linguagem natural. Desenvolvido por ScrapeGraphAI e LangGraph.
Backend Mo Yu Dao 🎣 Baseado em rastreador web ➕ Netty ➕ SpringBoot ➕ Redis ➕ MySQL. Código aberto 🌟 Um site de lazer completo.
100% grátis e alternativa open-source completa ao Firecrawl edge com extração de links melhor para agentes - que você pode implantar no Cloudflare ou Vercel por conta própria.
Transforme qualquer site em uma CLI compacta, adaptada para agentes de IA. Navegue pela web usando centenas de tokens, não dezenas de milhares.
CLI e recursos para agentes do Firecrawl: pesquise, extraia conteúdo e interaja com a Web pelo terminal ou por qualquer agente de programação. Além disso, analise, rastreie e mapeie sites e use Agent e Monitor. O Firecrawl é a API de contexto para agentes de IA.
Analisando discussões do Hacker News de uma década atrás, em retrospectiva, com LLMs
Este programa usa o Protocolo DevTools do Chrome para controlar uma sessão do Chrome que baixa suas fotos armazenadas no Google Fotos.
Servidor MCP e plugin para agentes da EveryInfra: API de scraping para TikTok, Instagram, Amazon, YouTube, Xiaohongshu e Douyin. 612 APIs de dados em 106 plataformas, a partir de US$ 0,56 por 1.000 chamadas. Para Claude Code, Cursor e Codex.
🔥 Assistente de pesquisa visual em IA que exibe pensamento em tempo real, oferece análise em vista dividida e citações automáticas usando Claude e Firecrawl
Obtenha seus dados do Advent of Code com uma única instrução de importação
Execute scripts de automação complexos através de sessões em nuvem remotas, com proxies residenciais integrados, resolução automática de CAPTCHA e renderização nativa de JavaScript para os sites dinâmicos mais difíceis.
KNKPAnime: Um aplicativo para assistir animes que suporta múltiplas fontes de streaming e comentários flutuantes.
sitecopy é uma ferramenta que facilita o backup de sites pessoais e a coleta de dados de rede
Automatize o scraping de dados de hotéis, incluindo preços, disponibilidade, classificações e provedores de reservas, com uma integração da API do Google Hotels.
Rastrear notícias de Toutiao, NetEase, Tencent e outras, e construir um motor de busca simples
Deteção em tempo real de sistemas antibot, captchas e técnicas de fingerprinting. Identifica Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security e muito mais, com pontuação de confiança e ferramentas avançadas de captura.
Ciclo de Vida Completo de um Projeto de Ciência de Dados
Um programa que coleta o conteúdo de URLs dos resultados de busca de mecanismos de pesquisa com base em palavras-chave. Ele pode coletar automaticamente endereços reais e títulos de sites relevantes, entre outras informações, de vários mecanismos de pesquisa, pode ser salvo como um arquivo e remove automaticamente URLs duplicadas. Ao mesmo tempo, também permite personalizar a exclusão de múltiplos domínios, etc.
Converter artigos da coluna Zhihu para arquivos Markdown e salvá-los localmente
Guia de benefícios para programação com IA: um diretório de serviços intermediários e sites comunitários para Claude Code, Codex e Cursor. Reúne cotas gratuitas, bônus de cadastro, atividades de check-in e avaliações, além de oferecer um painel visual e ferramentas de coleta de dados em Python.
Permita que qualquer agente de IA controle o seu próprio Chrome, mantendo todas as sessões iniciadas. MCP + extensão do Chrome, compatível com Claude Code / Codex / Cursor / Gemini CLI.
Máquina de gacha de bolsa de sorte Douyin, ferramenta de captura de bolsa de sorte Douyin, escrita por mim em VC++ no meu tempo livre, com algumas outras pequenas funções, downloader de vídeo Douyin sem marca d'água, downloader de gravação de stream ao vivo Douyin, ferramenta de deixar de seguir em massa Douyin
Cevada, Maoyan, Funwan Island, Piaoxingqiu, monitoramento de ingressos de retorno para shows
Hacking o Facebook pelo Termux. Esta ferramenta foi codificada por TecnicalDipesh. Você pode extrair qualquer ID e senha do Facebook.
Uma ferramenta Node.js baseada em Playwright que ignora mecanismos antirraspagem de mecanismos de busca para executar pesquisas no Google. Alternativa local às APIs SERP com integração de servidor MCP.