#crawler Repositórios
Descubra 162 repositórios ativos de código aberto no GitHub marcados com #crawler, acumulando um total de 1,111,814 estrelas (uma média de 6,863 por projeto). O líder deste tópico é firecrawl/firecrawl, com 205,758 estrelas.
162 repositórios no total
Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.
🕷️ O MELHOR framework de web scraping, que dá conta de tudo, desde uma única solicitação até uma coleta em grande escala! Não seja tímido: participe aqui https://discord.gg/EMgGbDceNQ e siga-nos aqui para receber dicas e truques diários: https://x.com/Scrapling_dev
Crawl4AI Cloud oficial: uma API hospedada de scraping da web, extração e pesquisa para agentes de IA. Chave de API gratuita, 1.000 créditos por mês e sem cartão. Totalmente de código aberto: este repositório contém o crawler Apache-2.0 que o alimenta, e você pode hospedá-lo por conta própria.
Scrapy, um framework Python rápido e de alto nível para rastreamento e raspagem web.
Um crawler/spider web visual sem código: um software de automação de navegador, coleta de dados e web scraping que permite projetar e executar tarefas de rastreamento graficamente, sem escrever código. Alias: ServiceWrapper, um sistema inteligente de encapsulamento de serviços para aplicações web.
👾 Biblioteca e ferramenta CLI rápida e simples para download de vídeos, escrita em Go
Crawlee—Uma biblioteca de raspagem da web e automação de navegador para Node.js para construir crawlers confiáveis. Em JavaScript e TypeScript. Extraia dados para IA, LLMs, RAG ou GPTs. Baixe arquivos HTML, PDF, JPG, PNG e outros de websites. Funciona com Puppeteer, Playwright, Cheerio, JSDOM e HTTP puro. Em modo com e sem interface gráfica (headful e headless). Com rotação de proxy.
🚀 API auto-hospedada para coletar dados do Douyin, TikTok e Bilibili e baixar vídeos sem marca-d'água. Compatível com chamadas de agentes de IA via MCP e transcrição de fala offline. Implantação Docker com um clique. | Extrator auto-hospedado para TikTok, Douyin e Bilibili e baixador de vídeos sem marca-d'água — API REST assíncrona, servidor MCP para agentes de IA, CLI e console web, além de transcrição de fala offline para os vídeos baixados. Pool de identidades autorreparável, arquivo PostgreSQL e inicialização com um único `docker compose up`.
Transforme qualquer site em uma API estruturada. Extraia, automatize, pesquise e monitore a web.
newspaper3k é uma ferramenta de extração de notícias, texto completo e metadados de artigos em Python 3. Docs avançados:
Alguns exemplos muito interessantes de web scraping com Python, amigáveis para iniciantes, focando principalmente em sites como Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ, etc. (Alguns exemplos interessantes de web crawlers Python que são amigáveis para iniciantes.)
Plataforma de administração de web crawler distribuído para gerenciamento de spiders, independentemente de linguagens e frameworks. 分布式爬虫管理平台,支持任何语言和框架
Script Python. Simular login no Zhihu, rastreamento web, manipular Excel, conta pública do WeChat, ligar remotamente.
Sistema de Gerenciamento de Filmes AV, crawlers para avmoo, javbus, javlibrary, biblioteca online de vídeos AV, banco de dados de links magnéticos AV, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database
Crawlee — uma biblioteca Python de web scraping e automação de navegador para criar crawlers confiáveis. Extraia dados estruturados com LLMs por meio do Pydantic AI ou controle o navegador em linguagem natural com o Stagehand. Compatível com BeautifulSoup, Parsel, Playwright e HTTP bruto. Baixe HTML, PDF, imagens e outros arquivos. A rotação de proxies está incluída.
Agente de aquisição de clientes em redes sociais feito sob medida para OPCs e PMEs
Lista de bibliotecas, ferramentas e APIs para web scraping e processamento de dados.
API Python para JMComic | Fornece acesso à API Python para Jinman Tiantang, suportando ambos os aplicativos web e móveis | Baixador do GitHub Actions do Jinman Tiantang🚀
Um Extrator de dados da web Inteligente, Automático, Rápido e Leve para Python
Ferramenta Python e de linha de comando para coletar texto e metadados da Web: Rastreamento, raspagem, extração, com saída em CSV, JSON, HTML, MD, TXT, XML
Interface de crawler de contas públicas do WeChat baseada na pesquisa WeChat do Sogou
Serpentes 🐍 de prática para vários sites, raspagem de dados de comércio eletrônico 🕷. Inclui 🕸: produtos Taobao, contas públicas WeChat, Dianping, Qichacha, sites de recrutamento, Xianyu, tarefas Ali, CSDN, Weibo, Baidu Tieba, filmes do Douban, Baotu.com, Quan Jing Net, música do Douban, Bureau de Supervisão de Medicamentos de uma província, notícias Sohu, coleta de texto de aprendizado de máquina, coleta de ativos fofa, Autohome, Bureau Nacional de Estatísticas, número de inclusão de palavras-chave do Baidu, diretório genérico de aranhas, Toutiao, críticas de filmes do Douban, Ctrip, loja de aplicativos Xiaomi, Anjuke, aluguel de temporada Tujia ❤️❤️❤️. Projeto de demonstração de raspagem do WeChat:
Análise dos sistemas de Proteção de Bots com contramedidas disponíveis 🚿. Como derrotar o sistema anti-bot 👻 e contornar scripts de impressão digital de navegador 🕵️♂️ ao fazer web scraping?
Este projeto tem como objetivo reunir todas as notícias, documentos e regulamentos legais relacionados a processos judiciais e violações envolvendo desenvolvedores de web crawlers na China continental. Busca ajudar profissionais do setor de web crawler que trabalham na China continental a entender as leis relevantes e a evitar ultrapassar os limites de conformidade de dados.
Crawler do Sina Weibo, que utiliza Python para extrair dados do Sina Weibo e baixar imagens e vídeos do Weibo.
Uma maneira impulsionada pela comunidade de ler e conversar com bots de IA - com tecnologia chatGPT.
Ferramenta de download de romances e quadrinhos/mangás (Download comics novels 小说漫画下载工具 小説漫画のダウンローダ 小說漫畫下載): 腾讯漫画 大角虫漫画 有妖气 咪咕 SF漫画 哦漫画 看漫画 漫画柜 汗汗酷漫 動漫伊甸園 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 無限動漫 動漫狂 卡推漫画 动漫之家 动漫屋 古风漫画网 36漫画网 亲亲漫画网 乙女漫画 webtoons 咚漫 ニコニコ静画 ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub.
DotnetSpider, uma biblioteca de web crawling padrão .NET. É uma estrutura de web crawling e scraping de alto nível, leve, eficiente e rápida
Proxy [Localizador | Verificador | Servidor]. HTTP(S) & SOCKS :performing_arts:
Pool de proxy inteligente para Humanos™ extrair conteúdo da internet e construir seus próprios Grandes Modelos de Linguagem nesta nova era da IA
Obtenha uma lista de domínios, rastreie URLs e escaneie em busca de endpoints, segredos, chaves de API, extensões de arquivo, tokens e muito mais
Monitoramento · coleta · republicação de conteúdo em várias plataformas. Um único painel web para gerenciar Douyin / Xiaohongshu / Kuaishou / Canais do WeChat / TikTok / Bilibili / Instagram / Xiaohongshu internacional (rednote)
🚀🚀🚀feapder é um framework de crawling poderoso e fácil de usar | feapder é um framework de爬虫 (crawler) Python poderoso e simples de começar. Ele incorpora quatro tipos de crawlers: AirSpider, Spider, TaskSpider e BatchSpider para atender a diferentes cenários de necessidades. Ele também oferece suporte a retomada de crawling interrompido, monitoramento e alerta, renderização de navegador, desduplicação de grandes volumes de dados e outras funcionalidades. Além disso, o poderoso sistema de gerenciamento de crawlers feaplat oferece implantação e agendamento convenientes.
Ferramenta completa (tudo-em-um) para Coleta de Informações, Escaneamento de Vulnerabilidades e Crawling. Uma ferramenta indispensável para todos os testadores de penetração.
Videodl: Um downloader de vídeos leve escrito em puro Python. (Um downloader de vídeos leve que prioriza alta definição sem marca d'água e suporta plataformas como Douyin, Kuaishou, Xiaohongshu, Bilibili, TikTok, YouTube, FIFA+, Youku, Tencent Video, iQIYI, 1905 Movie Network, LeTV, Mango TV, Migu, PPTV, Sohu, Facebook, Twitter, Sina Weibo, Today’s Headlines, NetEase Open Classes, 全民K歌, CCTV, Kugou MV, New Film, Zhihu, Baidu Tieba, TED e outras vastas plataformas de streaming.)
Perguntas Frequentes
Qual é o repositório de #crawler mais popular no GitHub?
O projeto de código aberto de #crawler mais bem classificado no GitHub é firecrawl/firecrawl, com 205,758 estrelas. Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.
Quais linguagens de programação são mais usadas nos repositórios de #crawler?
Entre os projetos de #crawler mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Go, TypeScript, JavaScript.
Como é calculada a classificação dos repositórios de #crawler?
Acompanhamos 162 repositórios ativos de código aberto marcados com #crawler (com mais de 500 estrelas), totalizando 1,111,814 estrelas e uma média de 6,863 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.