#crawler Repository
Scopri 162 repository GitHub open source attivi contrassegnati con #crawler, che raccolgono un totale di 1,111,814 stelle (con una media di 6,863 stelle per progetto). Il progetto leader di questo argomento è firecrawl/firecrawl, con 205,758 stelle.
162 repository in totale
Infrastruttura di conoscenza per rendere più intelligenti i tuoi agenti. Cerca, estrai e accedi a oltre 550 fornitori di dati tramite un’unica API.
🕷️ Il MIGLIOR framework per il web scraping, in grado di gestire tutto, da una singola richiesta a una scansione su larga scala! Non essere timido: unisciti qui https://discord.gg/EMgGbDceNQ e seguici qui per consigli e trucchi quotidiani: https://x.com/Scrapling_dev
Crawl4AI Cloud ufficiale: un’API ospitata per scraping web, estrazione e ricerca destinata agli agenti IA. Chiave API gratuita, 1.000 crediti al mese, senza carta di credito. Completamente open source: questo repository contiene il crawler Apache-2.0 che lo alimenta e può essere ospitato autonomamente.
Un crawler/spider web visuale no-code: un software di automazione del browser, raccolta dati e web scraping che consente di progettare ed eseguire attività di crawling in modo grafico senza scrivere codice. Alias: ServiceWrapper, un sistema intelligente di incapsulamento dei servizi per applicazioni web.
Crawlee—Una libreria per web scraping e automazione del browser per Node.js per creare crawler affidabili. In JavaScript e TypeScript. Estrazione dati per AI, LLMs, RAG o GPTs. Download di HTML, PDF, JPG, PNG e altri file da siti web. Funziona con Puppeteer, Playwright, Cheerio, JSDOM e HTTP raw. Sia in modalità headful che headless. Con rotazione proxy.
🚀 API self-hosted per raccogliere dati da Douyin, TikTok e Bilibili e scaricare video senza filigrana. Supporta le chiamate degli agenti IA tramite MCP e la trascrizione vocale offline. Distribuzione Docker con un clic. | Scraper self-hosted per TikTok, Douyin e Bilibili e downloader di video senza filigrana: API REST asincrona, server MCP per agenti IA, CLI e console web, oltre alla trascrizione vocale offline dei video scaricati. Pool di identità autoriparante, archivio PostgreSQL e avvio con un solo `docker compose up`.
Trasforma qualsiasi sito web in un’API strutturata. Estrai, automatizza, cerca e monitora il web.
newspaper3k è un'estrazione di notizie, full-text e metadati di articoli in Python 3. Documentazione avanzata:
Alcuni esempi molto interessanti di crawler Python, amichevoli per i principianti, principalmente per il crawling di siti web come Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ, ecc. (Some interesting examples of python crawlers that are friendly to beginners.)
Piattaforma di amministrazione distribuita per crawler web per la gestione di spider indipendentemente da linguaggi e framework. 分布式爬虫管理平台,支持任何语言和框架
Script Python. Simulare l'accesso a Zhihu, crawling, operare Excel, account pubblico WeChat, accensione remota.
Sistema di gestione film AV, avmoo, javbus, javlibrary Crawler, Libreria di film AV online, Database di link magnetici AV, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database
Crawlee: una libreria Python per il web scraping e l’automazione del browser, pensata per creare crawler affidabili. Estrai dati strutturati con gli LLM tramite Pydantic AI oppure controlla il browser in linguaggio naturale con Stagehand. Compatibile con BeautifulSoup, Parsel, Playwright e HTTP grezzo. Scarica HTML, PDF, immagini e altri file. Rotazione dei proxy inclusa.
Elenco di librerie, strumenti e API per web scraping ed elaborazione dati.
API Python per JMComic | Fornisce accesso API Python a JinManTiantang, supporta sia la versione web che quella mobile | JinManTiantang GitHub Actions Downloader🚀
Strumento Python e da riga di comando per raccogliere testo e metadati sul Web: Crawling, scraping, estrazione, output come CSV, JSON, HTML, MD, TXT, XML
Interfaccia crawler account pubblici WeChat basata sulla ricerca WeChat di Sogou
Pratica 🐍 di molteplici siti web, crawler di dati e-commerce 🕷. Include 🕸: Prodotti Taobao, account pubblici WeChat, Dianping, Qichacha, siti di lavoro, Xianyu, compiti Ali, Cnblogs, Weibo, Baidu Tieba, film Douban, Baotu.com, Quan jing wang, musica Douban, ufficio di sorveglianza farmaceutica di una provincia, notizie Sohu, raccolta testo machine learning, raccolta asset fofa, Autohome, Ufficio Nazionale di Statistica, conteggio inclusioni parole chiave Baidu, directory generale ragni, Toutiao, recensioni film Douban, Ctrip, negozio app Xiaomi, Anjuke, alloggi Tujia ❤️❤️❤️. Progetto di dimostrazione crawler WeChat:
Analisi dei sistemi di protezione dai bot con contromisure disponibili 🚿. Come sconfiggere i sistemi anti-bot 👻 e aggirare gli script di fingerprinting del browser 🕵️♂️ durante lo scraping del web?
Questo progetto è destinato a raccogliere tutte le notizie, i documenti e i regolamenti legali relativi a cause legali e violazioni che coinvolgono gli sviluppatori di crawler in Cina continentale. Mira ad aiutare i professionisti del settore crawler in Cina a comprendere le leggi pertinenti e a evitare di incorrere in violazioni delle norme di conformità dei dati.
Crawler di Sina Weibo, usando Python per estrarre dati da Sina Weibo e scaricare immagini e video di Weibo
Un modo guidato dalla community per leggere e chattare con i bot AI, alimentato da chatGPT.
Strumento di download per fumetti e romanzi:腾讯漫画 大角虫漫画 有妖气 咪咕 SF漫画 哦漫画 看漫画 漫画柜 汗汗酷漫 動漫伊甸園 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 無限動漫 動漫狂 卡推漫画 动漫之家 动漫屋 古风漫画网 36漫画网 亲亲漫画网 乙女漫画 webtoons 咚漫 ニコニコ静画 ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub.
DotnetSpider, una libreria di web crawling standard .NET. È un framework di web crawling e scraping di alto livello, leggero, efficiente e veloce.
Pool di proxy intelligenti per umani™ per estrarre contenuti da internet e costruire i tuoi Large Language Models in questa nuova era dell'IA
Esegui una scansione di URL da un elenco di domini e cerca endpoint, segreti, chiavi API, estensioni di file, token e altro.
Monitoraggio · raccolta · ripubblicazione dei contenuti su più piattaforme. Un’unica dashboard web per gestire Douyin / Xiaohongshu / Kuaishou / Canali WeChat / TikTok / Bilibili / Instagram / Xiaohongshu internazionale (rednote)
🚀🚀🚀feapder è un framework di crawler facile da usare e potente | feapder è un framework di crawler Python facile da usare e potente. Sono integrati quattro tipi di spider: AirSpider, Spider, TaskSpider e BatchSpider per soddisfare le esigenze di diversi scenari. Supporta funzioni come il riavvio da checkpoint, il monitoraggio e gli allarmi, il rendering del browser e la deduplicazione di grandi quantità di dati. Inoltre, il potente sistema di gestione dei crawler feaplat offre comodità di distribuzione e pianificazione.
Strumento tutto in uno per la raccolta di informazioni, scansione delle vulnerabilità e crawling. Uno strumento indispensabile per tutti i penetration tester
Videodl: Un downloader video leggero scritto in puro Python. (Un downloader video leggero che dà la priorità alla alta definizione senza watermark e supporta piattaforme come Douyin, Kuaishou, Xiaohongshu, Bilibili, TikTok, YouTube, FIFA+, Youku, Tencent Video, iQIYI, 1905 Movie Network, LeTV, Mango TV, Migu, PPTV, Sohu, Facebook, Twitter, Sina Weibo, Today’s Headlines, NetEase Open Classes, 全民K歌, CCTV, Kugou MV, New Film, Zhihu, Baidu Tieba, TED e altre vaste piattaforme di streaming.)
Domande frequenti
Qual è il repository #crawler più popolare su GitHub?
Il progetto open source #crawler più alto in classifica su GitHub è firecrawl/firecrawl, con 205,758 stelle. Infrastruttura di conoscenza per rendere più intelligenti i tuoi agenti. Cerca, estrai e accedi a oltre 550 fornitori di dati tramite un’unica API.
Quali linguaggi di programmazione sono più utilizzati nei repository #crawler?
Tra i progetti #crawler più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Go, TypeScript, JavaScript.
Come viene calcolata la classifica dei repository #crawler?
Monitoriamo 162 repository open source attivi contrassegnati con #crawler (500+ stelle), per un totale di 1,111,814 stelle e una media di 6,863 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.