#spider Repository
Scopri 92 repository GitHub open source attivi contrassegnati con #spider, che raccolgono un totale di 325,814 stelle (con una media di 3,541 stelle per progetto). Il progetto leader di questo argomento è NaiboWang/EasySpider, con 44,801 stelle.
92 repository in totale
Un crawler/spider web visuale no-code: un software di automazione del browser, raccolta dati e web scraping che consente di progettare ed eseguire attività di crawling in modo grafico senza scrivere codice. Alias: ServiceWrapper, un sistema intelligente di incapsulamento dei servizi per applicazioni web.
Alcuni esempi molto interessanti di crawler Python, amichevoli per i principianti, principalmente per il crawling di siti web come Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ, ecc. (Some interesting examples of python crawlers that are friendly to beginners.)
Piattaforma di amministrazione distribuita per crawler web per la gestione di spider indipendentemente da linguaggi e framework. 分布式爬虫管理平台,支持任何语言和框架
Software di registrazione live con servizio ciclico a rotazione e registrazione multigiocatore, che supporta la registrazione di live streaming da oltre 40 piattaforme come Douyin, TikTok, Youtube, Kuaishou, Huya, Douyu, Bilibili, Xiaohongshu, pandatv, sooplive, flextv, popkontv, twitcasting, winktv, Baidu, Weibo, Kugou, 17Live, Twitch, Acfun, CHZZK, Shopee ecc.
Sistema di gestione film AV, avmoo, javbus, javlibrary Crawler, Libreria di film AV online, Database di link magnetici AV, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database
INFO-SPIDER è una toolbox crawler🧰 che integra numerose fonti di dati, progettata per aiutare gli utenti a recuperare in modo sicuro e rapido i propri dati. Il codice dello strumento è open source e il processo è trasparente. Le fonti di dati supportate includono GitHub, QQ Mail, Netease Mail, Ali Mail, Sina Mail, Hotmail, Outlook, JD, Taobao, Alipay, China Mobile, China Unicom, China Telecom, Zhihu, Bilibili, Netease Cloud Music, QQ Friends, QQ Groups, Generazione di album di WeChat Moments, Cronologia di navigazione del browser, 12306, CSDN Blog, OSCHINA Blog, JianShu.
Elenco di librerie, strumenti e API per web scraping ed elaborazione dati.
Pholcus è un software di crawler distribuito ad alta concorrenza scritto in puro golang
Sincronizzazione di articoli su più piattaforme di contenuti con un clic, supporta Toutiao, WordPress, Zhihu, JianShu, Juejin, CSDN, Typecho e altre grandi piattaforme, una pubblicazione, pubblicazione sincrona su più piattaforme. Libera la produttività personale.
novel-plus è un CMS per romanzi ricco di funzionalità e compatibile con più piattaforme (PC, WAP, app e mini-programmi). Include consigli, ricerca e classifiche di romanzi, lettura, librerie, recensioni ed elenchi di lettura, acquisizione automatica di romanzi dal Web, un centro membri, una sezione autori, ricariche e abbonamenti, nonché la pubblicazione di notizie.
Chiamate API comuni di Bilibili. Supporta funzioni come video, anime, utenti, canali, audio, ecc. Indirizzo del repository originale: https://github.com/MoyuScript/bilibili-api
🚀🚀🚀feapder è un framework di crawler facile da usare e potente | feapder è un framework di crawler Python facile da usare e potente. Sono integrati quattro tipi di spider: AirSpider, Spider, TaskSpider e BatchSpider per soddisfare le esigenze di diversi scenari. Supporta funzioni come il riavvio da checkpoint, il monitoraggio e gli allarmi, il rendering del browser e la deduplicazione di grandi quantità di dati. Inoltre, il potente sistema di gestione dei crawler feaplat offre comodità di distribuzione e pianificazione.
Framework di Gestione Crawler Distribuito Basato su Scrapy, Scrapyd, Django e Vue.js
App web per la gestione del cluster Scrapyd, analisi e visualizzazione dei log Scrapy, imballaggio automatico, attività timer, monitoraggio e avvisi, e UI mobile. Docs documentazione :point_right:
Rimozione filigrana video brevi: Douyin, Pipixia, Huoshan, Weishi, Weibo, Oasis, Zuiyou, Qingshipin, Kuaishou, Quanmin Xiaoshipin, Barcellona Film, Momo, Before Bifeng, Kaiyan, Vue Vlog Xiaokuxiu, Pipixia Funny, Quanmin K Ge, Xigua Video, Doupai, Huya, 6 Rooms, Li Video, Xinpianchang, acfun, Meipai...
DecryptLogin: API per il login su alcuni siti web utilizzando requests.
Geziyor, framework per web crawling e scraping ultraveloce per Go. Supporta il rendering JS.
Tutorial di esempi Go dalla base all'avanzato, inclusa l'uso di librerie di base, pattern di design, punti deboli negli intervisti, classi utility, integrazione con terze parti, ecc.
:spider: Il framework crawler PHP progressivo! Framework di raccolta PHP progressivo elegante.
🕷 CrawlerDetect è una classe PHP per rilevare bot/crawler/spider tramite lo user agent
Scarica immagini da Google, Bing, Baidu. Download di immagini da Google, Baidu, Bing.
Framework per web crawler C# multipiattaforma costruito per velocità e flessibilità. Per favore, metti una stella a questo progetto! +1.
Blue Sky Collector è un sistema di scraping open source e gratuito, che richiede solo il clic e la modifica delle regole per raccogliere dati. Può essere eseguito localmente, su hosting virtuale o su server cloud, ed è in grado di raccogliere quasi tutti i tipi di pagine web. Si integra perfettamente con vari programmi di creazione di siti web basati su CMS, pubblica dati in tempo reale senza login e senza intervento umano! È un sistema di scraping cloud completamente multipiattaforma nel software di raccolta di big data del web.
Assistente per l’esportazione di QQ Space, utilizzato per eseguire il backup sotto forma di file di post, diari, diari privati, album, video, bacheca dei messaggi, amici QQ, preferiti, contenuti condivisi e visitatori recenti di QQ Space, facilitandone la migrazione e la conservazione.
Uno scanner di applicazioni web basato su Python per raccogliere OSINT e fare fuzzing per vulnerabilità OWASP su un sito web target.
Scraper di BOSS Zhipin / Strumento di scraping dei dati di lavoro di BOSS Zhipin, basato sul protocollo Chrome CDP per riutilizzare le sessioni di accesso reali, aggirare l'anti-scraping dei font e produrre JSON/CSV di stipendi in testo semplice + analisi delle competenze salariali.
Crawler Douyin – Raccolta di dati pubblici come la pagina del profilo dell'account, mi piace, preferiti, audio originali musicali, argomenti, ricerca, raccolte, opere, seguito, follower, ecc.
Il web crawler dell'archivista: output WARC, dashboard per tutti i crawl, pattern di ignorazione dinamici
Crawler Python, inventario attuale: Estrazione canzoni NetEase Cloud Music, Estrazione video Bilibili, Estrazione Q&A Zhihu, Estrazione sfondi, Estrazione video xvideos, Estrazione audiolibri, Crawler Weibo, Estrazione informazioni Anjuke + visualizzazione dati, Estrattore copertine video Bilibili, Incapsulamento pool proxy IP, Crawler utenti Zhihu livello milioni + analisi dati, Crawler utenti GitHub
📰 Diari ufficiali brasiliani accessibili a tutti | 📰 Gazeboe governative brasiliane, accessibili a tutti.
Condivisione del codice di web scraping di Fratello K, reverse engineering JS, web scraping avanzato. Segui l'account pubblico WeChat: Fratello K Web-Scraping
Il Prime Cross Site Request Forgery (CSRF) Toolkit per Audit e Sfruttamento.
Domande frequenti
Qual è il repository #spider più popolare su GitHub?
Il progetto open source #spider più alto in classifica su GitHub è NaiboWang/EasySpider, con 44,801 stelle. Un crawler/spider web visuale no-code: un software di automazione del browser, raccolta dati e web scraping che consente di progettare ed eseguire attività di crawling in modo grafico senza scrivere codice. Alias: ServiceWrapper, un sistema intelligente di incapsulamento dei servizi per applicazioni web.
Quali linguaggi di programmazione sono più utilizzati nei repository #spider?
Tra i progetti #spider più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Go, PHP, TypeScript.
Come viene calcolata la classifica dei repository #spider?
Monitoriamo 92 repository open source attivi contrassegnati con #spider (500+ stelle), per un totale di 325,814 stelle e una media di 3,541 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.