#spider 저장소
#spider 태그가 지정된 GitHub의 활성 오픈 소스 저장소 92개를 확인해 보세요. 총 325,814개의 스타를 획득했으며 프로젝트당 평균 3,541개입니다. 이 주제를 이끄는 저장소는 44,801개의 스타를 받은 NaiboWang/EasySpider입니다.
저장소 총 92개
시각적 노코드 웹 크롤러/스파이더: 브라우저 자동화, 데이터 수집 및 웹 스크래핑 소프트웨어로, 코딩 없이 그래픽 방식으로 크롤링 작업을 설계하고 실행할 수 있습니다. 별칭: ServiceWrapper(웹 애플리케이션을 위한 지능형 서비스 캡슐화 시스템).
몇 가지 매우 흥미로운 Python 크롤러 예제, 초보자에게 친화적이며 주로 Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ 등의 웹사이트를 크롤링합니다. (Some interesting examples of python crawlers that are friendly to beginners.)
순환 당직 및 다중 사용자 녹화를 지원하는 라이브 녹화 소프트웨어로, Douyin, TikTok, Youtube, Kuaishou, Huya, Douyu, Bilibili, Xiaohongshu, pandatv, sooplive, flextv, popkontv, twitcasting, winktv, Baidu, Weibo, Kugou, 17Live, Twitch, Acfun, CHZZK, shopee 등 40개 이상의 플랫폼 라이브 녹화를 지원합니다.
AV 영화 관리 시스템, avmoo, javbus, javlibrary 크롤러, 온라인 AV 영상 도서관, AV 토렌트 링크 데이터베이스, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database
INFO-SPIDER는 다양한 데이터 소스를 통합한 크롤러 툴박스🧰로, 사용자가 자신의 데이터를 안전하고 신속하게 가져올 수 있도록 지원하며, 도구 코드는 오픈 소스이고 프로세스는 투명합니다. 지원되는 데이터 소스는 GitHub, QQ 메일, Netease 메일, Ali 메일, Sina 메일, Hotmail, Outlook, JD, Taobao, Alipay, China Mobile, China Unicom, China Telecom, Zhihu, Bilibili, Netease Cloud Music, QQ 친구, QQ 그룹, WeChat Moments 앨범 생성, 브라우저 방문 기록, 12306, CSDN 블로그, OSCHINA 블로그, JianShu입니다.
하나의 클릭으로 여러 콘텐츠 플랫폼에 기사를 동기화하고, 투탸오, 워드프레스, 즈후, 젠슈, 쥔진, CSDN, 타입체코 등 주요 플랫폼을 지원합니다. 한 번의 게시로 여러 플랫폼에 동시에 게시할 수 있습니다. 개인 생산성을 해방하세요.
novel-plus는 PC, WAP, 앱, 미니 프로그램 등 여러 플랫폼을 지원하는 기능이 풍부한 소설 CMS입니다. 소설 추천, 검색, 순위, 읽기, 책장, 서평, 독서 목록, 웹 소설 수집, 회원 센터, 작가 전용 공간, 충전 및 구독, 뉴스 게시 등의 기능을 제공합니다.
Bilibili 일반 API 호출. 비디오, 애니메이션, 사용자, 채널, 오디오 등 기능을 지원합니다. 원본 저장소 주소: https://github.com/MoyuScript/bilibili-api
🚀🚀🚀feapder는 사용하기 쉽고 강력한 크롤러 프레임워크입니다 | feapder는 사용하기 쉽고 강력한 Python 크롤러 프레임워크입니다. AirSpider, Spider, TaskSpider, BatchSpider의 네 가지 유형의 크롤러가 내장되어 있어 다양한 시나리오의 요구 사항을 충족합니다. 중단점 계속 실행, 모니터링 및 경고, 브라우저 렌더링, 대규모 데이터 중복 제거와 같은 기능을 지원합니다. 또한 강력한 크롤러 관리 시스템인 feaplat은 편리한 배포 및 예약을 제공합니다.
Scrapyd 클러스터 관리, Scrapy 로그 분석 및 시각화, 자동 패키징, 타이머 작업, 모니터링 및 알림, 그리고 모바일 UI를 위한 웹 앱. Docs 문서 :point_right:
짧은 동영상 워터마크 제거: Douyin, Pipixia, Huoshan, Weishi, Weibo, Oasis, Zuiyou, Qingshipin, Kuaishou, Quanmin Xiaoshipin, Barcelona Film, Momo, Before Bifeng, Kaiyan, Vue Vlog Xiaokuxiu, Pipixia Funny, Quanmin K Ge, Xigua Video, Doupai, Huya, 6 Rooms, Li Video, Xinpianchang, acfun, Meipai...
Blue Sky Collector는 규칙을 클릭하고 편집하기만 하면 데이터를 수집할 수 있는 오픈 소스 무료 크롤러 시스템으로, 로컬, 가상 호스트 또는 클라우드 서버에서 실행할 수 있으며 거의 모든 유형의 웹페이지를 수집할 수 있습니다. 다양한 CMS 웹 구축 프로그램과 원활하게 통합되며, 로그인 없이 실시간으로 데이터를 게시하고 완벽하게 자동화되어 수동 개입이 필요 없습니다! 웹 빅데이터 수집 소프트웨어의 완전한 크로스 플랫폼 클라우드 크롤러 시스템입니다.
QQ 공간 내보내기 도우미로, QQ 공간의 게시글, 일기, 비공개 일기, 앨범, 동영상, 방명록, QQ 친구, 즐겨찾기, 공유 항목 및 최근 방문자를 파일로 백업하여 쉽게 이전하고 보관할 수 있도록 합니다.
BOSS Zhipin 스크레이퍼 / BOSS Zhipin 채용 정보 데이터 수집 도구. Chrome CDP 프로토콜을 기반으로 실제 로그인 상태를 재사용하여 폰트 안티 스크래핑을 우회하고, 일반 텍스트 급여 JSON/CSV 및 급여-기술 분석을 출력합니다.
Python 크롤러, 현재 재고: 네이버 클라우드 뮤직 노래 크롤링, Bilibili 비디오 크롤링, Zhihu Q&A 크롤링, 벽지 크롤링, xvideos 비디오 크롤링, 유음책 크롤링, Weibo 크롤러, Anjuke 정보 크롤링 + 데이터 시각화, Bilibili 비디오 표지 추출기, IP 프록시 풀 캡슐화, Zhihu 백만급 사용자 크롤러 + 데이터 분석, GitHub 사용자 크롤러
자주 묻는 질문
GitHub에서 가장 인기 있는 #spider 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #spider 프로젝트는 44,801개의 스타를 받은 NaiboWang/EasySpider입니다. 시각적 노코드 웹 크롤러/스파이더: 브라우저 자동화, 데이터 수집 및 웹 스크래핑 소프트웨어로, 코딩 없이 그래픽 방식으로 크롤링 작업을 설계하고 실행할 수 있습니다. 별칭: ServiceWrapper(웹 애플리케이션을 위한 지능형 서비스 캡슐화 시스템).
#spider 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #spider 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, Go, PHP, TypeScript입니다.
#spider 저장소 순위는 어떻게 계산되나요?
#spider 태그가 지정된 활성 오픈 소스 저장소(92개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 325,814개이며 저장소당 평균 3,541개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.