#crawler 저장소
저장소 총 162개
Twitter, Reddit, Instagram, BlueSky, TikTok, Threads, Facebook, OnlyFans, YouTube, Pinterest, PornHub, XHamster, XVIDEOS, ThisVid 등을 포함한 모든 사이트의 미디어 다운로더.
Blue Sky Collector는 규칙을 클릭하고 편집하기만 하면 데이터를 수집할 수 있는 오픈 소스 무료 크롤러 시스템으로, 로컬, 가상 호스트 또는 클라우드 서버에서 실행할 수 있으며 거의 모든 유형의 웹페이지를 수집할 수 있습니다. 다양한 CMS 웹 구축 프로그램과 원활하게 통합되며, 로그인 없이 실시간으로 데이터를 게시하고 완벽하게 자동화되어 수동 개입이 필요 없습니다! 웹 빅데이터 수집 소프트웨어의 완전한 크로스 플랫폼 클라우드 크롤러 시스템입니다.
크롤링 사례 모음. "타오바오, 징동, 티몰, 더우반, 더우인, 콰이서우, 웨이보, 위챗, 알리바바, 토티아오, PDD, 유쿠, 아이치이, 씨트립, 12306, 58, 소후, 각종 지수, 웨이푸, 완팡, ZLibrary, Oalib, 소설, 조달망, 구매망, 샤오홍슈, 따중뎬핑, 트위터, 마이마이, 즈후"를 포함하되 이에 국한되지 않음
Diskover Community Edition - Elasticsearch로 구동되는 오픈 소스 파일 인덱서, 파일 검색 엔진 및 데이터 관리와 분석
BOSS Zhipin 스크레이퍼 / BOSS Zhipin 채용 정보 데이터 수집 도구. Chrome CDP 프로토콜을 기반으로 실제 로그인 상태를 재사용하여 폰트 안티 스크래핑을 우회하고, 일반 텍스트 급여 JSON/CSV 및 급여-기술 분석을 출력합니다.
❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] (진짜 부동산을 아주 쉽게 찾기) - Fredy는 ImmoScout24, Immowelt, eBay Kleinanzeigen 같은 플랫폼에서 유럽의 새로운 아파트, 주택, 플랫을 계속 검색하고, Slack, Telegram, 이메일, Discord 또는 ntfy를 통해 결과를 즉시 전달해 줍니다. 덕분에 인생에서 더 중요한 일에 집중할 수 있습니다 ;)
Python 크롤러, 현재 재고: 네이버 클라우드 뮤직 노래 크롤링, Bilibili 비디오 크롤링, Zhihu Q&A 크롤링, 벽지 크롤링, xvideos 비디오 크롤링, 유음책 크롤링, Weibo 크롤러, Anjuke 정보 크롤링 + 데이터 시각화, Bilibili 비디오 표지 추출기, IP 프록시 풀 캡슐화, Zhihu 백만급 사용자 크롤러 + 데이터 분석, GitHub 사용자 크롤러
자동화 탐지 및 유출을 방지하는 puppeteer 및 playwright용 패치 모음입니다. Cloudflare 및 DataDome CAPTCHA 페이지를 피하는 데 도움이 됩니다. 패치/패치 해제가 용이하며 필요에 따라 활성화/비활성화할 수 있습니다.
샤오홍슈 데이터 수집, 웹사이트 이미지, 비디오 리소스 일괄 다운로드 도구, 외관이 매우 뛰어난 데이터 수집 도구 (일괄 다운로드, 비디오 추출, 이미지) Telegram:https://t.me/+ZtLSwuIKTo44MDY1
Rust로 작성된 빠르고 가벼운 Firecrawl/Tavily 대안. AI 에이전트를 위한 MCP 서버가 포함된 웹 스크레이퍼, 크롤러 및 검색 API. Firecrawl 호환 드롭인 API(/scrape, /crawl, /search) 제공. 1K URL 벤치마크에서 Tavily보다 2.3배, Firecrawl보다 1.5배 빠름. 6MB RAM, 단일 바이너리. 자체 호스팅 또는 관리형 클라우드 사용 가능.
Beanbun은 PHP로 작성된 다중 프로세스 웹 크롤링 프레임워크로, 좋은 개방성과 높은 확장성을 가지며 Workerman을 기반으로 합니다.