#crawler 저장소
#crawler 태그가 지정된 GitHub의 활성 오픈 소스 저장소 162개를 확인해 보세요. 총 1,111,814개의 스타를 획득했으며 프로젝트당 평균 6,863개입니다. 이 주제를 이끄는 저장소는 205,758개의 스타를 받은 firecrawl/firecrawl입니다.
저장소 총 162개
에이전트를 더 똑똑하게 만드는 지식 인프라입니다. 하나의 API를 통해 550개 이상의 데이터 제공업체를 검색하고, 스크래핑하고, 액세스하세요.
🕷️ 단일 요청부터 대규모 크롤링까지 모든 작업을 처리하는 최고의 웹 스크래핑 프레임워크! 망설이지 말고 여기에서 참여하세요: https://discord.gg/EMgGbDceNQ 매일 유용한 팁과 요령을 보려면 여기에서 팔로우하세요: https://x.com/Scrapling_dev
공식 Crawl4AI Cloud: AI 에이전트를 위한 호스팅형 웹 스크래핑·추출·검색 API입니다. API 키는 무료이며 매월 1,000크레딧이 제공되고, 카드 등록도 필요 없습니다. 완전한 오픈 소스입니다. 이 저장소에는 서비스를 구동하는 Apache-2.0 크롤러가 포함되어 있으며, 직접 호스팅할 수도 있습니다.
시각적 노코드 웹 크롤러/스파이더: 브라우저 자동화, 데이터 수집 및 웹 스크래핑 소프트웨어로, 코딩 없이 그래픽 방식으로 크롤링 작업을 설계하고 실행할 수 있습니다. 별칭: ServiceWrapper(웹 애플리케이션을 위한 지능형 서비스 캡슐화 시스템).
Crawlee—Node.js용 웹 스크래핑 및 브라우저 자동화 라이브러리로, 안정적인 크롤러를 구축할 수 있습니다. JavaScript와 TypeScript로 작성됨. AI, LLMs, RAG 또는 GPTs를 위한 데이터 추출. 웹사이트에서 HTML, PDF, JPG, PNG 및 기타 파일 다운로드. Puppeteer, Playwright, Cheerio, JSDOM, raw HTTP와 함께 작동. 헤드풀 및 헤드리스 모드 모두 지원. 프록시 로테이션 포함.
🚀 Douyin, TikTok, Bilibili 데이터 수집 및 워터마크 없는 동영상 다운로드를 위한 셀프 호스팅 API입니다. MCP를 통한 AI 에이전트 호출과 오프라인 음성 텍스트 변환을 지원하며, Docker로 원클릭 배포할 수 있습니다. | TikTok, Douyin, Bilibili용 셀프 호스팅 스크레이퍼 및 워터마크 없는 동영상 다운로더 — 비동기 REST API, AI 에이전트용 MCP 서버, CLI와 웹 콘솔을 제공하며 다운로드한 동영상의 오프라인 음성 텍스트 변환도 지원합니다. 자동 복구 ID 풀, PostgreSQL 아카이브를 갖추고 `docker compose up` 한 번으로 실행할 수 있습니다.
몇 가지 매우 흥미로운 Python 크롤러 예제, 초보자에게 친화적이며 주로 Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ 등의 웹사이트를 크롤링합니다. (Some interesting examples of python crawlers that are friendly to beginners.)
AV 영화 관리 시스템, avmoo, javbus, javlibrary 크롤러, 온라인 AV 영상 도서관, AV 토렌트 링크 데이터베이스, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database
Crawlee는 신뢰할 수 있는 크롤러를 구축하기 위한 Python 웹 스크래핑 및 브라우저 자동화 라이브러리입니다. Pydantic AI를 통해 LLM으로 구조화된 데이터를 추출하거나, Stagehand를 사용해 자연어로 브라우저를 제어할 수 있습니다. BeautifulSoup, Parsel, Playwright 및 원시 HTTP를 지원합니다. HTML, PDF, 이미지 및 기타 파일을 다운로드할 수 있습니다. 프록시 로테이션 기능도 포함되어 있습니다.
JMComic용 Python API | JinManTiantang에 대한 Python API 액세스 제공, 웹 및 모바일 지원 | JinManTiantang GitHub Actions 다운로더🚀
웹에서 텍스트와 메타데이터를 수집하는 Python 및 명령줄 도구: 크롤링, 스크래핑, 추출, CSV, JSON, HTML, MD, TXT, XML 형식으로 출력
실전 🐍 다양한 웹사이트, 전자상거래 데이터 크롤러 🕷. 포함 🕸: 타오바오 상품, 위챗 공공 계정, 다중 평가, 치차차, 채용 웹사이트, 선어, 알리 작업, 블로그 가든, 웨이보, 바이두 티에바, 더반 영화, 바오투왕, 취안징왕, 더반 음악, 특정 성 약물 감독국, 소후 뉴스, 머신러닝 텍스트 수집, 포파 자산 수집, 자동차의 집, 국가 통계국, 바이두 키워드 수록 수, 거미 일반 디렉토리, 투톄우, 더반 영화 리뷰, 시트립, 샤오미 앱 스토어, 안주커, 투자 민속 ❤️❤️❤️. 위챗 크롤러 데모 프로젝트:
사용 가능한 대응책 🚿으로 봇 보호 시스템 분석. 웹 스크래핑 시 봇 방지 시스템 👻을 이기고 브라우저 핑거프린팅 스크립트 🕵️♂️을 우회하는 방법은 무엇인가요?
본 프로젝트는 중국 대륙에서 웹 크롤러 개발자와 관련된 소송 및 위반 사항에 관한 뉴스, 자료, 법규를 정리하기 위한 것입니다. 중국 대륙에서 일하는 웹 크롤러 산업 종사자들이 관련 법을 이해하고 데이터 규정의 허용 범위를 넘어가지 않도록 돕는 것을 목표로 합니다.
만화 소설 다운로드 도구:腾讯漫画 大角虫漫画 有妖气 咪咕 SF漫画 哦漫画 看漫画 漫画柜 汗汗酷漫 動漫伊甸園 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 無限動漫 動漫狂 卡推漫画 动漫之家 动漫屋 古风漫画网 36漫画网 亲亲漫画网 乙女漫画 webtoons 咚漫 ニコニコ静画 ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub.
DotnetSpider, .NET 표준 웹 크롤링 라이브러리입니다. 가볍고 효율적이며 빠른 고급 웹 크롤링 및 스크래핑 프레임워크입니다.
멀티 플랫폼 콘텐츠 모니터링·수집·재게시. 하나의 웹 패널로 Douyin / Xiaohongshu / Kuaishou / WeChat 채널 / TikTok / Bilibili / Instagram / 해외판 Xiaohongshu(rednote)를 관리
🚀🚀🚀feapder는 사용하기 쉽고 강력한 크롤러 프레임워크입니다 | feapder는 사용하기 쉽고 강력한 Python 크롤러 프레임워크입니다. AirSpider, Spider, TaskSpider, BatchSpider의 네 가지 유형의 크롤러가 내장되어 있어 다양한 시나리오의 요구 사항을 충족합니다. 중단점 계속 실행, 모니터링 및 경고, 브라우저 렌더링, 대규모 데이터 중복 제거와 같은 기능을 지원합니다. 또한 강력한 크롤러 관리 시스템인 feaplat은 편리한 배포 및 예약을 제공합니다.
Videodl: 순수 파이썬으로 작성된 가벼운 영상 다운로드 프로그램입니다. (고화질 무워터마크 다운로드를 우선시하고 Douyin, Kuaishou, Xiaohongshu, Bilibili, TikTok, YouTube, FIFA+, Youku, Tencent Video, iQIYI, 1905 Movie Network, LeTV, Mango TV, Migu, PPTV, Sohu, Facebook, Twitter, Sina Weibo, Today’s Headlines, NetEase Open Classes, 全民K歌, CCTV, Kugou MV, New Film, Zhihu, Baidu Tieba, TED 등 방대한 스트리밍 플랫폼을 지원합니다.)
자주 묻는 질문
GitHub에서 가장 인기 있는 #crawler 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #crawler 프로젝트는 205,758개의 스타를 받은 firecrawl/firecrawl입니다. 에이전트를 더 똑똑하게 만드는 지식 인프라입니다. 하나의 API를 통해 550개 이상의 데이터 제공업체를 검색하고, 스크래핑하고, 액세스하세요.
#crawler 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #crawler 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, Go, TypeScript, JavaScript입니다.
#crawler 저장소 순위는 어떻게 계산되나요?
#crawler 태그가 지정된 활성 오픈 소스 저장소(162개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 1,111,814개이며 저장소당 평균 6,863개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.