#web-scraping 저장소
#web-scraping 태그가 지정된 GitHub의 활성 오픈 소스 저장소 381개를 확인해 보세요. 총 2,147,590개의 스타를 획득했으며 프로젝트당 평균 5,636개입니다. 이 주제를 이끄는 저장소는 205,758개의 스타를 받은 firecrawl/firecrawl입니다.
저장소 총 382개
에이전트를 더 똑똑하게 만드는 지식 인프라입니다. 하나의 API를 통해 550개 이상의 데이터 제공업체를 검색하고, 스크래핑하고, 액세스하세요.
AI 브라우저 에이전트를 위한 오픈소스 Python 라이브러리와 스텔스 브라우저 및 호스팅 에이전트 API를 제공하는 Browser Use Cloud.
🕷️ 단일 요청부터 대규모 크롤링까지 모든 작업을 처리하는 최고의 웹 스크래핑 프레임워크! 망설이지 말고 여기에서 참여하세요: https://discord.gg/EMgGbDceNQ 매일 유용한 팁과 요령을 보려면 여기에서 팔로우하세요: https://x.com/Scrapling_dev
공식 Crawl4AI Cloud: AI 에이전트를 위한 호스팅형 웹 스크래핑·추출·검색 API입니다. API 키는 무료이며 매월 1,000크레딧이 제공되고, 카드 등록도 필요 없습니다. 완전한 오픈 소스입니다. 이 저장소에는 서비스를 구동하는 Apache-2.0 크롤러가 포함되어 있으며, 직접 호스팅할 수도 있습니다.
샤오홍슈 노트 | 댓글 크롤러, 도우인 동영상 | 댓글 크롤러, 콰이쇼우 동영상 | 댓글 크롤러, B站 동영상 | 댓글 크롤러, 웨이보 게시글 | 댓글 크롤러, 바이두 톄바 게시글 | 바이두 톄바 댓글 답글 크롤러 | 즈후 질문 답변 글 | 댓글 크롤러
Legado 3.0 Book Reader with powerful controls & full functions❤️독서 3.0, 독서는 사용자 정의 소스를 통해 온라인 콘텐츠를 읽을 수 있는 도구로, 네트워크 문학 애호가들에게 편리하고 빠르며 쾌적한 시험 독서 경험을 제공합니다.
웹사이트 변경 감지, 웹페이지 모니터링 및 변경 알림을 위한 최고의 간편한 도구입니다. 콘텐츠 변경, 가격 인하, 재입고 알림, 웹사이트 변조 모니터링에 적합하며 MCP도 포함되어 있습니다! 모두 무료로 이용하거나 SaaS 플랜을 이용해 보세요!
모든 봇 탐지 테스트를 통과하는 스텔스 Chromium. 소스 코드 수준의 핑거프린트 패치가 적용되어 Playwright를 그대로 대체할 수 있습니다. 50개 이상의 테스트 통과.
Crawlee—Node.js용 웹 스크래핑 및 브라우저 자동화 라이브러리로, 안정적인 크롤러를 구축할 수 있습니다. JavaScript와 TypeScript로 작성됨. AI, LLMs, RAG 또는 GPTs를 위한 데이터 추출. 웹사이트에서 HTML, PDF, JPG, PNG 및 기타 파일 다운로드. Puppeteer, Playwright, Cheerio, JSDOM, raw HTTP와 함께 작동. 헤드풀 및 헤드리스 모드 모두 지원. 프록시 로테이션 포함.
웹상의 모든 사이트에서 데이터를 추출하고 상호작용할 수 있는 SDK입니다. Claude Code, Codex, Eve, Mastra 등으로 시작해 보세요.
🚀 Douyin, TikTok, Bilibili 데이터 수집 및 워터마크 없는 동영상 다운로드를 위한 셀프 호스팅 API입니다. MCP를 통한 AI 에이전트 호출과 오프라인 음성 텍스트 변환을 지원하며, Docker로 원클릭 배포할 수 있습니다. | TikTok, Douyin, Bilibili용 셀프 호스팅 스크레이퍼 및 워터마크 없는 동영상 다운로더 — 비동기 REST API, AI 에이전트용 MCP 서버, CLI와 웹 콘솔을 제공하며 다운로드한 동영상의 오프라인 음성 텍스트 변환도 지원합니다. 자동 복구 ID 풀, PostgreSQL 아카이브를 갖추고 `docker compose up` 한 번으로 실행할 수 있습니다.
네트워크와 분리되어 있고 개인정보 보호에 중점을 둔 오픈 소스 NotebookLM 대안입니다. 문서를 조사하고 변환하며 편집하는 AI 에이전트입니다. Discord에 참여하세요: https://discord.gg/ejRNvftDp9
엔드투엔드 테스트, 스크래핑 및 스텔스 작업을 위한 빠르고 안정적인 브라우저 자동화입니다. CDP 모드로 봇 탐지를 우회합니다. pytest, Playwright, MCP와 통합됩니다.
개별 항목 및 프로필 일괄 다운로드를 모두 지원하는 실용적인 Douyin 다운로더로, 진행률 표시, 재시도, SQLite 중복 제거, 브라우저 폴백을 제공합니다. 동영상, 이미지 앨범, 컬렉션, 음악(원본 오디오)의 일괄 다운로드를 지원합니다.
AI 에이전트를 위한 스텔스 헤드리스 브라우저 — Cloudflare, 봇 탐지, 안티 스크래핑 우회. Puppeteer/Playwright 드롭인 대체.
Crawlee는 신뢰할 수 있는 크롤러를 구축하기 위한 Python 웹 스크래핑 및 브라우저 자동화 라이브러리입니다. Pydantic AI를 통해 LLM으로 구조화된 데이터를 추출하거나, Stagehand를 사용해 자연어로 브라우저를 제어할 수 있습니다. BeautifulSoup, Parsel, Playwright 및 원시 HTTP를 지원합니다. HTML, PDF, 이미지 및 기타 파일을 다운로드할 수 있습니다. 프록시 로테이션 기능도 포함되어 있습니다.
FreeAskInternet는 GPU가 필요 없는 완전 무료, 개인 정보 보호 및 로컬 실행 검색 집계기 및 답변 생성기로, 여러 LLM을 사용합니다. 사용자는 질문을 할 수 있으며 시스템은 다중 엔진 검색을 수행하고 검색 결과를 LLM과 결합하여 검색 결과를 기반으로 답변을 생성합니다. 모두 무료로 사용할 수 있습니다.
이 GitHub 리포지토리는 간단한 자동화부터 전체 규모의 애플리케이션에 이르기까지 모든 것을 구축하는 데 즉시 사용할 수 있는 강력한 API 컬렉션입니다. GitHub에서 가장 가치 있는 API 목록 중 하나입니다. 💪
Google Maps에서 데이터 스크래핑. 각 장소에 대한 이름, 주소, 전화번호, 웹사이트 URL, 평점, 리뷰 수, 위도 및 경도, 리뷰, 이메일 등을 추출합니다.
공식 Firecrawl MCP 서버, AI 에이전트를 위한 컨텍스트 API입니다. 모든 MCP 클라이언트에서 웹 검색, 스크래핑 및 상호작용은 물론 파싱, 크롤링, 매핑, Agent 및 Monitor 기능을 사용할 수 있습니다.
웹에서 텍스트와 메타데이터를 수집하는 Python 및 명령줄 도구: 크롤링, 스크래핑, 추출, CSV, JSON, HTML, MD, TXT, XML 형식으로 출력
cffi를 통한 curl-impersonate 포크에 대한 Python 바인딩. 브라우저 TLS/ja3/http2 지문을 모방할 수 있는 HTTP 클라이언트.
AI 에이전트를 위해 구축된 브라우저 자동화 CLI. 안티봇 장벽을 돌파하고, 막힐 때 여러 플랫폼에서 인간에게 전환합니다. 병렬 멀티태스크 실행, 독립적인 멀티세션 운영, 격리된 멀티계정 브라우징.
EyeWitness는 웹사이트 스크린샷을 찍고, 일부 서버 헤더 정보를 제공하며, 가능한 경우 기본 자격 증명을 식별하도록 설계되었습니다.
자주 묻는 질문
GitHub에서 가장 인기 있는 #web-scraping 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #web-scraping 프로젝트는 205,758개의 스타를 받은 firecrawl/firecrawl입니다. 에이전트를 더 똑똑하게 만드는 지식 인프라입니다. 하나의 API를 통해 550개 이상의 데이터 제공업체를 검색하고, 스크래핑하고, 액세스하세요.
#web-scraping 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #web-scraping 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, TypeScript, JavaScript, Go입니다.
#web-scraping 저장소 순위는 어떻게 계산되나요?
#web-scraping 태그가 지정된 활성 오픈 소스 저장소(381개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 2,147,590개이며 저장소당 평균 5,636개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.