#scraper 저장소
#scraper 태그가 지정된 GitHub의 활성 오픈 소스 저장소 128개를 확인해 보세요. 총 792,441개의 스타를 획득했으며 프로젝트당 평균 6,190개입니다. 이 주제를 이끄는 저장소는 205,758개의 스타를 받은 firecrawl/firecrawl입니다.
저장소 총 128개
에이전트를 더 똑똑하게 만드는 지식 인프라입니다. 하나의 API를 통해 550개 이상의 데이터 제공업체를 검색하고, 스크래핑하고, 액세스하세요.
공식 Crawl4AI Cloud: AI 에이전트를 위한 호스팅형 웹 스크래핑·추출·검색 API입니다. API 키는 무료이며 매월 1,000크레딧이 제공되고, 카드 등록도 필요 없습니다. 완전한 오픈 소스입니다. 이 저장소에는 서비스를 구동하는 Apache-2.0 크롤러가 포함되어 있으며, 직접 호스팅할 수도 있습니다.
시각적 노코드 웹 크롤러/스파이더: 브라우저 자동화, 데이터 수집 및 웹 스크래핑 소프트웨어로, 코딩 없이 그래픽 방식으로 크롤링 작업을 설계하고 실행할 수 있습니다. 별칭: ServiceWrapper(웹 애플리케이션을 위한 지능형 서비스 캡슐화 시스템).
Crawlee—Node.js용 웹 스크래핑 및 브라우저 자동화 라이브러리로, 안정적인 크롤러를 구축할 수 있습니다. JavaScript와 TypeScript로 작성됨. AI, LLMs, RAG 또는 GPTs를 위한 데이터 추출. 웹사이트에서 HTML, PDF, JPG, PNG 및 기타 파일 다운로드. Puppeteer, Playwright, Cheerio, JSDOM, raw HTTP와 함께 작동. 헤드풀 및 헤드리스 모드 모두 지원. 프록시 로테이션 포함.
🚀 Douyin, TikTok, Bilibili 데이터 수집 및 워터마크 없는 동영상 다운로드를 위한 셀프 호스팅 API입니다. MCP를 통한 AI 에이전트 호출과 오프라인 음성 텍스트 변환을 지원하며, Docker로 원클릭 배포할 수 있습니다. | TikTok, Douyin, Bilibili용 셀프 호스팅 스크레이퍼 및 워터마크 없는 동영상 다운로더 — 비동기 REST API, AI 에이전트용 MCP 서버, CLI와 웹 콘솔을 제공하며 다운로드한 동영상의 오프라인 음성 텍스트 변환도 지원합니다. 자동 복구 ID 풀, PostgreSQL 아카이브를 갖추고 `docker compose up` 한 번으로 실행할 수 있습니다.
AV 영화 관리 시스템, avmoo, javbus, javlibrary 크롤러, 온라인 AV 영상 도서관, AV 토렌트 링크 데이터베이스, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database
Crawlee는 신뢰할 수 있는 크롤러를 구축하기 위한 Python 웹 스크래핑 및 브라우저 자동화 라이브러리입니다. Pydantic AI를 통해 LLM으로 구조화된 데이터를 추출하거나, Stagehand를 사용해 자연어로 브라우저를 제어할 수 있습니다. BeautifulSoup, Parsel, Playwright 및 원시 HTTP를 지원합니다. HTML, PDF, 이미지 및 기타 파일을 다운로드할 수 있습니다. 프록시 로테이션 기능도 포함되어 있습니다.
💡 Node.js를 사용해 아무 웹사이트의 전체 소스 코드(모든 자산 포함)를 다운로드하세요. [ Javascripts, Stylesheets, Images ]
사용 가능한 대응책 🚿으로 봇 보호 시스템 분석. 웹 스크래핑 시 봇 방지 시스템 👻을 이기고 브라우저 핑거프린팅 스크립트 🕵️♂️을 우회하는 방법은 무엇인가요?
오픈 소스 웹 스크래핑 API. 모든 웹사이트를 깔끔한 마크다운이나 구조화된 JSON으로 변환하세요. 안티 디텍트 브라우저, 프록시 자동 선택, 자체 호스팅 지원. 명령어 하나로 시작: make up
Emby/Jellyfin의 일본 영화 스크래퍼 플러그인으로, 특정 웹사이트에서 영화 정보를 가져올 수 있습니다.
무료로 새로운 것을 배우고 싶으신가요? 걱정 마세요. 웹 스크래핑 및 자동화의 힘으로 이 스크립트는 필요한 Udemy 쿠폰을 찾아 유료 Udemy 강의에 무료로 등록시켜 드립니다!
Python과 Oxylabs SERP API를 사용하여 Google 트렌드 데이터를 스크랩하고 결과를 비교하는 방법을 단계별로 알아보세요. 키워드, 인기, 지역별 분석, 관련 검색어 등을 추출합니다.
Node.js용 TikTok LIVE API: TikTok LIVE에서 라이브 스트리밍 이벤트(댓글, 선물 등)를 실시간으로 수신하는 비공식 라이브러리입니다.
완전 무료, 개인 정보 보호, UI 기반 기술 문서 MCP 서버. 코더 및 소프트웨어 개발자를 염두에 두고 설계되었습니다. Cursor, Windsurf, Cline, Roo Code, Claude Desktop App에 쉽게 통합
무료 이메일 OSINT 도구로, 5,000개 이상의 플랫폼, 신원 클러스터링 및 데이터 유출 탐지를 지원합니다. API 키가 필요하지 않습니다. pip install mailaccess
BOSS Zhipin 스크레이퍼 / BOSS Zhipin 채용 정보 데이터 수집 도구. Chrome CDP 프로토콜을 기반으로 실제 로그인 상태를 재사용하여 폰트 안티 스크래핑을 우회하고, 일반 텍스트 급여 JSON/CSV 및 급여-기술 분석을 출력합니다.
Python과 Oxylabs의 Google Jobs Scraper API를 사용하여 여러 검색어와 지리적 위치에 대한 Google Jobs를 동시에 스크랩하는 자신만의 Google Jobs 스크래퍼를 구축하는 방법을 알아보세요. https://oxylabs.io/blog/how-to-scrape-google-jobs
애플리케이션, 게임, 영화 및 TV 프로그램, 도서 등에 대한 공개 세부 정보를 수집하기 위한 Google Play 스크레이퍼입니다.
자주 묻는 질문
GitHub에서 가장 인기 있는 #scraper 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #scraper 프로젝트는 205,758개의 스타를 받은 firecrawl/firecrawl입니다. 에이전트를 더 똑똑하게 만드는 지식 인프라입니다. 하나의 API를 통해 550개 이상의 데이터 제공업체를 검색하고, 스크래핑하고, 액세스하세요.
#scraper 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #scraper 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, TypeScript, Go, JavaScript입니다.
#scraper 저장소 순위는 어떻게 계산되나요?
#scraper 태그가 지정된 활성 오픈 소스 저장소(128개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 792,441개이며 저장소당 평균 6,190개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.