#web-scraper 저장소
#web-scraper 태그가 지정된 GitHub의 활성 오픈 소스 저장소 36개를 확인해 보세요. 총 565,282개의 스타를 획득했으며 프로젝트당 평균 15,702개입니다. 이 주제를 이끄는 저장소는 205,758개의 스타를 받은 firecrawl/firecrawl입니다.
저장소 총 36개
에이전트를 더 똑똑하게 만드는 지식 인프라입니다. 하나의 API를 통해 550개 이상의 데이터 제공업체를 검색하고, 스크래핑하고, 액세스하세요.
AI 에이전트에게 인터넷 전체를 볼 수 있는 시야를 부여하세요. Twitter, Reddit, YouTube, GitHub, Bilibili, XiaoHongShu 를 읽고 검색하세요 — CLI 하나, API 사용료 0.0.0
🕷️ 단일 요청부터 대규모 크롤링까지 모든 작업을 처리하는 최고의 웹 스크래핑 프레임워크! 망설이지 말고 여기에서 참여하세요: https://discord.gg/EMgGbDceNQ 매일 유용한 팁과 요령을 보려면 여기에서 팔로우하세요: https://x.com/Scrapling_dev
Google Maps에서 데이터 스크래핑. 각 장소에 대한 이름, 주소, 전화번호, 웹사이트 URL, 평점, 리뷰 수, 위도 및 경도, 리뷰, 이메일 등을 추출합니다.
전문가급 로컬 우선 브라우저 확장 프로그램으로, 브라우저 실행 환경 내에서만 모든 웹페이지를 충실도 높은 LLM 친화적 Markdown으로 변환합니다. 클라우드를 사용하지 않고 개인정보 보호를 중시하며, AI 워크플로에 맞춰 특별히 설계되었습니다.
Python을 사용하여 Amazon에서 제품 데이터(제목, 평점, 가격, 이미지 및 설명 포함)를 추출하는 과정.
Python 및 Oxylabs SERP Scraper API를 사용하여 Google Scholar에서 제목, 저자 및 인용을 추출하는 가이드입니다.
Python과 Oxylabs E-Commerce Scraper API를 사용하여 Amazon에서 베스트셀러 항목, 검색 결과 및 현재 사용 가능한 거래를 추출하는 코드입니다.
Rust로 작성된 빠르고 가벼운 Firecrawl/Tavily 대안. AI 에이전트를 위한 MCP 서버가 포함된 웹 스크레이퍼, 크롤러 및 검색 API. Firecrawl 호환 드롭인 API(/scrape, /crawl, /search) 제공. 1K URL 벤치마크에서 Tavily보다 2.3배, Firecrawl보다 1.5배 빠름. 6MB RAM, 단일 바이너리. 자체 호스팅 또는 관리형 클라우드 사용 가능.
AI Scraper는 비교할 수 없는 정밀도로 데이터 추출을 자동화하기 위해 제작된 강력한 스크래핑 도구이자 스크래핑 에이전트입니다. 다양한 웹 소스에서 확장 가능한 AI 스크래핑 작업에 이상적이며, 이 도구는 복잡한 스크래핑 작업을 효율적이고 지능적인 워크플로우로 단순화합니다.
다양한 Ruby 웹 스파이더링 라이브러리로, 사이트, 여러 도메인, 특정 링크 또는 무한정 스파이더링할 수 있습니다. Spidr은 빠르고 사용하기 쉬운 디자인입니다.
100% 무료이며 완전 오픈소스 Firecrawl edge 대안으로, 에이전트를 위한 더 나은 링크 추출 기능 - Cloudflare나 Vercel에 직접 배포할 수 있습니다.
실시간 대규모 데이터 추출을 위한 올인원 웹 스크래핑 API입니다. 프록시, CAPTCHA 관리, JavaScript 렌더링 및 파싱을 단일 요청으로 처리하고 HTML 또는 구조화된 JSON을 반환합니다.
자주 묻는 질문
GitHub에서 가장 인기 있는 #web-scraper 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #web-scraper 프로젝트는 205,758개의 스타를 받은 firecrawl/firecrawl입니다. 에이전트를 더 똑똑하게 만드는 지식 인프라입니다. 하나의 API를 통해 550개 이상의 데이터 제공업체를 검색하고, 스크래핑하고, 액세스하세요.
#web-scraper 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #web-scraper 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, TypeScript, Rust, Go입니다.
#web-scraper 저장소 순위는 어떻게 계산되나요?
#web-scraper 태그가 지정된 활성 오픈 소스 저장소(36개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 565,282개이며 저장소당 평균 15,702개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.