#web-crawler 저장소
#web-crawler 태그가 지정된 GitHub의 활성 오픈 소스 저장소 39개를 확인해 보세요. 총 470,005개의 스타를 획득했으며 프로젝트당 평균 12,051개입니다. 이 주제를 이끄는 저장소는 204,793개의 스타를 받은 firecrawl/firecrawl입니다.
저장소 총 39개
공식 Crawl4AI Cloud: AI 에이전트를 위한 호스팅형 웹 스크래핑·추출·검색 API입니다. API 키는 무료이며 매월 1,000크레딧이 제공되고, 카드 등록도 필요 없습니다. 완전한 오픈 소스입니다. 이 저장소에는 서비스를 구동하는 Apache-2.0 크롤러가 포함되어 있으며, 직접 호스팅할 수도 있습니다.
Crawlee—Node.js용 웹 스크래핑 및 브라우저 자동화 라이브러리로, 안정적인 크롤러를 구축할 수 있습니다. JavaScript와 TypeScript로 작성됨. AI, LLMs, RAG 또는 GPTs를 위한 데이터 추출. 웹사이트에서 HTML, PDF, JPG, PNG 및 기타 파일 다운로드. Puppeteer, Playwright, Cheerio, JSDOM, raw HTTP와 함께 작동. 헤드풀 및 헤드리스 모드 모두 지원. 프록시 로테이션 포함.
Crawlee는 신뢰할 수 있는 크롤러를 구축하기 위한 Python 웹 스크래핑 및 브라우저 자동화 라이브러리입니다. Pydantic AI를 통해 LLM으로 구조화된 데이터를 추출하거나, Stagehand를 사용해 자연어로 브라우저를 제어할 수 있습니다. BeautifulSoup, Parsel, Playwright 및 원시 HTTP를 지원합니다. HTML, PDF, 이미지 및 기타 파일을 다운로드할 수 있습니다. 프록시 로테이션 기능도 포함되어 있습니다.
공식 Firecrawl MCP 서버, AI 에이전트를 위한 컨텍스트 API입니다. 모든 MCP 클라이언트에서 웹 검색, 스크래핑 및 상호작용은 물론 파싱, 크롤링, 매핑, Agent 및 Monitor 기능을 사용할 수 있습니다.
AI 코딩 에이전트를 위한 최적의 웹 — MCP를 통한 로컬 우선 검색, 가져오기, 크롤링 및 연구. API 키 불필요, 클라우드 불필요, 쿼리당 $0. 공개 베타.
오픈 소스 웹 스크래핑 API. 모든 웹사이트를 깔끔한 마크다운이나 구조화된 JSON으로 변환하세요. 안티 디텍트 브라우저, 프록시 자동 선택, 자체 호스팅 지원. 명령어 하나로 시작: make up
LLM을 위한 빠르고 로컬 우선 웹 콘텐츠 추출. 스크랩, 크롤링, 구조화된 데이터 추출 — 모두 Rust에서. CLI, REST API, MCP 서버.
2017년 11월 20일 -- Intel/AMD 기반 Linux용 C/C++로 작성된 분산 오픈 소스 검색 엔진 및 스파이더/크롤러. gigablast dot com에서 다운로드 가능한 바이너리가 있습니다. 이 페이지 맨 아래의 README.md 파일을 참조하여 지침을 확인하세요.
웹사이트를 크롤링하고 링크를 검증하는 깨진 링크 검사기. 웹사이트, 문서 및 로컬 파일에서 깨진 링크, 연결 끊긴 링크 및 잘못된 URL을 찾으십시오. SEO 감사 및 CI/CD에 적합합니다.
Rust로 작성된 빠르고 가벼운 Firecrawl/Tavily 대안. AI 에이전트를 위한 MCP 서버가 포함된 웹 스크레이퍼, 크롤러 및 검색 API. Firecrawl 호환 드롭인 API(/scrape, /crawl, /search) 제공. 1K URL 벤치마크에서 Tavily보다 2.3배, Firecrawl보다 1.5배 빠름. 6MB RAM, 단일 바이너리. 자체 호스팅 또는 관리형 클라우드 사용 가능.
무료 데스크톱 SEO 크롤러 - Screaming Frog 및 유사 도구의 오픈 소스 대안. 웹사이트 크롤링, 링크 분석, SEO 데이터 추출 및 구독료 없이 결과 내보내기. 완전히 사용자 정의 가능하고 확장 가능!
🔥 이 리포지토리에는 Firecrawl을 사용하여 개발된 웹사이트 및 기타 프로젝트를 포함한 완전한 애플리케이션 예제가 포함되어 있습니다.
다양한 Ruby 웹 스파이더링 라이브러리로, 사이트, 여러 도메인, 특정 링크 또는 무한정 스파이더링할 수 있습니다. Spidr은 빠르고 사용하기 쉬운 디자인입니다.
SRC 취약점 발굴 중 페이지 정보 수집 시나리오를 위한 브라우저 확장 프로그램으로, 페이지 및 관련 리소스에서 민감한 정보와 의심스러운 단서를 자동으로 수집하며, 기본 스캔, 심층 재귀 스캔, 대량 API 테스트 및 결과 내보내기, 사용자 정의 정규식 구성을 지원합니다.
프로그래밍 배경지식이 없는 사람도 대규모로 양질의 잠재 고객을 확보할 수 있도록 지원하는 Python 스크립트입니다. 이 저장소에는 잠재 고객 확보에 사용되는 다양한 범용 기법이 포함됩니다.
AI를 위한 오픈 소스 웹 인프라스트럭처. 웹을 스크랩하고, 크롤링하며, 자동화하고, 마크다운을 정리하고, 브라우저 세션을 관리하여 에이전트에 바로 사용할 수 있습니다.
SEC EDGAR 재무 보고서를 다운로드하고 특정 항목 섹션에서 텍스트 데이터를 깔끔하고 구조화된 JSON 파일로 추출할 수 있는 유일한 오픈소스 툴킷. WWW 2025 @ 호주 시드니에서 발표 (https://dl.acm.org/doi/10.1145/3701716.3715289)
자주 묻는 질문
GitHub에서 가장 인기 있는 #web-crawler 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #web-crawler 프로젝트는 204,793개의 스타를 받은 firecrawl/firecrawl입니다. 에이전트를 더 똑똑하게 만드는 지식 인프라. 하나의 API로 검색, 스크래핑, 550개 이상의 데이터 제공업체를 이용하세요.
#web-crawler 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #web-crawler 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, TypeScript, Rust, Go입니다.
#web-crawler 저장소 순위는 어떻게 계산되나요?
#web-crawler 태그가 지정된 활성 오픈 소스 저장소(39개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 470,005개이며 저장소당 평균 12,051개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.