#web-crawling 저장소
#web-crawling 태그가 지정된 GitHub의 활성 오픈 소스 저장소 38개를 확인해 보세요. 총 211,837개의 스타를 획득했으며 프로젝트당 평균 5,574개입니다. 이 주제를 이끄는 저장소는 87,627개의 스타를 받은 unclecode/crawl4ai입니다.
저장소 총 38개
공식 Crawl4AI Cloud: AI 에이전트를 위한 호스팅형 웹 스크래핑·추출·검색 API입니다. API 키는 무료이며 매월 1,000크레딧이 제공되고, 카드 등록도 필요 없습니다. 완전한 오픈 소스입니다. 이 저장소에는 서비스를 구동하는 Apache-2.0 크롤러가 포함되어 있으며, 직접 호스팅할 수도 있습니다.
Crawlee—Node.js용 웹 스크래핑 및 브라우저 자동화 라이브러리로, 안정적인 크롤러를 구축할 수 있습니다. JavaScript와 TypeScript로 작성됨. AI, LLMs, RAG 또는 GPTs를 위한 데이터 추출. 웹사이트에서 HTML, PDF, JPG, PNG 및 기타 파일 다운로드. Puppeteer, Playwright, Cheerio, JSDOM, raw HTTP와 함께 작동. 헤드풀 및 헤드리스 모드 모두 지원. 프록시 로테이션 포함.
Crawlee는 신뢰할 수 있는 크롤러를 구축하기 위한 Python 웹 스크래핑 및 브라우저 자동화 라이브러리입니다. Pydantic AI를 통해 LLM으로 구조화된 데이터를 추출하거나, Stagehand를 사용해 자연어로 브라우저를 제어할 수 있습니다. BeautifulSoup, Parsel, Playwright 및 원시 HTTP를 지원합니다. HTML, PDF, 이미지 및 기타 파일을 다운로드할 수 있습니다. 프록시 로테이션 기능도 포함되어 있습니다.
JavaScript-rendered 페이지를 HTML로 렌더링하기 위해 Headless Chrome을 사용하는 Node 서버. prerender 미들웨어와 함께 사용합니다.
WebCollector는 Java 기반의 오픈 소스 웹 크롤러 프레임워크입니다. 웹을 크롤링하기 위한 몇 가지 간단한 인터페이스를 제공하며, 5분 이내에 멀티스레드 웹 크롤러를 설정할 수 있습니다.
SpringBootをサポートする、シンプル、アジャイル、分散型のJavaクローラフレームワーク。アジャイルで分散型のクローラフレームワーク。
🔥 Firecrawl 기반의 실시간 인용, 스트리밍 응답 및 라이브 데이터를 갖춘 혁신적인 오픈소스 Perplexity 스타일 AI 검색 엔진
도우인(a_bogus 최신 버전), 콰이쇼우, 빌리빌리, 샤오홍슈, 타오바오, 징동, 웨이보 등 플랫폼의 크롤링 오픈 소스 API 인터페이스 서버. Docker를 통한 원클릭 빠른 배포.
오픈 소스 커뮤니티의 놀라운 업적을 기반으로 구축된 커뮤니티 주도 AI 자동화 프레임워크입니다. 당사의 목표는 웹 검색, 크롤링 및 Python 코드 실행과 같은 작업을 위한 전문 도구와 언어 모델을 결합하여 이를 가능하게 한 커뮤니니티에 환원하는 것입니다.
Claude 3.5 Sonnet API와 Firecrawl을 사용하여 모든 유형의 웹사이트 콘텐츠를 분석하고 구조화된 보고서를 생성하도록 설계된 자동화된 AI 시스템(Python 프레임워크)입니다. 현재 기업 AI 사례 연구에 맞게 구성되어 있지만, 이 아키텍처는 다양한 콘텐츠 분석 요구에 맞게 조정될 수 있습니다.
헤드리스 Chrome을 사용하여 JavaScript 파일을 포함한 모든 가져온 리소스를 저장합니다. 여러 웹 페이지에서 임의의 JavaScript를 실행하고 반환된 값을 확인합니다
자주 묻는 질문
GitHub에서 가장 인기 있는 #web-crawling 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #web-crawling 프로젝트는 87,627개의 스타를 받은 unclecode/crawl4ai입니다. 공식 Crawl4AI Cloud: AI 에이전트를 위한 호스팅형 웹 스크래핑·추출·검색 API입니다. API 키는 무료이며 매월 1,000크레딧이 제공되고, 카드 등록도 필요 없습니다. 완전한 오픈 소스입니다. 이 저장소에는 서비스를 구동하는 Apache-2.0 크롤러가 포함되어 있으며, 직접 호스팅할 수도 있습니다.
#web-crawling 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #web-crawling 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, TypeScript, JavaScript, Go입니다.
#web-crawling 저장소 순위는 어떻게 계산되나요?
#web-crawling 태그가 지정된 활성 오픈 소스 저장소(38개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 211,837개이며 저장소당 평균 5,574개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.