#crawling 저장소
#crawling 태그가 지정된 GitHub의 활성 오픈 소스 저장소 39개를 확인해 보세요. 총 335,438개의 스타를 획득했으며 프로젝트당 평균 8,600개입니다. 이 주제를 이끄는 저장소는 104,760개의 스타를 받은 D4Vinci/Scrapling입니다.
저장소 총 39개
🕷️ 단일 요청부터 대규모 크롤링까지 모든 작업을 처리하는 최고의 웹 스크래핑 프레임워크! 망설이지 말고 여기에서 참여하세요: https://discord.gg/EMgGbDceNQ 매일 유용한 팁과 요령을 보려면 여기에서 팔로우하세요: https://x.com/Scrapling_dev
Crawlee—Node.js용 웹 스크래핑 및 브라우저 자동화 라이브러리로, 안정적인 크롤러를 구축할 수 있습니다. JavaScript와 TypeScript로 작성됨. AI, LLMs, RAG 또는 GPTs를 위한 데이터 추출. 웹사이트에서 HTML, PDF, JPG, PNG 및 기타 파일 다운로드. Puppeteer, Playwright, Cheerio, JSDOM, raw HTTP와 함께 작동. 헤드풀 및 헤드리스 모드 모두 지원. 프록시 로테이션 포함.
Crawlee는 신뢰할 수 있는 크롤러를 구축하기 위한 Python 웹 스크래핑 및 브라우저 자동화 라이브러리입니다. Pydantic AI를 통해 LLM으로 구조화된 데이터를 추출하거나, Stagehand를 사용해 자연어로 브라우저를 제어할 수 있습니다. BeautifulSoup, Parsel, Playwright 및 원시 HTTP를 지원합니다. HTML, PDF, 이미지 및 기타 파일을 다운로드할 수 있습니다. 프록시 로테이션 기능도 포함되어 있습니다.
Blue Sky Collector는 규칙을 클릭하고 편집하기만 하면 데이터를 수집할 수 있는 오픈 소스 무료 크롤러 시스템으로, 로컬, 가상 호스트 또는 클라우드 서버에서 실행할 수 있으며 거의 모든 유형의 웹페이지를 수집할 수 있습니다. 다양한 CMS 웹 구축 프로그램과 원활하게 통합되며, 로그인 없이 실시간으로 데이터를 게시하고 완벽하게 자동화되어 수동 개입이 필요 없습니다! 웹 빅데이터 수집 소프트웨어의 완전한 크로스 플랫폼 클라우드 크롤러 시스템입니다.
자동화 탐지 및 유출을 방지하는 puppeteer 및 playwright용 패치 모음입니다. Cloudflare 및 DataDome CAPTCHA 페이지를 피하는 데 도움이 됩니다. 패치/패치 해제가 용이하며 필요에 따라 활성화/비활성화할 수 있습니다.
<6개월 치 업무를 하루 만에 끝내는 업무 자동화(생능출판사, 2020)>의 예제 코드입니다. 파이썬을 한 번도 배워본 적 없는 분들을 위한 예제이며, 엑셀부터 디자인, 매크로, 크롤링까지 업무 자동화와 관련된 다양한 분야 예제가 제공됩니다.
SiteOne Crawler는 SEO, 보안, 접근성 및 성능 최적화를 위한 크로스 플랫폼 웹사이트 크롤러 및 분석기이며 개발자, DevOps, QA 엔지니어 및 컨설턴트에게 이상적입니다. Windows, macOS 및 Linux(x64 및 arm64)를 지원합니다.
🕵️♂️ LinkedIn 프로필 스크래퍼, JSON 형식의 구조화된 프로필 데이터를 반환합니다.
100% 무료이며 완전 오픈소스 Firecrawl edge 대안으로, 에이전트를 위한 더 나은 링크 추출 기능 - Cloudflare나 Vercel에 직접 배포할 수 있습니다.
자주 묻는 질문
GitHub에서 가장 인기 있는 #crawling 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #crawling 프로젝트는 104,760개의 스타를 받은 D4Vinci/Scrapling입니다. 🕷️ 단일 요청부터 대규모 크롤링까지 모든 작업을 처리하는 최고의 웹 스크래핑 프레임워크! 망설이지 말고 여기에서 참여하세요: https://discord.gg/EMgGbDceNQ 매일 유용한 팁과 요령을 보려면 여기에서 팔로우하세요: https://x.com/Scrapling_dev
#crawling 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #crawling 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, TypeScript, Go, JavaScript입니다.
#crawling 저장소 순위는 어떻게 계산되나요?
#crawling 태그가 지정된 활성 오픈 소스 저장소(39개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 335,438개이며 저장소당 평균 8,600개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.