#scraper 저장소
저장소 총 128개
프로그래밍 배경지식이 없는 사람도 대규모로 양질의 잠재 고객을 확보할 수 있도록 지원하는 Python 스크립트입니다. 이 저장소에는 잠재 고객 확보에 사용되는 다양한 범용 기법이 포함됩니다.
안티봇 시스템, 캡차 및 핑거프린팅 기술을 실시간으로 탐지합니다. Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security 등을 식별하며 신뢰도 점수와 고급 캡처 도구를 제공합니다.
책, 영화, 만화, 애니메이션, 망가 등 다양한 엔터테인먼트 미디어에 대한 정보를 얻기 위한 상위 수준 API를 제공하는 Nodejs 라이브러리입니다.
AI를 위한 오픈 소스 웹 인프라스트럭처. 웹을 스크랩하고, 크롤링하며, 자동화하고, 마크다운을 정리하고, 브라우저 세션을 관리하여 에이전트에 바로 사용할 수 있습니다.
무료 및 프리미엄 Substack 게시물을 다운로드하여 Markdown 파일로 저장합니다. 또한 각 작성자의 Markdown 파일을 탐색하고 정렬할 수 있는 HTML 인터페이스를 생성합니다.
AI와 단순성을 염두에 두고 제작된 웹 스크래퍼입니다. CLI로 실행되며 병렬 처리가 가능하고 고품질 마크다운 콘텐츠를 출력합니다.
Fresh Onions는 zlal32teyptf4tvi.onion에서 호스팅되는 오픈 소스 TOR 스파이더 / 히든 서비스 onion 크롤러입니다
터미널에서 애니메이션을 시청하고 다운로드하는 Python 기반의 작은 도구입니다 (더 나은 애니메이션 시청 방법). API로도 사용할 수 있습니다.
방문자에게 Cloudflare 챌린지를 발행하는 웹사이트에서 Cloudflare 클리어런스(cf_clearance) 쿠키를 스크래핑하기 위한 간단한 프로그램