Git Stars Git Stars

#scraping Репозитории

Откройте для себя 109 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #scraping, с общим числом 768,143 звёзд (в среднем 7,047 на проект). Лидером этой темы является firecrawl/firecrawl, набравший 205,758 звёзд.

109
Всего репозиториев
768,143
Всего звезд
7,047
Среднее количество звезд на репозиторий
Языки программирования: Python TypeScript Go JavaScript HTML PHP C Java

Всего репозиториев: 109

1
firecrawl/firecrawl

Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-04-15
2
D4Vinci/Scrapling

🕷️ ЛУЧШИЙ фреймворк для веб-скрейпинга, который справится со всем: от одного запроса до масштабного обхода сайтов! Не стесняйтесь — присоединяйтесь здесь: https://discord.gg/EMgGbDceNQ и подписывайтесь здесь, чтобы ежедневно получать советы и полезные приёмы: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 Обновлено 2026-11-17 📅 Создано 2024-10-13
3
scrapy/scrapy

Scrapy, быстрый фреймворк высокого уровня для веб-краулинга и скрапинга на Python.

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 Обновлено 2026-11-19 📅 Создано 2010-02-22
4
soxoj/maigret

🕵️‍♂️ Соберите досье на человека по имени пользователя с 6 000 веб-сайтов

soxoj
⭐ 41,111 Python 👤 soxoj User 🕐 Обновлено 2026-11-21 📅 Создано 2020-06-27
5
ScrapeGraphAI/Scrapegraph-ai

Python-скрейпер на основе ИИ

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 Обновлено 2026-10-06 📅 Создано 2024-01-27
6
apify/crawlee

Crawlee—Библиотека для веб-скрейпинга и автоматизации браузера для Node.js для создания надежных краулеров. На JavaScript и TypeScript. Извлечение данных для ИИ, LLM, RAG или GPT. Загрузка HTML, PDF, JPG, PNG и других файлов с сайтов. Работает с Puppeteer, Playwright, Cheerio, JSDOM и чистым HTTP. В режимах с видимой головой и headless. С ротацией прокси.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Обновлено 2026-11-21 📅 Создано 2016-08-26
7
gocolly/colly

Элегантный фреймворк для парсинга и краулинга на Golang

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 Обновлено 2026-10-16 📅 Создано 2017-09-29
8
psf/requests-html

Pythonic разбор HTML для людей™

psf
⭐ 13,874 Python 👤 psf Organization 🕐 Обновлено 2024-04-16 📅 Создано 2018-02-24
9
daijro/camoufox

🦊 Антидетект браузер

daijro
⭐ 13,533 C 👤 daijro User 🕐 Обновлено 2026-11-19 📅 Создано 2024-07-26
10
ultrafunkamsterdam/undetected-chromedriver

Кастомный Selenium Chromedriver | Нулевая конфигурация | Проходит ВСЕ системы защиты от ботов (например, Distil / Imperva / Datadadome / CloudFlare IUAM)

ultrafunkamsterdam
⭐ 12,725 Python 👤 ultrafunkamsterdam User 🕐 Обновлено 2025-07-05 📅 Создано 2019-12-22
11
jo-inc/camofox-browser

Скрытый headless-браузер для ИИ-агентов — обходит Cloudflare, обнаружение ботов и антискрейпинг. Drop-in замена Puppeteer/Playwright.

jo-inc
⭐ 12,437 JavaScript 👤 jo-inc Organization 🕐 Обновлено 2026-11-10 📅 Создано 2026-01-26
12
code4craft/webmagic

Масштабируемый фреймворк веб-краулера для Java.

code4craft
⭐ 11,660 Java 👤 code4craft User 🕐 Обновлено 2025-12-20 📅 Создано 2013-04-23
13
apify/crawlee-python

Crawlee — библиотека для веб-скрейпинга и автоматизации браузера на Python, позволяющая создавать надёжные краулеры. Извлекайте структурированные данные с помощью LLM через Pydantic AI или управляйте браузером на естественном языке с помощью Stagehand. Совместима с BeautifulSoup, Parsel, Playwright и низкоуровневым HTTP. Скачивайте HTML, PDF, изображения и другие файлы. Ротация прокси включена.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Обновлено 2026-11-20 📅 Создано 2024-01-10
14
lorien/awesome-web-scraping

Список библиотек, инструментов и API для веб-скрейпинга и обработки данных.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Обновлено 2026-11-21 📅 Создано 2015-08-12
15
alirezamika/autoscraper

Умный, автоматический, быстрый и легкий веб-скрейпер для Python

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 Обновлено 2026-07-29 📅 Создано 2020-08-31
16
tabulapdf/tabula

Tabula — это инструмент для освобождения таблиц данных, запертых внутри PDF-файлов

tabulapdf
⭐ 7,414 CSS 👤 tabulapdf Organization 🕐 Обновлено 2025-03-14 📅 Создано 2013-03-11
17
adbar/trafilatura

Инструмент Python и командной строки для сбора текста и метаданных в Интернете: Краулинг, скрейпинг, извлечение, вывод в формате CSV, JSON, HTML, MD, TXT, XML

adbar
⭐ 7,157 Python 👤 adbar User 🕐 Обновлено 2026-11-20 📅 Создано 2019-04-08
18
autoscrape-labs/pydoll

Pydoll — это библиотека для автоматизации браузеров на основе Chromium без WebDriver, предлагающая реалистичные взаимодействия.

autoscrape-labs
⭐ 7,145 HTML 👤 autoscrape-labs Organization 🕐 Обновлено 2026-11-08 📅 Создано 2024-10-27
19
proxifly/free-proxy-list

🚀 Бесплатный список прокси HTTP, SOCKS4 и SOCKS5 * Обновляется каждые 5 минут * и API ротируемых прокси (более 100 стран)

proxifly
⭐ 7,083 👤 proxifly Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-07-13
20
jaypyles/Scraperr

Собственный веб-скрейпер.

jaypyles
⭐ 4,876 TypeScript 👤 jaypyles User 🕐 Обновлено 2025-10-12 📅 Создано 2024-07-06
21
d60/twikit

Парсер API Twitter | Без ключа API | Внутренний API Twitter | Бесплатно | Парсер Twitter | Бот Twitter

d60
⭐ 4,785 Python 👤 d60 User 🕐 Обновлено 2026-03-10 📅 Создано 2024-01-20
22
bjesus/pipet

Швейцарский армейский нож для скрапинга и извлечения данных из онлайн-ресурсов, сделанный для хакеров

bjesus
⭐ 4,610 Go 👤 bjesus User 🕐 Обновлено 2024-10-12 📅 Создано 2024-08-31
23
sparklemotion/mechanize

Mechanize — это библиотека Ruby, которая упрощает автоматизированное взаимодействие с вебом.

sparklemotion
⭐ 4,443 Ruby 👤 sparklemotion Organization 🕐 Обновлено 2026-10-26 📅 Создано 2008-04-18
24
CodeCutTech/Data-science

Сборник полезных тем по науке о данных, а также статьи, видео и код

CodeCutTech
⭐ 4,158 Jupyter Notebook 👤 CodeCutTech Organization 🕐 Обновлено 2025-11-16 📅 Создано 2020-07-17
25
kalil0321/reverse-api-engineer

Проведите обратную разработку любого веб-сайта и создайте типизированный API-клиент. Работает с Claude Code, Codex, Cursor и OpenCode.

kalil0321
⭐ 4,088 Python 👤 kalil0321 User 🕐 Обновлено 2026-11-21 📅 Создано 2025-12-23
26
snooppr/snoop

Snoop — Инструмент разведки на основе открытых данных (OSINT)

snooppr
⭐ 4,072 Python 👤 snooppr User 🕐 Обновлено 2026-11-20 📅 Создано 2020-02-14
27
fake-useragent/fake-useragent

Актуальный простой подделыватель useragent с базой данных реального мира

fake-useragent
⭐ 4,047 Python 👤 fake-useragent Organization 🕐 Обновлено 2026-03-29 📅 Создано 2013-03-04
28
any4ai/AnyCrawl

AnyCrawl 🚀: Node.js/TypeScript-краулер, который преобразует веб-сайты в данные, готовые для LLM, и извлекает структурированные результаты SERP из Google/Bing/Baidu/и т.д. Собственная многопоточность для пакетной обработки.

any4ai
⭐ 3,580 TypeScript 👤 any4ai User 🕐 Обновлено 2026-11-12 📅 Создано 2025-03-31
29
adryfish/fingerprint-chromium

Браузер с отпечатками пальцев с открытым исходным кодом на основе Ungoogled Chromium. Браузер отпечатков пальцев Браузер конфиденциальности

adryfish
⭐ 3,300 👤 adryfish User 🕐 Обновлено 2026-10-02 📅 Создано 2024-12-09
30
aapatre/Automatic-Udemy-Course-Enroller-GET-PAID-UDEMY-COURSES-for-FREE

Хотите БЕСПЛАТНО ИЗУЧАТЬ НОВОЕ? Не волнуйтесь, с помощью веб-скрейпинга и автоматизации этот скрипт найдет необходимые купоны Udemy и запишет вас на ПЛАТНЫЕ КУРСЫ UDEMY, АБСОЛЮТНО БЕСПЛАТНО!

aapatre
⭐ 3,289 Python 👤 aapatre User 🕐 Обновлено 2026-04-28 📅 Создано 2020-09-12
31
symfony/panther

Библиотека для тестирования браузера и веб-краулинга для PHP и Symfony

symfony
⭐ 3,074 PHP 👤 symfony Organization 🕐 Обновлено 2026-10-03 📅 Создано 2018-03-16
32
kevinzg/facebook-scraper

Скрапинг публичных страниц Facebook без API-ключа

kevinzg
⭐ 3,006 Python 👤 kevinzg User 🕐 Обновлено 2024-06-22 📅 Создано 2019-03-15
33
vladkens/twscrape

Библиотека Python и CLI для скрапинга X/Twitter с ротацией нескольких аккаунтов и встроенной обработкой ограничений скорости.

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 Обновлено 2026-11-19 📅 Создано 2023-05-05
34
oxylabs/how-to-scrape-google-trends

Изучите пошаговое руководство по сбору данных Google Trends и сравнению результатов с использованием Python и Oxylabs SERP API. Извлекайте ключевые слова, их популярность, разбивку по регионам, связанные запросы и многое другое.

oxylabs
⭐ 2,907 Python 👤 oxylabs Organization 🕐 Обновлено 2026-11-18 📅 Создано 2024-08-06
35
spider-rs/spider

Базовый сбор веб-данных с низкой задержкой на Rust

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 Обновлено 2026-11-20 📅 Создано 2018-01-07
36
geziyor/geziyor

Geziyor, сверхбыстрый фреймворк для веб-краулинга и скрапинга для Go. Поддерживает рендеринг JS.

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 Обновлено 2026-07-02 📅 Создано 2019-06-06
37
brightdata/brightdata-mcp

Мощный сервер Model Context Protocol (MCP), предлагающий комплексное решение для общедоступного веб-доступа.

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 Обновлено 2026-11-18 📅 Создано 2025-04-15
38
apify/fingerprint-suite

Инструменты браузерного фингерпринтинга для анонимизации ваших скрейперов. Разработано Apify.

apify
⭐ 2,678 TypeScript 👤 apify Organization 🕐 Обновлено 2026-11-18 📅 Создано 2022-05-04
39
botswin/BotBrowser

Продвинутая основа браузера конфиденциальности с унифицированной защитой отпечатков: Cloudflare, Akamai, Kasada, Shape, DataDome, PerimeterX, hCaptcha, FunCaptcha, Imperva, reCAPTCHA, ThreatMetrix, Adscore

botswin
⭐ 2,667 TypeScript 👤 botswin Organization 🕐 Обновлено 2026-11-18 📅 Создано 2024-09-08
40
oss-invisible/playwright

Невидимый Playwright: Playwright, который не могут обнаружить антибот-системы, поэтому никаких капч: тот же API, скрытый headless Firefox с защитой от обнаружения, незаметный цифровой отпечаток, обход обнаружения ботов, веб-скрейпинг и автоматизация браузера на Python.

oss-invisible
⭐ 2,612 Python 👤 oss-invisible Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-05-13
41
simonw/shot-scraper

Утилита командной строки для создания снимков экрана веб-сайтов, записи видеодемонстраций и сбора данных с сайтов с помощью JavaScript

simonw
⭐ 2,609 Python 👤 simonw User 🕐 Обновлено 2026-10-14 📅 Создано 2022-03-08
42
transitive-bullshit/awesome-puppeteer

Куратированный список потрясающих ресурсов Puppeteer.

transitive-bullshit
⭐ 2,528 👤 transitive-bullshit User 🕐 Обновлено 2024-07-19 📅 Создано 2018-05-07
43
lorien/grab

Фреймворк для веб-скрейпинга

lorien
⭐ 2,461 Python 👤 lorien User 🕐 Обновлено 2025-09-19 📅 Создано 2013-05-01
44
Jieyab89/OSINT-Cheat-sheet

Шпаргалка по OSINT, список инструментов OSINT, вики, набор данных, статья, книга, OSINT красной команды для хакеров, советы по OSINT и ветка OSINT. Этот репозиторий будет расти каждый раз, когда будет проведено исследование, будет исследование, наука и технологии, учебные пособия. Пожалуйста, используйте его с умом.

Jieyab89
⭐ 2,333 HTML 👤 Jieyab89 User 🕐 Обновлено 2026-11-16 📅 Создано 2021-11-22
45
php-embed/Embed

Получить информацию из любого веб-сервиса или страницы

php-embed
⭐ 2,140 PHP 👤 php-embed Organization 🕐 Обновлено 2026-11-21 📅 Создано 2012-10-09
46
TheGP/untidetect-tools

Список инструментов и браузеров для защиты от обнаружения и гуманизации, включая решатели капчи и SMS-активацию.

TheGP
⭐ 2,075 👤 TheGP User 🕐 Обновлено 2026-10-07 📅 Создано 2024-01-21
47
iiab/iiab

Internet-in-a-Box - Постройте свою собственную БИБЛИОТЕКУ АЛЕКСАНДРИИ с помощью Raspberry Pi!

iiab
⭐ 2,056 Jinja 👤 iiab Organization 🕐 Обновлено 2026-11-20 📅 Создано 2017-05-28
48
claffin/cloudproxy

Скройте IP-адрес вашего скрейпера за облаком. Разверните прокси-серверы у разных облачных провайдеров, чтобы повысить успешность вашего скрейпинга.

claffin
⭐ 1,729 Python 👤 claffin User 🕐 Обновлено 2026-11-05 📅 Создано 2021-04-16
49
oxylabs/scrape-google-python

В этом руководстве мы покажем, как собирать общедоступные данные Google с помощью Python и API Oxylabs.

oxylabs
⭐ 1,719 👤 oxylabs Organization 🕐 Обновлено 2026-11-18 📅 Создано 2024-07-30
50
emcf/thepipe

Получайте чистые данные из сложных документов с помощью моделей "зрение-язык" ⚡

emcf
⭐ 1,529 Python 👤 emcf User 🕐 Обновлено 2026-09-28 📅 Создано 2024-03-22

Часто задаваемые вопросы

1

Какой репозиторий по теме #scraping наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #scraping на GitHub — firecrawl/firecrawl, набравший 205,758 звёзд. Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.

2

Какие языки программирования чаще всего используются в репозиториях по теме #scraping?

Среди наиболее высоко оценённых проектов по теме #scraping на GitHub чаще всего используются языки программирования Python, TypeScript, Go, JavaScript.

3

Как рассчитывается рейтинг репозиториев по теме #scraping?

Мы отслеживаем 109 активных репозиториев с открытым исходным кодом, отмеченных тегом #scraping (500 и более звёзд), с общим числом 768,143 звёзд и в среднем 7,047 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.