Git Stars Git Stars

#crawling Репозитории

Откройте для себя 39 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #crawling, с общим числом 335,438 звёзд (в среднем 8,600 на проект). Лидером этой темы является D4Vinci/Scrapling, набравший 104,760 звёзд.

39
Всего репозиториев
335,438
Всего звезд
8,600
Среднее количество звезд на репозиторий
Языки программирования: Python TypeScript Go JavaScript PHP Rust C# Java

Всего репозиториев: 39

1
D4Vinci/Scrapling

🕷️ ЛУЧШИЙ фреймворк для веб-скрейпинга, который справится со всем: от одного запроса до масштабного обхода сайтов! Не стесняйтесь — присоединяйтесь здесь: https://discord.gg/EMgGbDceNQ и подписывайтесь здесь, чтобы ежедневно получать советы и полезные приёмы: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 Обновлено 2026-11-17 📅 Создано 2024-10-13
2
scrapy/scrapy

Scrapy, быстрый фреймворк высокого уровня для веб-краулинга и скрапинга на Python.

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 Обновлено 2026-11-19 📅 Создано 2010-02-22
3
apify/crawlee

Crawlee—Библиотека для веб-скрейпинга и автоматизации браузера для Node.js для создания надежных краулеров. На JavaScript и TypeScript. Извлечение данных для ИИ, LLM, RAG или GPT. Загрузка HTML, PDF, JPG, PNG и других файлов с сайтов. Работает с Puppeteer, Playwright, Cheerio, JSDOM и чистым HTTP. В режимах с видимой головой и headless. С ротацией прокси.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Обновлено 2026-11-21 📅 Создано 2016-08-26
4
gocolly/colly

Элегантный фреймворк для парсинга и краулинга на Golang

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 Обновлено 2026-10-16 📅 Создано 2017-09-29
5
getmaxun/maxun

Превратите любой веб-сайт в структурированный API. Извлекайте данные, автоматизируйте процессы, выполняйте поиск и отслеживайте веб-пространство.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 Обновлено 2026-11-20 📅 Создано 2023-10-23
6
codelucas/newspaper

newspaper3k — это инструмент для извлечения новостей, полного текста и метаданных статей на Python 3. Расширенная документация:

codelucas
⭐ 15,192 Python 👤 codelucas User 🕐 Обновлено 2026-10-26 📅 Создано 2013-11-25
7
apify/crawlee-python

Crawlee — библиотека для веб-скрейпинга и автоматизации браузера на Python, позволяющая создавать надёжные краулеры. Извлекайте структурированные данные с помощью LLM через Pydantic AI или управляйте браузером на естественном языке с помощью Stagehand. Совместима с BeautifulSoup, Parsel, Playwright и низкоуровневым HTTP. Скачивайте HTML, PDF, изображения и другие файлы. Ротация прокси включена.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Обновлено 2026-11-20 📅 Создано 2024-01-10
8
lorien/awesome-web-scraping

Список библиотек, инструментов и API для веб-скрейпинга и обработки данных.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Обновлено 2026-11-21 📅 Создано 2015-08-12
9
go-rod/rod

Драйвер протокола Chrome DevTools для автоматизации веб и скрапинга.

go-rod
⭐ 7,160 Go 👤 go-rod Organization 🕐 Обновлено 2026-08-11 📅 Создано 2020-01-21
10
exa-labs/exa-mcp-server

Exa MCP для веб-поиска и веб-сканирования!

exa-labs
⭐ 5,250 TypeScript 👤 exa-labs Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-11-27
11
hakluke/hakrawler

Простой и быстрый веб-краулер, предназначенный для лёгкого и быстрого обнаружения конечных точек и активов в веб-приложении

hakluke
⭐ 5,171 Go 👤 hakluke User 🕐 Обновлено 2026-08-05 📅 Создано 2019-12-15
12
ai-robots-txt/ai.robots.txt

Список ИИ-агентов и роботов для блокировки.

ai-robots-txt
⭐ 4,265 Python 👤 ai-robots-txt Organization 🕐 Обновлено 2026-11-16 📅 Создано 2024-03-27
13
hardkoded/puppeteer-sharp

API .NET для Headless Chrome

hardkoded
⭐ 3,936 C# 👤 hardkoded Organization 🕐 Обновлено 2026-11-21 📅 Создано 2017-09-30
14
edoardottt/cariddi

Возьмите список доменов, обходите URL и сканируйте на наличие конечных точек, секретов, ключей API, расширений файлов, токенов и многого другого.

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 Обновлено 2026-11-19 📅 Создано 2021-04-27
15
apache/nutch

Apache Nutch — это расширяемый и масштабируемый веб-краулер

apache
⭐ 3,311 Java 👤 apache Organization 🕐 Обновлено 2026-11-17 📅 Создано 2009-05-21
16
transitive-bullshit/awesome-puppeteer

Куратированный список потрясающих ресурсов Puppeteer.

transitive-bullshit
⭐ 2,528 👤 transitive-bullshit User 🕐 Обновлено 2024-07-19 📅 Создано 2018-05-07
17
lorien/grab

Фреймворк для веб-скрейпинга

lorien
⭐ 2,461 Python 👤 lorien User 🕐 Обновлено 2025-09-19 📅 Создано 2013-05-01
18
NateScarlet/holiday-cn

📅🇨🇳 Данные о государственных праздниках Китая Автоматически собираются ежедневно из объявлений Госсовета

NateScarlet
⭐ 2,293 Python 👤 NateScarlet User 🕐 Обновлено 2026-11-21 📅 Создано 2019-03-05
19
zorlan/skycaiji

Blue Sky Collector — это бесплатная система краулеров с открытым исходным кодом, которая требует только выбора и редактирования правил для сбора данных. Она может работать локально, на виртуальном хостинге или в облачном сервере, и может сканировать практически все типы веб-страниц. Она бесшовно интегрируется с различными программами для создания веб-сайтов на основе CMS, публикует данные в режиме реального времени без входа в систему и полностью автоматизирована без вмешательства человека! Это полностью кроссплатформенная облачная система краулеров для сбора больших данных в Интернете.

zorlan
⭐ 2,098 PHP 👤 zorlan User 🕐 Обновлено 2026-10-07 📅 Создано 2018-02-26
20
rebrowser/rebrowser-patches

Коллекция патчей для puppeteer и playwright для предотвращения обнаружения автоматизации и утечек. Помогает обходить CAPTCHA-страницы Cloudflare и DataDome. Легко применять/отменять патчи, можно включать/отключать по требованию.

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 Обновлено 2026-11-02 📅 Создано 2024-08-06
21
roach-php/core

Полный набор инструментов для веб-скрапинга на PHP.

roach-php
⭐ 1,456 PHP 👤 roach-php Organization 🕐 Обновлено 2025-10-27 📅 Создано 2021-08-17
22
lorey/mlscraper

🤖 Автоматически собирайте данные с HTML-сайтов, просто предоставляя примеры

lorey
⭐ 1,370 Python 👤 lorey User 🕐 Обновлено 2024-03-17 📅 Создано 2020-07-30
23
webrecorder/browsertrix-crawler

Запустите браузерный веб-архивный краулер с высокой точностью в одном Docker-контейнере

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 Обновлено 2026-11-19 📅 Создано 2020-11-02
24
needleworm/bhban_rpa

Это пример кода из <6개월 치 업무를 하루 만에 끝내는 업무 자동화(생능출판사, 2020)>. Он предназначен для тех, кто никогда не изучал Python, и предлагает примеры в разных областях, связанных с автоматизацией задач, от Excel до дизайна, макросов и краулинга.

needleworm
⭐ 1,153 Python 👤 needleworm User 🕐 Обновлено 2026-10-25 📅 Создано 2020-02-11
25
dondai44423/donsetch

Извлечение, поиск и краулинг веб-страниц для ИИ-агентов. Создано с нуля на Rust. Без ключей, без аккаунтов. AGPL v3.

dondai44423
⭐ 1,138 Rust 👤 dondai44423 User 🕐 Обновлено 2026-11-21 📅 Создано 2026-08-07
26
scrapfly/scrapfly-scrapers

Масштабируемые Python-скрипты для веб-скрейпинга более чем 80 популярных доменов

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-05-22
27
elixir-crawly/crawly

Crawly, фреймворк высокого уровня для веб-краулинга и скрейпинга для Elixir.

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 Обновлено 2026-11-20 📅 Создано 2019-03-09
28
janreges/siteone-crawler

SiteOne Crawler — это кроссплатформенный краулер и анализатор веб-сайтов для оптимизации SEO, безопасности, доступности и производительности, идеально подходящий для разработчиков, DevOps, инженеров QA и консультантов. Поддерживает Windows, macOS и Linux (x64 и arm64).

janreges
⭐ 1,019 Rust 👤 janreges User 🕐 Обновлено 2026-09-27 📅 Создано 2023-10-04
29
clemfromspace/scrapy-selenium

Мидлвэр Scrapy для обработки страниц JavaScript с использованием Selenium

clemfromspace
⭐ 950 Python 👤 clemfromspace User 🕐 Обновлено 2026-04-13 📅 Создано 2018-02-11
30
mishakorzik/AdminHack

сегодня мы взломаем панель администратора сайта.

mishakorzik
⭐ 932 Shell 👤 mishakorzik User 🕐 Обновлено 2026-09-10 📅 Создано 2021-05-16
31
scrapinghub/scrapyrt

HTTP API для пауков Scrapy

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 Обновлено 2026-10-13 📅 Создано 2015-01-06
32
StJudeWasHere/seonaut

Инструмент для аудита SEO с открытым исходным кодом.

StJudeWasHere
⭐ 873 Go 👤 StJudeWasHere User 🕐 Обновлено 2026-10-08 📅 Создано 2022-03-02
33
MorvanZhou/easy-scraping-tutorial

Простой, но полезный код урока по веб-скрейпингу на Python.

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 Обновлено 2024-04-07 📅 Создано 2017-12-29
34
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ Скрапер профилей LinkedIn, возвращающий структурированные данные профиля в формате JSON.

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 Обновлено 2024-04-05 📅 Создано 2018-12-21
35
lumpinif/deepcrawl

100% бесплатная и полностью открытая альтернатива Firecrawl edge с лучшим извлечением ссылок для агентов - которую вы можете самостоятельно развернуть на Cloudflare или Vercel.

lumpinif
⭐ 704 TypeScript 👤 lumpinif User 🕐 Обновлено 2026-08-24 📅 Создано 2025-05-22
36
cxcscmu/Craw4LLM

Официальный репозиторий для "Craw4LLM: Эффективный веб-краулинг для предварительного обучения LLM"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Обновлено 2025-02-24 📅 Создано 2025-02-17
37
l4rm4nd/LinkedInDumper

Скрипт Python 3 для выгрузки/парсинга/извлечения сотрудников компании из API LinkedIn

l4rm4nd
⭐ 624 Python 👤 l4rm4nd User 🕐 Обновлено 2026-08-21 📅 Создано 2022-10-17
38
scrapinghub/spidermon

Расширение Scrapy для мониторинга выполнения спайдеров.

scrapinghub
⭐ 563 Python 👤 scrapinghub Organization 🕐 Обновлено 2026-10-20 📅 Создано 2015-11-17
39
zhuyingda/webster

Надежный высокоуровневый фреймворк для веб-краулинга и скрейпинга для Node.js.

zhuyingda
⭐ 560 JavaScript 👤 zhuyingda User 🕐 Обновлено 2025-03-12 📅 Создано 2017-11-04

Часто задаваемые вопросы

1

Какой репозиторий по теме #crawling наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #crawling на GitHub — D4Vinci/Scrapling, набравший 104,760 звёзд. 🕷️ ЛУЧШИЙ фреймворк для веб-скрейпинга, который справится со всем: от одного запроса до масштабного обхода сайтов! Не стесняйтесь — присоединяйтесь здесь: https://discord.gg/EMgGbDceNQ и подписывайтесь здесь, чтобы ежедневно получать советы и полезные приёмы: https://x.com/Scrapling_dev

2

Какие языки программирования чаще всего используются в репозиториях по теме #crawling?

Среди наиболее высоко оценённых проектов по теме #crawling на GitHub чаще всего используются языки программирования Python, TypeScript, Go, JavaScript.

3

Как рассчитывается рейтинг репозиториев по теме #crawling?

Мы отслеживаем 39 активных репозиториев с открытым исходным кодом, отмеченных тегом #crawling (500 и более звёзд), с общим числом 335,438 звёзд и в среднем 8,600 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.