Git Stars Git Stars

#spider Репозитории

Откройте для себя 92 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #spider, с общим числом 325,814 звёзд (в среднем 3,541 на проект). Лидером этой темы является NaiboWang/EasySpider, набравший 44,801 звёзд.

92
Всего репозиториев
325,814
Всего звезд
3,541
Среднее количество звезд на репозиторий

Всего репозиториев: 92

1
NaiboWang/EasySpider

Визуальный no-code веб-краулер/паук: программное обеспечение для автоматизации браузера, сбора данных и веб-скрейпинга, позволяющее проектировать и выполнять задачи парсинга без написания кода. Псевдоним: ServiceWrapper, интеллектуальная система инкапсуляции сервисов для веб-приложений.

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 Обновлено 2026-11-16 📅 Создано 2020-07-18
2
gocolly/colly

Элегантный фреймворк для парсинга и краулинга на Golang

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 Обновлено 2026-10-16 📅 Создано 2017-09-29
3
jhao104/proxy_pool

Python ProxyPool для веб-сканера

jhao104
⭐ 23,798 Python 👤 jhao104 User 🕐 Обновлено 2026-06-15 📅 Создано 2016-11-25
4
shengqiangzhang/examples-of-web-crawlers

Некоторые очень интересные примеры краулеров на Python, дружелюбные для новичков, в основном для парсинга сайтов вроде Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ и т.д. (Some interesting examples of python crawlers that are friendly to beginners.)

shengqiangzhang
⭐ 14,654 HTML 👤 shengqiangzhang User 🕐 Обновлено 2025-06-28 📅 Создано 2019-03-13
5
s0md3v/Photon

Невероятно быстрый краулер, разработанный для OSINT.

s0md3v
⭐ 13,377 Python 👤 s0md3v User 🕐 Обновлено 2026-10-17 📅 Создано 2018-03-30
6
crawlab-team/crawlab

Распределенная платформа администрирования веб-краулера для управления пауками независимо от языков и фреймворков. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 Обновлено 2026-02-10 📅 Создано 2019-02-10
7
ihmily/DouyinLiveRecorder

Программное обеспечение для записи прямых трансляций с циклической дежурной службой и многопользовательской записью, поддерживающее запись прямых трансляций с более чем 40 платформ, таких как Douyin, TikTok, Youtube, Kuaishou, Huya, Douyu, Bilibili, Xiaohongshu, pandatv, sooplive, flextv, popkontv, twitcasting, winktv, Baidu, Weibo, Kugou, 17Live, Twitch, Acfun, CHZZK, Shopee и других.

ihmily
⭐ 11,278 Python 👤 ihmily User 🕐 Обновлено 2026-04-01 📅 Создано 2023-07-17
8
guyueyingmu/avbook

Система управления AV-фильмами, avmoo, javbus, javlibrary Crawler, Онлайн-библиотека AV-фильмов, База данных AV-магнитных ссылок, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database

guyueyingmu
⭐ 9,894 PHP 👤 guyueyingmu User 🕐 Обновлено 2024-06-01 📅 Создано 2017-02-19
9
kangvcar/InfoSpider

INFO-SPIDER — это инструментарий веб-краулера🧰, объединяющий множество источников данных, призванный помочь пользователям безопасно и быстро получать свои данные. Код инструмента является открытым, а процесс — прозрачным. Поддерживаемые источники данных включают GitHub, QQ Mail, Netease Mail, Ali Mail, Sina Mail, Hotmail, Outlook, JD, Taobao, Alipay, China Mobile, China Unicom, China Telecom, Zhihu, Bilibili, Netease Cloud Music, QQ Friends, QQ Groups, Генерация альбомов WeChat Moments, История просмотров браузера, 12306, Blog Garden, CSDN Blog, OSCHINA Blog, JianShu.

kangvcar
⭐ 8,275 Python 👤 kangvcar User 🕐 Обновлено 2026-04-21 📅 Создано 2020-07-11
10
lorien/awesome-web-scraping

Список библиотек, инструментов и API для веб-скрейпинга и обработки данных.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Обновлено 2026-11-21 📅 Создано 2015-08-12
11
andeya/pholcus

Pholcus — это распределённое ПО для краулера с высокой параллельностью, написанное на чистом golang

andeya
⭐ 7,583 Go 👤 andeya User 🕐 Обновлено 2026-08-24 📅 Создано 2015-07-03
12
BruceDone/awesome-crawler

Сборник крутых веб-краулеров и спайдеров на разных языках

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 Обновлено 2024-06-16 📅 Создано 2016-10-10
13
bda-research/node-crawler

Веб-краулер/Паук для NodeJS + jQuery на стороне сервера ;-)

bda-research
⭐ 6,797 TypeScript 👤 bda-research Organization 🕐 Обновлено 2026-06-18 📅 Создано 2010-11-25
14
wechatsync/Wechatsync

Синхронизация статей в один клик на нескольких контент-платформах, поддержка Toutiao, WordPress, Zhihu, JianShu, Juejin, CSDN, Typecho и других крупных платформ. Одна публикация для синхронизации на нескольких платформах. Освободите личную продуктивность.

wechatsync
⭐ 6,663 TypeScript 👤 wechatsync Organization 🕐 Обновлено 2026-11-15 📅 Создано 2020-09-01
15
DedSecInside/TorBot

Инструмент OSINT для Dark Web

DedSecInside
⭐ 5,220 Python 👤 DedSecInside Organization 🕐 Обновлено 2026-11-12 📅 Создано 2017-05-17
16
201206030/novel-plus

novel-plus — это многофункциональная CMS для управления романами, поддерживающая несколько платформ (ПК, WAP, приложения и мини-программы). В системе есть рекомендации, поиск и рейтинги романов, чтение, книжные полки, рецензии и списки книг, сбор романов из Интернета, центр участников, раздел для авторов, пополнение счёта и подписки, а также публикация новостей.

201206030
⭐ 4,822 Java 👤 201206030 User 🕐 Обновлено 2026-11-17 📅 Создано 2020-05-02
17
Nemo2011/bilibili-api

Частые вызовы API Bilibili. Поддерживает такие функции, как видео, аниме, пользователи, каналы, аудио и т. д. Адрес исходного репозитория: https://github.com/MoyuScript/bilibili-api

Nemo2011
⭐ 4,197 Python 👤 Nemo2011 User 🕐 Обновлено 2026-07-03 📅 Создано 2022-04-27
18
Boris-code/feapder

🚀🚀🚀feapder — это простой в использовании и мощный фреймворк для веб-скрапинга | feapder — это простой в использовании и мощный фреймворк для веб-скрапинга на Python. Он имеет четыре встроенных типа пауков: AirSpider, Spider, TaskSpider и BatchSpider, для удовлетворения потребностей различных сценариев. Он поддерживает такие функции, как возобновление с точки останова, мониторинг и оповещения, рендеринг браузера и дедупликация огромных объемов данных. Кроме того, мощная система управления пауками feaplat обеспечивает удобное развертывание и планирование.

Boris-code
⭐ 3,732 Python 👤 Boris-code User 🕐 Обновлено 2026-08-21 📅 Создано 2021-02-08
19
elliotgao2/toapi

Каждый веб-сайт предоставляет API.

elliotgao2
⭐ 3,557 Python 👤 elliotgao2 User 🕐 Обновлено 2026-08-27 📅 Создано 2017-11-27
20
Gerapy/Gerapy

Фреймворк управления распределенными краулерами на базе Scrapy, Scrapyd, Django и Vue.js

Gerapy
⭐ 3,518 Python 👤 Gerapy Organization 🕐 Обновлено 2026-07-04 📅 Создано 2017-06-30
21
my8100/scrapydweb

Веб-приложение для управления кластером Scrapyd, анализа и визуализации логов Scrapy, автоматической упаковки, задач по таймеру, мониторинга и оповещений, а также мобильного UI. Документы Docs :point_right:

my8100
⭐ 3,403 Python 👤 my8100 User 🕐 Обновлено 2025-02-19 📅 Создано 2018-09-30
22
wnma3mz/wechat_articles_spider

Краулер статей публичного аккаунта WeChat

wnma3mz
⭐ 3,326 Python 👤 wnma3mz User 🕐 Обновлено 2024-04-18 📅 Создано 2018-03-04
23
5ime/video_spider

Удаление водяных знаков с коротких видео: Douyin, Pipixia, Huoshan, Weishi, Weibo, Oasis, Zuiyou, Qingshipin, Kuaishou, Quanmin Xiaoshipin, Barcelona Film, Momo, Before Bifeng, Kaiyan, Vue Vlog Xiaokuxiu, Pipixia Funny, Quanmin K Ge, Xigua Video, Doupai, Huya, 6 Rooms, Li Video, Xinpianchang, acfun, Meipai...

5ime
⭐ 3,001 PHP 👤 5ime User 🕐 Обновлено 2025-12-03 📅 Создано 2020-07-22
24
howie6879/owllook

owllook-Поисковая система романов

howie6879
⭐ 2,900 Python 👤 howie6879 User 🕐 Обновлено 2026-10-30 📅 Создано 2017-02-18
25
CharlesPikachu/DecryptLogin

DecryptLogin: API для входа в некоторые веб-сайты с использованием requests.

CharlesPikachu
⭐ 2,871 Python 👤 CharlesPikachu User 🕐 Обновлено 2024-08-09 📅 Создано 2019-02-25
26
spider-rs/spider

Базовый сбор веб-данных с низкой задержкой на Rust

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 Обновлено 2026-11-20 📅 Создано 2018-01-07
27
jaeles-project/gospider

Gospider - Быстрый веб-паук, написанный на Go

jaeles-project
⭐ 2,851 Go 👤 jaeles-project Organization 🕐 Обновлено 2024-04-21 📅 Создано 2020-01-22
28
geziyor/geziyor

Geziyor, сверхбыстрый фреймворк для веб-краулинга и скрапинга для Go. Поддерживает рендеринг JS.

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 Обновлено 2026-07-02 📅 Создано 2019-06-06
29
pibigstar/go-demo

Примеры уроков по языку Go от начинающего до продвинутого, включая использование базовых библиотек, шаблоны проектирования, типичные ошибки на собеседованиях, утилитарные классы, интеграцию с третьими сторонами и т.д.

pibigstar
⭐ 2,708 Go 👤 pibigstar User 🕐 Обновлено 2025-06-07 📅 Создано 2018-08-29
30
jae-jae/QueryList

:spider: Прогрессивный фреймворк для краулера PHP! Элегантный прогрессивный фреймворк для сбора PHP.

jae-jae
⭐ 2,689 PHP 👤 jae-jae User 🕐 Обновлено 2026-10-20 📅 Создано 2015-12-20
31
lorien/grab

Фреймворк для веб-скрейпинга

lorien
⭐ 2,461 Python 👤 lorien User 🕐 Обновлено 2025-09-19 📅 Создано 2013-05-01
32
JayBizzle/Crawler-Detect

🕷 CrawlerDetect — это PHP-класс для обнаружения ботов/краулеров/пауков через пользовательский агент

JayBizzle
⭐ 2,410 PHP 👤 JayBizzle User 🕐 Обновлено 2026-11-16 📅 Создано 2015-03-23
33
QianyanTech/Image-Downloader

Скачать изображения из Google, Bing, Baidu. Загрузка изображений из Google, Baidu, Bing.

QianyanTech
⭐ 2,331 Python 👤 QianyanTech Organization 🕐 Обновлено 2024-07-07 📅 Создано 2016-07-17
34
sjdirect/abot

Кроссплатформенный фреймворк для веб-краулеров на C#, созданный для скорости и гибкости. Пожалуйста, поставьте звезду этому проекту! +1.

sjdirect
⭐ 2,308 C# 👤 sjdirect User 🕐 Обновлено 2026-07-17 📅 Создано 2013-08-08
35
zorlan/skycaiji

Blue Sky Collector — это бесплатная система краулеров с открытым исходным кодом, которая требует только выбора и редактирования правил для сбора данных. Она может работать локально, на виртуальном хостинге или в облачном сервере, и может сканировать практически все типы веб-страниц. Она бесшовно интегрируется с различными программами для создания веб-сайтов на основе CMS, публикует данные в режиме реального времени без входа в систему и полностью автоматизирована без вмешательства человека! Это полностью кроссплатформенная облачная система краулеров для сбора больших данных в Интернете.

zorlan
⭐ 2,098 PHP 👤 zorlan User 🕐 Обновлено 2026-10-07 📅 Создано 2018-02-26
36
elliotgao2/gain

Фреймворк для веб-скрейпинга на основе asyncio.

elliotgao2
⭐ 2,017 Python 👤 elliotgao2 User 🕐 Обновлено 2026-08-09 📅 Создано 2017-05-31
37
ShunCai/QZoneExport

Помощник экспорта QQ Space, предназначенный для резервного копирования в виде файлов записей, дневников, личных дневников, альбомов, видео, сообщений на доске, друзей QQ, избранного, публикаций и недавних посетителей QQ Space для удобного переноса и сохранения.

ShunCai
⭐ 1,927 TypeScript 👤 ShunCai User 🕐 Обновлено 2026-11-16 📅 Создано 2019-03-10
38
coder-hxl/x-crawl

Гибкая библиотека краулера для Node.js

coder-hxl
⭐ 1,888 TypeScript 👤 coder-hxl User 🕐 Обновлено 2026-11-21 📅 Создано 2023-01-22
39
1N3/BlackWidow

Сканер веб-приложений на основе Python для сбора OSINT и fuzzing уязвимостей OWASP на целевом сайте.

1N3
⭐ 1,843 Python 👤 1N3 User 🕐 Обновлено 2026-04-17 📅 Создано 2018-01-06
40
eatmoreduck/boss-zhipin-scraper

Скрапер BOSS Zhipin / Инструмент для сбора данных о вакансиях BOSS Zhipin, основанный на протоколе Chrome CDP для повторного использования реальных сессий входа, обхода защиты от парсинга шрифтов и вывода данных о зарплате в формате JSON/CSV + анализ навыков и зарплат.

eatmoreduck
⭐ 1,781 Python 👤 eatmoreduck User 🕐 Обновлено 2026-11-03 📅 Создано 2026-06-11
41
u3c3/BT-btt

Представление магнитного сайта U3C3 и обновление домена

u3c3
⭐ 1,779 👤 u3c3 User 🕐 Обновлено 2025-01-01 📅 Создано 2020-04-28
42
howie6879/ruia

Асинхронный микрофреймворк для веб-скрейпинга на Python 3.6+, основанный на asyncio

howie6879
⭐ 1,738 Python 👤 howie6879 User 🕐 Обновлено 2026-10-30 📅 Создано 2018-07-10
43
erma0/douyin

Douyin Crawler – сбор общедоступных данных, таких как главная страница аккаунта, лайки, коллекции, оригинальные музыкальные треки, темы, поиск, сборники, работы, подписки, подписчики и т. д.

erma0
⭐ 1,625 👤 erma0 User 🕐 Обновлено 2026-08-14 📅 Создано 2022-05-29
44
ArchiveTeam/grab-site

Веб-краулер архивариуса: вывод WARC, информационная панель для всех сканирований, динамические шаблоны игнорирования

ArchiveTeam
⭐ 1,572 Python 👤 ArchiveTeam Organization 🕐 Обновлено 2025-05-23 📅 Создано 2015-02-05
45
srx-2000/spider_collection

Python-краулеры, текущий запас: Парсинг песен NetEase Cloud Music, Парсинг видео Bilibili, Парсинг вопросов и ответов Zhihu, Парсинг обоев, Парсинг видео xvideos, Парсинг аудиокниг, Краулер Weibo, Парсинг информации Anjuke + визуализация данных, Извлекатель обложек видео Bilibili, Инкапсуляция пула прокси IP, Краулер пользователей Zhihu уровня миллиона + анализ данных, Краулер пользователей GitHub

srx-2000
⭐ 1,554 Python 👤 srx-2000 User 🕐 Обновлено 2024-04-23 📅 Создано 2020-02-04
46
darbra/sperm

Подборка интересных статей по обратному инжинирингу, стоит ознакомиться

darbra
⭐ 1,427 👤 darbra User 🕐 Обновлено 2026-04-13 📅 Создано 2022-03-02
47
okfn-brasil/querido-diario

📰 Бразильские официальные бюллетени доступны всем | 📰 Бразильские правительственные газеты, доступные всем.

okfn-brasil
⭐ 1,424 Python 👤 okfn-brasil Organization 🕐 Обновлено 2026-10-12 📅 Создано 2018-04-01
48
kgspider/crawler

Обмен кодом веб-скрапинга брата К, обратная разработка JS, продвинутый веб-скрапинг. Подпишитесь на официальный аккаунт WeChat: Веб-скрапинг брата К

kgspider
⭐ 1,371 JavaScript 👤 kgspider User 🕐 Обновлено 2025-05-12 📅 Создано 2021-08-24
49
0xInfection/XSRFProbe

Prime Cross Site Request Forgery (CSRF) Инструментарий для аудита и эксплуатации.

0xInfection
⭐ 1,310 Python 👤 0xInfection User 🕐 Обновлено 2026-07-12 📅 Создано 2018-08-21
50
bookstairs/bookhunter

Инструмент для скачивания электронных книг из интернета.

bookstairs
⭐ 1,305 Go 👤 bookstairs Organization 🕐 Обновлено 2026-02-28 📅 Создано 2022-04-08

Часто задаваемые вопросы

1

Какой репозиторий по теме #spider наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #spider на GitHub — NaiboWang/EasySpider, набравший 44,801 звёзд. Визуальный no-code веб-краулер/паук: программное обеспечение для автоматизации браузера, сбора данных и веб-скрейпинга, позволяющее проектировать и выполнять задачи парсинга без написания кода. Псевдоним: ServiceWrapper, интеллектуальная система инкапсуляции сервисов для веб-приложений.

2

Какие языки программирования чаще всего используются в репозиториях по теме #spider?

Среди наиболее высоко оценённых проектов по теме #spider на GitHub чаще всего используются языки программирования Python, Go, PHP, TypeScript.

3

Как рассчитывается рейтинг репозиториев по теме #spider?

Мы отслеживаем 92 активных репозиториев с открытым исходным кодом, отмеченных тегом #spider (500 и более звёзд), с общим числом 325,814 звёзд и в среднем 3,541 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.