Git Stars Git Stars

#data-extraction Репозитории

Откройте для себя 131 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #data-extraction, с общим числом 729,329 звёзд (в среднем 5,567 на проект). Лидером этой темы является firecrawl/firecrawl, набравший 205,758 звёзд.

131
Всего репозиториев
729,329
Всего звезд
5,567
Среднее количество звезд на репозиторий

Всего репозиториев: 131

1
firecrawl/firecrawl

Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-04-15
2
D4Vinci/Scrapling

🕷️ ЛУЧШИЙ фреймворк для веб-скрейпинга, который справится со всем: от одного запроса до масштабного обхода сайтов! Не стесняйтесь — присоединяйтесь здесь: https://discord.gg/EMgGbDceNQ и подписывайтесь здесь, чтобы ежедневно получать советы и полезные приёмы: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 Обновлено 2026-11-17 📅 Создано 2024-10-13
3
unclecode/crawl4ai

Официальный Crawl4AI Cloud: размещённый в облаке API для веб-скрейпинга, извлечения данных и поиска для ИИ-агентов. Бесплатный API-ключ, 1 000 кредитов в месяц, банковская карта не нужна. Полностью открытый исходный код: в этом репозитории находится краулер под лицензией Apache-2.0, на котором работает сервис; его можно развернуть самостоятельно.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Обновлено 2026-11-20 📅 Создано 2024-05-09
4
ScrapeGraphAI/Scrapegraph-ai

Python-скрейпер на основе ИИ

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 Обновлено 2026-10-06 📅 Создано 2024-01-27
5
browserbase/stagehand

SDK для извлечения данных и взаимодействия с любым сайтом в интернете. Начните с Claude Code, Codex, Eve, Mastra и других инструментов.

browserbase
⭐ 26,109 TypeScript 👤 browserbase Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-03-24
6
getmaxun/maxun

Превратите любой веб-сайт в структурированный API. Извлекайте данные, автоматизируйте процессы, выполняйте поиск и отслеживайте веб-пространство.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 Обновлено 2026-11-20 📅 Создано 2023-10-23
7
ReFirmLabs/binwalk

Инструмент анализа прошивки

ReFirmLabs
⭐ 14,731 Rust 👤 ReFirmLabs Organization 🕐 Обновлено 2026-08-11 📅 Создано 2013-11-15
8
phiresky/ripgrep-all

rga: ripgrep, но также поиск в PDF, электронных книгах, документах Office, zip, tar.gz и т.д.

phiresky
⭐ 9,937 Rust 👤 phiresky User 🕐 Обновлено 2026-09-17 📅 Создано 2019-06-04
9
scrapinghub/portia

Визуальный скрейпинг для Scrapy

scrapinghub
⭐ 9,479 Python 👤 scrapinghub Organization 🕐 Обновлено 2024-06-26 📅 Создано 2014-03-21
10
cv-cat/Spider_XHS

Сбор данных с помощью краулера Xiaohongshu (RED), обратный инжиниринг Xiaohongshu, личные сообщения, прямые трансляции и комплексные решения для работы на Xiaohongshu

cv-cat
⭐ 8,542 Python 👤 cv-cat User 🕐 Обновлено 2026-10-22 📅 Создано 2023-08-08
11
ericchiang/pup

Парсинг HTML в командной строке

ericchiang
⭐ 8,372 HTML 👤 ericchiang User 🕐 Обновлено 2024-05-02 📅 Создано 2014-09-01
12
mgdm/htmlq

Как jq, но для HTML.

mgdm
⭐ 7,591 Rust 👤 mgdm User 🕐 Обновлено 2026-05-27 📅 Создано 2019-05-07
13
browser-act/skills

CLI для автоматизации браузера, созданный для ИИ-агентов. Прорывайте антибот-барьеры, передавайте задачи людям на разных платформах, когда застряли. Параллельное выполнение нескольких задач, независимая работа с несколькими сессиями, изолированный просмотр с нескольких учетных записей.

browser-act
⭐ 6,385 Python 👤 browser-act Organization 🕐 Обновлено 2026-11-04 📅 Создано 2026-02-06
14
nickscamara/open-deep-research

Клон для глубоких исследований с открытым исходным кодом. Агент ИИ, который анализирует большие объемы веб-данных, извлеченных с помощью Firecrawl.

nickscamara
⭐ 6,242 TypeScript 👤 nickscamara User 🕐 Обновлено 2025-05-07 📅 Создано 2025-02-03
15
MontFerret/ferret

Декларативный язык автоматизации данных и среда выполнения Go для структурированных рабочих процессов извлечения.

MontFerret
⭐ 6,025 Go 👤 MontFerret Organization 🕐 Обновлено 2026-11-19 📅 Создано 2018-08-23
16
matthewmueller/x-ray

Следующий веб-скрейпер. Проникайте сквозь шум <html>.

matthewmueller
⭐ 5,899 JavaScript 👤 matthewmueller User 🕐 Обновлено 2026-08-31 📅 Создано 2015-02-05
17
vi3k6i5/flashtext

Извлекать ключевые слова из предложений или заменять ключевые слова в предложениях.

vi3k6i5
⭐ 5,714 Python 👤 vi3k6i5 User 🕐 Обновлено 2025-04-13 📅 Создано 2017-08-15
18
Hammer1/cozeworkflows

Коллекция из 200+ рабочих процессов Coze, постоянно обновляется

Hammer1
⭐ 5,446 👤 Hammer1 User 🕐 Обновлено 2025-07-27 📅 Создано 2025-07-27
19
ultrafunkamsterdam/nodriver

Преемник Undetected-Chromedriver. Предоставляет молниеносно быстрый фреймворк для веб-автоматизации, веб-скрапинга, ботов и любых других творческих идей, которые обычно затрудняются раздражающими антибот-системами, такими как Captcha / CloudFlare / Imperva / hCaptcha.

ultrafunkamsterdam
⭐ 4,950 Python 👤 ultrafunkamsterdam User 🕐 Обновлено 2026-10-26 📅 Создано 2024-02-20
20
REMitchell/python-scraping

Примеры кода из книги Web Scraping with Python http://shop.oreilly.com/product/0636920034391.do

REMitchell
⭐ 4,669 Jupyter Notebook 👤 REMitchell User 🕐 Обновлено 2024-06-01 📅 Создано 2015-06-14
21
AhmadHassan-BTed/Noria

Агентный инструмент для извлечения информации на платформах обмена сообщениями. Noria получает сообщения и URL в чате, собирает данные из интернета, чтобы оценивать содержимое по настраиваемым системам критериев (например, для вакансий и стипендий), а затем отправляет структурированную сводку с рассчитанной оценкой соответствия непосредственно на назначенный номер в мессенджере.

AhmadHassan-BTed
⭐ 4,624 JavaScript 👤 AhmadHassan-BTed User 🕐 Обновлено 2026-11-10 📅 Создано 2026-05-31
22
meta/duckling

Язык, движок и инструменты для выражения, тестирования и оценки компонуемых правил языка на входных строках.

meta
⭐ 4,328 Haskell 👤 meta Organization 🕐 Обновлено 2026-03-15 📅 Создано 2017-03-02
23
tomnomnom/waybackurls

Получить все URL, которые Wayback Machine знает о домене

tomnomnom
⭐ 4,255 Go 👤 tomnomnom User 🕐 Обновлено 2024-05-01 📅 Создано 2018-01-24
24
scrapinghub/splash

Легковесный, управляемый скриптами браузер как услуга с HTTP API

scrapinghub
⭐ 4,197 Python 👤 scrapinghub Organization 🕐 Обновлено 2024-08-02 📅 Создано 2013-05-20
25
CrawlScript/WebCollector

WebCollector — это фреймворк для веб-сканирования с открытым исходным кодом на основе Java. Он предоставляет простые интерфейсы для сканирования Интернета, вы можете настроить многопоточный веб-сканер менее чем за 5 минут.

CrawlScript
⭐ 3,073 Java 👤 CrawlScript Organization 🕐 Обновлено 2026-02-10 📅 Создано 2014-07-12
26
goldsmith/Wikipedia

Pythonic-обертка для API Википедии

goldsmith
⭐ 3,014 Python 👤 goldsmith User 🕐 Обновлено 2026-10-25 📅 Создано 2013-08-20
27
brightdata/brightdata-mcp

Мощный сервер Model Context Protocol (MCP), предлагающий комплексное решение для общедоступного веб-доступа.

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 Обновлено 2026-11-18 📅 Создано 2025-04-15
28
smalot/pdfparser

PdfParser, автономная библиотека PHP, предоставляет различные инструменты для извлечения данных из файла PDF.

smalot
⭐ 2,732 PHP 👤 smalot User 🕐 Обновлено 2026-10-13 📅 Создано 2013-08-30
29
Predidit/KazumiRules

Репозиторий хостинга правил Kazumi, приветствуются вклады ^•ﻌ•^

Predidit
⭐ 2,653 Dart 👤 Predidit User 🕐 Обновлено 2026-11-13 📅 Создано 2024-05-22
30
Bistutu/GoMusic

Перенос плейлистов Netease Cloud/Qishui/QQ Music в Apple/Youtube/Spotify Music

Bistutu
⭐ 2,552 Go 👤 Bistutu User 🕐 Обновлено 2026-11-21 📅 Создано 2023-10-07
31
tavily-ai/tavily-mcp

Готовый к эксплуатации сервер MCP с функциями поиска, извлечения, картирования и сканирования в реальном времени.

tavily-ai
⭐ 2,499 TypeScript 👤 tavily-ai Organization 🕐 Обновлено 2026-11-18 📅 Создано 2025-01-27
32
jmespath/jmespath.py

JMESPath — это язык запросов для JSON.

jmespath
⭐ 2,458 Python 👤 jmespath Organization 🕐 Обновлено 2026-04-20 📅 Создано 2013-02-19
33
saifyxpro/HeadlessX

Платформа автоматизации браузера, развернутая локально и не обнаруживаемая. Работает на Camoufox (Firefox) для 0 % вероятности обнаружения. Создана для скорости, приватности и масштабируемости.

saifyxpro
⭐ 2,365 TypeScript 👤 saifyxpro User 🕐 Обновлено 2026-11-12 📅 Создано 2025-09-12
34
dataabc/weibo-search

Получение информации о результатах поиска Weibo. Поиск может быть как поиском по ключевым словам Weibo, так и поиском по темам Weibo.

dataabc
⭐ 2,340 Python 👤 dataabc User 🕐 Обновлено 2026-06-05 📅 Создано 2020-03-25
35
decaywood/XueQiuSuperSpider

Супер-краулер информации о акциях Сюэцюй

decaywood
⭐ 2,326 Java 👤 decaywood User 🕐 Обновлено 2024-03-27 📅 Создано 2015-11-24
36
opendatalab/DocLayout-YOLO

DocLayout-YOLO: Улучшение анализа макета документов с помощью разнообразных синтетических данных и адаптивного глобально-локального восприятия

opendatalab
⭐ 2,315 Python 👤 opendatalab Organization 🕐 Обновлено 2026-10-21 📅 Создано 2024-10-14
39
hhursev/recipe-scrapers

Пакет Python для сбора данных рецептов

hhursev
⭐ 2,263 Python 👤 hhursev User 🕐 Обновлено 2026-11-15 📅 Создано 2015-09-14
40
shcherbak-ai/contextgem

Извлекайте структурированные данные и полезные сведения из документов с помощью больших языковых моделей и моделей принятия решений

shcherbak-ai
⭐ 2,095 Python 👤 shcherbak-ai Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-10-11
41
xaitax/TotalRecall

Этот инструмент извлекает и отображает данные из функции Recall в Windows 11, предоставляя простой способ доступа к информации о снимках активности вашего ПК.

xaitax
⭐ 2,037 Python 👤 xaitax User 🕐 Обновлено 2024-06-08 📅 Создано 2024-06-03
42
jmespath/jmespath.php

Декларативно укажите, как извлекать элементы из JSON-документа в PHP

jmespath
⭐ 2,013 PHP 👤 jmespath Organization 🕐 Обновлено 2026-11-17 📅 Создано 2013-07-06
43
KEV0143/Parser-Chitai-Gorod

Интеллектуальный парсер для каталога «Читай-город». Высокоскоростной сбор и структурирование данных по любым заданным параметрам: от ISBN до динамики скидок.

KEV0143
⭐ 1,979 Python 👤 KEV0143 User 🕐 Обновлено 2026-09-17 📅 Создано 2025-05-18
44
xyTom/snippai

Вырежьте все, решите все

xyTom
⭐ 1,950 TypeScript 👤 xyTom User 🕐 Обновлено 2026-10-06 📅 Создано 2024-02-06
45
extractus/article-extractor

Извлечь статью из указанного URL

extractus
⭐ 1,920 TypeScript 👤 extractus Organization 🕐 Обновлено 2026-08-20 📅 Создано 2015-11-29
46
Kengxxiao/ArknightsGameData

Игровые данные Arknights

Kengxxiao
⭐ 1,907 Lua 👤 Kengxxiao User 🕐 Обновлено 2026-11-16 📅 Создано 2019-12-31
47
shuchkin/simplexlsx

Разбор и извлечение данных из файлов Excel XLSx

shuchkin
⭐ 1,829 PHP 👤 shuchkin User 🕐 Обновлено 2026-10-20 📅 Создано 2016-05-25
48
DQinYuan/chinese_province_city_area_mapper

Модуль Python для извлечения провинций, городов и районов из строк на упрощенном китайском языке и выполнения картирования, проверки и простого рисования

DQinYuan
⭐ 1,770 Python 👤 DQinYuan User 🕐 Обновлено 2024-03-19 📅 Создано 2018-03-04
49
biuuu/star-rail-warp-export

Экспортер истории варпов Honkai: Star Rail

biuuu
⭐ 1,640 JavaScript 👤 biuuu User 🕐 Обновлено 2026-11-11 📅 Создано 2023-05-01
50
JonathanLink/PDFLayoutTextStripper

Преобразует PDF-файл в текстовый файл, сохраняя исходную разметку PDF. Например, это полезно для извлечения содержимого таблицы из PDF-файла. Является подклассом класса PDFTextStripper из библиотеки Apache PDFBox.

JonathanLink
⭐ 1,612 Java 👤 JonathanLink User 🕐 Обновлено 2026-11-18 📅 Создано 2015-10-11

Часто задаваемые вопросы

1

Какой репозиторий по теме #data-extraction наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #data-extraction на GitHub — firecrawl/firecrawl, набравший 205,758 звёзд. Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.

2

Какие языки программирования чаще всего используются в репозиториях по теме #data-extraction?

Среди наиболее высоко оценённых проектов по теме #data-extraction на GitHub чаще всего используются языки программирования Python, TypeScript, JavaScript, Rust.

3

Как рассчитывается рейтинг репозиториев по теме #data-extraction?

Мы отслеживаем 131 активных репозиториев с открытым исходным кодом, отмеченных тегом #data-extraction (500 и более звёзд), с общим числом 729,329 звёзд и в среднем 5,567 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.