#data-extraction Репозитории
Откройте для себя 131 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #data-extraction, с общим числом 729,329 звёзд (в среднем 5,567 на проект). Лидером этой темы является firecrawl/firecrawl, набравший 205,758 звёзд.
Всего репозиториев: 131
Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.
🕷️ ЛУЧШИЙ фреймворк для веб-скрейпинга, который справится со всем: от одного запроса до масштабного обхода сайтов! Не стесняйтесь — присоединяйтесь здесь: https://discord.gg/EMgGbDceNQ и подписывайтесь здесь, чтобы ежедневно получать советы и полезные приёмы: https://x.com/Scrapling_dev
Официальный Crawl4AI Cloud: размещённый в облаке API для веб-скрейпинга, извлечения данных и поиска для ИИ-агентов. Бесплатный API-ключ, 1 000 кредитов в месяц, банковская карта не нужна. Полностью открытый исходный код: в этом репозитории находится краулер под лицензией Apache-2.0, на котором работает сервис; его можно развернуть самостоятельно.
SDK для извлечения данных и взаимодействия с любым сайтом в интернете. Начните с Claude Code, Codex, Eve, Mastra и других инструментов.
Превратите любой веб-сайт в структурированный API. Извлекайте данные, автоматизируйте процессы, выполняйте поиск и отслеживайте веб-пространство.
rga: ripgrep, но также поиск в PDF, электронных книгах, документах Office, zip, tar.gz и т.д.
Сбор данных с помощью краулера Xiaohongshu (RED), обратный инжиниринг Xiaohongshu, личные сообщения, прямые трансляции и комплексные решения для работы на Xiaohongshu
CLI для автоматизации браузера, созданный для ИИ-агентов. Прорывайте антибот-барьеры, передавайте задачи людям на разных платформах, когда застряли. Параллельное выполнение нескольких задач, независимая работа с несколькими сессиями, изолированный просмотр с нескольких учетных записей.
Клон для глубоких исследований с открытым исходным кодом. Агент ИИ, который анализирует большие объемы веб-данных, извлеченных с помощью Firecrawl.
Декларативный язык автоматизации данных и среда выполнения Go для структурированных рабочих процессов извлечения.
Извлекать ключевые слова из предложений или заменять ключевые слова в предложениях.
Преемник Undetected-Chromedriver. Предоставляет молниеносно быстрый фреймворк для веб-автоматизации, веб-скрапинга, ботов и любых других творческих идей, которые обычно затрудняются раздражающими антибот-системами, такими как Captcha / CloudFlare / Imperva / hCaptcha.
Примеры кода из книги Web Scraping with Python http://shop.oreilly.com/product/0636920034391.do
Агентный инструмент для извлечения информации на платформах обмена сообщениями. Noria получает сообщения и URL в чате, собирает данные из интернета, чтобы оценивать содержимое по настраиваемым системам критериев (например, для вакансий и стипендий), а затем отправляет структурированную сводку с рассчитанной оценкой соответствия непосредственно на назначенный номер в мессенджере.
Язык, движок и инструменты для выражения, тестирования и оценки компонуемых правил языка на входных строках.
WebCollector — это фреймворк для веб-сканирования с открытым исходным кодом на основе Java. Он предоставляет простые интерфейсы для сканирования Интернета, вы можете настроить многопоточный веб-сканер менее чем за 5 минут.
Мощный сервер Model Context Protocol (MCP), предлагающий комплексное решение для общедоступного веб-доступа.
PdfParser, автономная библиотека PHP, предоставляет различные инструменты для извлечения данных из файла PDF.
Готовый к эксплуатации сервер MCP с функциями поиска, извлечения, картирования и сканирования в реальном времени.
Платформа автоматизации браузера, развернутая локально и не обнаруживаемая. Работает на Camoufox (Firefox) для 0 % вероятности обнаружения. Создана для скорости, приватности и масштабируемости.
Получение информации о результатах поиска Weibo. Поиск может быть как поиском по ключевым словам Weibo, так и поиском по темам Weibo.
DocLayout-YOLO: Улучшение анализа макета документов с помощью разнообразных синтетических данных и адаптивного глобально-локального восприятия
Извлекайте структурированные данные и полезные сведения из документов с помощью больших языковых моделей и моделей принятия решений
Этот инструмент извлекает и отображает данные из функции Recall в Windows 11, предоставляя простой способ доступа к информации о снимках активности вашего ПК.
Интеллектуальный парсер для каталога «Читай-город». Высокоскоростной сбор и структурирование данных по любым заданным параметрам: от ISBN до динамики скидок.
Модуль Python для извлечения провинций, городов и районов из строк на упрощенном китайском языке и выполнения картирования, проверки и простого рисования
Преобразует PDF-файл в текстовый файл, сохраняя исходную разметку PDF. Например, это полезно для извлечения содержимого таблицы из PDF-файла. Является подклассом класса PDFTextStripper из библиотеки Apache PDFBox.
Часто задаваемые вопросы
Какой репозиторий по теме #data-extraction наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #data-extraction на GitHub — firecrawl/firecrawl, набравший 205,758 звёзд. Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.
Какие языки программирования чаще всего используются в репозиториях по теме #data-extraction?
Среди наиболее высоко оценённых проектов по теме #data-extraction на GitHub чаще всего используются языки программирования Python, TypeScript, JavaScript, Rust.
Как рассчитывается рейтинг репозиториев по теме #data-extraction?
Мы отслеживаем 131 активных репозиториев с открытым исходным кодом, отмеченных тегом #data-extraction (500 и более звёзд), с общим числом 729,329 звёзд и в среднем 5,567 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.