#data-extraction Репозитории
Всего репозиториев: 131
:truck: Гибкие рабочие процессы подготовки данных, упрощенные с помощью Pandas, Dask, cuDF, Dask-cuDF, Vaex и PySpark
Сервер с открытым исходным кодом API для парсинга таких платформ, как Douyin (a_bogus последняя версия), Kuaishou, Bilibili, Xiaohongshu, Taobao, JD.com, Weibo и т. д. Быстрое развертывание в один клик с помощью Docker.
Инструмент для запроса конфиденциальной информации из heapdump, например, для поиска паролей в открытом виде, AK, SK и т. д. в heapdumps spring
Легко извлекайте данные с помощью нашего API для скрапинга на базе ИИ. Упростите извлечение данных, получайте чистый JSON-вывод и адаптируйтесь к изменениям страниц. Попробуйте бесплатно прямо сейчас!
Удобный для начинающих, но мощный набор инструментов Python для финансового анализа и автоматизации, созданный, чтобы сделать современные инвестиции доступными для всех
Flyscrape — это инструмент для веб-скрейпинга командной строки, разработанный для тех, кто не обладает продвинутыми навыками программирования.
Dianping Crawler (можно сканировать весь сайт, решает проблему шифрования динамических шрифтов, без OCR). Постоянное обновление
CommonForms — открытые модели для автоматического обнаружения полей формы PDF
Инструмент обогащения данных на базе ИИ, который преобразует электронные письма в богатые наборы данных с профилями компаний, данными о финансировании, технологическими стеками и многим другим с помощью Firecrawl и мультиагентного ИИ
Быстрая и легкая альтернатива Firecrawl/Tavily на Rust. Веб-скрейпер, краулер и API поиска с MCP-сервером для ИИ-агентов. API с поддержкой Firecrawl (/scrape, /crawl, /search). В 2,3 раза быстрее Tavily и в 1,5 раза быстрее Firecrawl в тестах на 1000 URL. 6 МБ ОЗУ, один бинарный файл. Самохостинг или управляемое облако.
Самая быстрая библиотека PDF для Python и Rust. Извлечение текста, извлечение изображений, конвертация в markdown, создание и редактирование PDF. Среднее время 0,8 мс, в 5 раз быстрее лидеров отрасли, 100% успешность на 3830 PDF. MIT/Apache-2.0.
⛏️ Движок извлечения, лежащий в основе Maigret: превратите любой URL-адрес профиля в структурированную запись OSINT на более чем 150 сайтах
Библиотека на Rust для извлечения полезных данных из HTML-документов, подходящая для веб-скрейпинга.
Библиотека для предоставления простого клиентского интерфейса к REST API Strava (v3).
Ранжирование результатов поиска Google Scholar на основе количества цитирований
Используется для экспорта словарных баз данных MoMo Vokabeltrainer и создания пользовательских словарных баз данных, подходящих для List Vokabeltrainer, BuBei Vokabeltrainer, Oulu Dictionary и т. д.
Локальный, с открытым исходным кодом ИИ-помощник для ваших данных. Объединяет задачи, заметки, документы, фотографии и закладки. Частный, с возможностью самостоятельного размещения и расширяемый через API.
Версия goose, совместимая с Python 3 http://goose3.readthedocs.io/en/latest/index.html
Инструмент командной строки и API для бесплатного получения данных из Twitter!
Конкурс 2019CCF-BDCI Лауреат премии за лучшее инновационное исследование Чемпион по теме извлечения элементов удостоверения личности на основе OCR Команда Тяньчэнь Посяо Исходный код темы
Получите программный доступ к вашим данным отслеживания питания, хранящимся в MyFitnessPal
Каркас управления данными для Python, предоставляющий функциональность для описания, извлечения, проверки и преобразования табличных данных
Чат-бот/фреймворк GraphRAG, который создает мульти-LLM-агентов из комментариев пользователей социальных платформ и позволяет им обсуждать конкретные темы.
Расширение для браузера: в основном используется для заметок в WeChat Read и будет весьма полезно для читателей, часто использующих Markdown для заметок.