#crawler Репозитории
Откройте для себя 162 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #crawler, с общим числом 1,111,814 звёзд (в среднем 6,863 на проект). Лидером этой темы является firecrawl/firecrawl, набравший 205,758 звёзд.
Всего репозиториев: 162
Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.
🕷️ ЛУЧШИЙ фреймворк для веб-скрейпинга, который справится со всем: от одного запроса до масштабного обхода сайтов! Не стесняйтесь — присоединяйтесь здесь: https://discord.gg/EMgGbDceNQ и подписывайтесь здесь, чтобы ежедневно получать советы и полезные приёмы: https://x.com/Scrapling_dev
Официальный Crawl4AI Cloud: размещённый в облаке API для веб-скрейпинга, извлечения данных и поиска для ИИ-агентов. Бесплатный API-ключ, 1 000 кредитов в месяц, банковская карта не нужна. Полностью открытый исходный код: в этом репозитории находится краулер под лицензией Apache-2.0, на котором работает сервис; его можно развернуть самостоятельно.
Визуальный no-code веб-краулер/паук: программное обеспечение для автоматизации браузера, сбора данных и веб-скрейпинга, позволяющее проектировать и выполнять задачи парсинга без написания кода. Псевдоним: ServiceWrapper, интеллектуальная система инкапсуляции сервисов для веб-приложений.
Crawlee—Библиотека для веб-скрейпинга и автоматизации браузера для Node.js для создания надежных краулеров. На JavaScript и TypeScript. Извлечение данных для ИИ, LLM, RAG или GPT. Загрузка HTML, PDF, JPG, PNG и других файлов с сайтов. Работает с Puppeteer, Playwright, Cheerio, JSDOM и чистым HTTP. В режимах с видимой головой и headless. С ротацией прокси.
🚀 Самостоятельно размещаемый API для сбора данных с Douyin, TikTok и Bilibili и скачивания видео без водяных знаков. Поддерживает вызовы ИИ-агентов через MCP и офлайн-преобразование речи в текст. Развёртывание Docker в один клик. | Самостоятельно размещаемый парсер TikTok, Douyin и Bilibili и загрузчик видео без водяных знаков: асинхронный REST API, MCP-сервер для ИИ-агентов, CLI и веб-консоль, а также офлайн-преобразование речи в текст для скачанных видео. Самовосстанавливающийся пул идентификаторов, архив PostgreSQL и запуск одной командой `docker compose up`.
Превратите любой веб-сайт в структурированный API. Извлекайте данные, автоматизируйте процессы, выполняйте поиск и отслеживайте веб-пространство.
newspaper3k — это инструмент для извлечения новостей, полного текста и метаданных статей на Python 3. Расширенная документация:
Некоторые очень интересные примеры краулеров на Python, дружелюбные для новичков, в основном для парсинга сайтов вроде Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ и т.д. (Some interesting examples of python crawlers that are friendly to beginners.)
Распределенная платформа администрирования веб-краулера для управления пауками независимо от языков и фреймворков. 分布式爬虫管理平台,支持任何语言和框架
Скрипт на Python. Эмуляция входа в Zhihu, веб‑скрейпинг, работа с Excel, публичный аккаунт WeChat, удалённый запуск.
Система управления AV-фильмами, avmoo, javbus, javlibrary Crawler, Онлайн-библиотека AV-фильмов, База данных AV-магнитных ссылок, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database
Crawlee — библиотека для веб-скрейпинга и автоматизации браузера на Python, позволяющая создавать надёжные краулеры. Извлекайте структурированные данные с помощью LLM через Pydantic AI или управляйте браузером на естественном языке с помощью Stagehand. Совместима с BeautifulSoup, Parsel, Playwright и низкоуровневым HTTP. Скачивайте HTML, PDF, изображения и другие файлы. Ротация прокси включена.
Агент по привлечению клиентов через собственные медиа, разработанный специально для OPC и малого и среднего бизнеса
Список библиотек, инструментов и API для веб-скрейпинга и обработки данных.
Python API для JMComic | Предоставляет доступ к JinManTiantang через API Python, поддерживая как веб-, так и мобильные версии | Загрузчик JinManTiantang GitHub Actions🚀
Инструмент Python и командной строки для сбора текста и метаданных в Интернете: Краулинг, скрейпинг, извлечение, вывод в формате CSV, JSON, HTML, MD, TXT, XML
Интерфейс краулера публичных аккаунтов WeChat на основе поиска WeChat от Sogou
Практика 🐍 различных сайтов, краулеры данных электронной коммерции 🕷. Включает 🕸: Товары Taobao, публичные аккаунты WeChat, Dianping, Qichacha, сайты вакансий, Xianyu, задачи Ali, Cnblogs, Weibo, Baidu Tieba, фильмы Douban, Baotu.com, Quan jing wang, музыка Douban, бюро по надзору за лекарствами какой-то провинции, новости Sohu, сбор текста машинного обучения, сбор активов fofa, Autohome, Национальное бюро статистики, количество включений ключевых слов Baidu, общий каталог пауков, Toutiao, рецензии на фильмы Douban, Ctrip, магазин приложений Xiaomi, Anjuke, гостевые дома Tujia ❤️❤️❤️. Демонстрационный проект краулера WeChat:
Анализ систем защиты от ботов с доступными контрмерами 🚿. Как победить систему защиты от ботов 👻 и обойти скрипты сбора отпечатков браузера 🕵️♂️ при веб-скрейпинге?
Этот проект предназначен для сбора всех новостей, документов и законодательных актов, связанных с судебными и нарушениями, касающимися разработчиков веб‑скрейперов в материковой Китае. Он направлен на помощь специалистам отрасли веб‑скрейпинга, работающим в материковой Китае, в понимании соответствующих законов и избежание нарушения норм соблюдения данных.
Краулер Sina Weibo, с использованием Python для извлечения данных Sina Weibo и скачивания изображений и видео Weibo
Управляемый сообществом способ читать и общаться с ИИ-ботами, работающий на chatGPT.
Инструмент для скачивания комиксов и романов:腾讯漫画 大角虫漫画 有妖气 咪咕 SF漫画 哦漫画 看漫画 漫画柜 汗汗酷漫 動漫伊甸園 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 無限動漫 動漫狂 卡推漫画 动漫之家 动漫屋 古风漫画网 36漫画网 亲亲漫画网 乙女漫画 webtoons 咚漫 ニコニコ静画 ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub.
DotnetSpider, библиотека веб-краулинга по стандарту .NET. Это легковесный, эффективный и быстрый фреймворк высокого уровня для веб-краулинга и скрейпинга.
Прокси [Поисковик | Проверяльщик | Сервер]. HTTP(S) & SOCKS :performing_arts:
Интеллектуальный пул прокси для людей™ для извлечения контента из интернета и создания собственных больших языковых моделей в эту новую эпоху ИИ
Возьмите список доменов, обходите URL и сканируйте на наличие конечных точек, секретов, ключей API, расширений файлов, токенов и многого другого.
Мониторинг · сбор · републикация контента на разных платформах. Одна веб-панель для управления Douyin / Xiaohongshu / Kuaishou / каналами WeChat / TikTok / Bilibili / Instagram / международной версией Xiaohongshu (rednote)
🚀🚀🚀feapder — это простой в использовании и мощный фреймворк для веб-скрапинга | feapder — это простой в использовании и мощный фреймворк для веб-скрапинга на Python. Он имеет четыре встроенных типа пауков: AirSpider, Spider, TaskSpider и BatchSpider, для удовлетворения потребностей различных сценариев. Он поддерживает такие функции, как возобновление с точки останова, мониторинг и оповещения, рендеринг браузера и дедупликация огромных объемов данных. Кроме того, мощная система управления пауками feaplat обеспечивает удобное развертывание и планирование.
Инструмент все в одном для сбора информации, сканирования уязвимостей и краулинга. Обязательный инструмент для всех пентестеров
Videodl: Лёгкий видеоскачиватель, написанный на чистом Python. (Лёгкий видеоскачиватель, приоритет HD без водяных знаков, поддерживает Douyin, Kuaishou, Xiaohongshu, Bilibili, TikTok, YouTube, FIFA+, Youku, Tencent Video, iQIYI, 1905 Movie Network, LeTV, Mango TV, Migu, PPTV, Sohu, Facebook, Twitter, Sina Weibo, Today’s Headlines, NetEase Open Classes, 全民K歌, CCTV, Kugou MV, New Film, Zhihu, Baidu Tieba, TED и другие крупные стриминговые платформы.)
Часто задаваемые вопросы
Какой репозиторий по теме #crawler наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #crawler на GitHub — firecrawl/firecrawl, набравший 205,758 звёзд. Инфраструктура знаний, которая делает ваших агентов умнее. Ищите, собирайте и используйте данные более чем 550 поставщиков через единый API.
Какие языки программирования чаще всего используются в репозиториях по теме #crawler?
Среди наиболее высоко оценённых проектов по теме #crawler на GitHub чаще всего используются языки программирования Python, Go, TypeScript, JavaScript.
Как рассчитывается рейтинг репозиториев по теме #crawler?
Мы отслеживаем 162 активных репозиториев с открытым исходным кодом, отмеченных тегом #crawler (500 и более звёзд), с общим числом 1,111,814 звёзд и в среднем 6,863 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.