#pyspark Репозитории
Откройте для себя 35 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #pyspark, с общим числом 60,070 звёзд (в среднем 1,716 на проект). Лидером этой темы является ibis-project/ibis, набравший 6,705 звёзд.
Всего репозиториев: 35
Простая и распределенная библиотека машинного обучения на Python для переноса алгоритмов ML в Spark
Полностью совместимая замена Apache Spark, написанная на Rust, объединяющая пакетную обработку, потоковую обработку и вычислительно интенсивные AI-нагрузки.
Apache Linkis создает слой вычислительного промежуточного ПО, чтобы облегчить соединение, управление и оркестрацию между верхними приложениями и нижележащими двигателями данных.
Библиотека Petastorm обеспечивает обучение и оценку моделей глубокого обучения на одном компьютере или в распределенной среде из наборов данных в формате Apache Parquet. Она поддерживает ML-фреймворки, такие как Tensorflow, Pytorch и PySpark, и может использоваться из чистого кода Python.
Учебные пособия по Apache Spark & Python (pySpark) для анализа больших данных и машинного обучения в виде IPython / Jupyter блокнотов
:truck: Гибкие рабочие процессы подготовки данных, упрощенные с помощью Pandas, Dask, cuDF, Dask-cuDF, Vaex и PySpark
Магические команды и ядра Jupyter для работы с удалёнными кластерами Spark
Hopsworks - Платформа ИИ с интенсивным использованием данных и хранилищем признаков
PySpark-Tutorial предоставляет базовые алгоритмы с использованием PySpark
GraphFrames — это пакет для Apache Spark, который предоставляет графы на основе DataFrame.
Публичные исполняемые примеры использования NLP от John Snow Labs для Apache Spark.
Книга "MapReduce, Spark, Java и Scala для алгоритмов обработки данных"
Автоматически создавайте Faiss knn индексы с наиболее оптимальными параметрами поиска по сходству.
80+ инструментов CLI DevOps и данных - AWS, GCP, GCF Python Cloud Functions, Log Anonymizer, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Конвертеры и валидаторы данных Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr и т.д.
Python-фреймворк для создания эффективных конвейеров данных. Он способствует модульности и сотрудничеству, позволяя создавать сложные конвейеры из простых, многократно используемых компонентов.
Scriptis предназначен для интерактивного анализа данных с разработкой скриптов (SQL, PySpark, HiveQL), отправкой задач (Spark, Hive), UDF, функциями, управлением ресурсами и интеллектуальной диагностикой.
Сравнение Pandas, Polars, Spark и Snowpark DataFrame для людей и многое другое!
Изучите Apache Spark на Scala, Python (PySpark) и R (SparkR), создав собственный кластер с интерфейсом JupyterLab на Docker. :zap:
Быстро создавайте релевантные синтетические данные для своих проектов. Генератор синтетических данных Databricks Labs (также известный как `dbldatagen`) можно использовать для создания больших наборов симулированных или синтетических данных для тестирования, проверки концепции (POC) и других целей в средах Databricks, включая конвейеры Delta Live Tables.
Часто задаваемые вопросы
Какой репозиторий по теме #pyspark наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #pyspark на GitHub — ibis-project/ibis, набравший 6,705 звёзд. переносимая библиотека Python для работы с датафреймами
Какие языки программирования чаще всего используются в репозиториях по теме #pyspark?
Среди наиболее высоко оценённых проектов по теме #pyspark на GitHub чаще всего используются языки программирования Python, Scala, Jupyter Notebook, Java.
Как рассчитывается рейтинг репозиториев по теме #pyspark?
Мы отслеживаем 35 активных репозиториев с открытым исходным кодом, отмеченных тегом #pyspark (500 и более звёзд), с общим числом 60,070 звёзд и в среднем 1,716 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.