#pyspark Repositorios
Descubre 35 repositorios activos de código abierto de GitHub etiquetados con #pyspark, que acumulan 60,070 estrellas en total (una media de 1,716 estrellas por proyecto). El líder de este tema es ibis-project/ibis, con 6,705 estrellas.
35 repositorios en total
Biblioteca de Python de aprendizaje automático simple y distribuido que transfiere algoritmos de ML a Spark
Sustituto drop-in de Apache Spark escrito en Rust, que unifica el procesamiento por lotes, el procesamiento en streaming y las cargas de trabajo de IA intensivas en cómputo.
Apache Linkis construye una capa de middleware de cómputo para facilitar la conexión, gobernanza y orquestación entre las aplicaciones superiores y los motores de datos subyacentes.
La biblioteca Petastorm permite el entrenamiento y la evaluación de modelos de aprendizaje profundo en una sola máquina o de forma distribuida a partir de conjuntos de datos en formato Apache Parquet. Admite marcos de ML como Tensorflow, Pytorch y PySpark y se puede utilizar desde código Python puro.
¡Capa de compatibilidad ligera y extensible entre bibliotecas de dataframes!
Tutoriales de Apache Spark & Python (pySpark) para el Análisis de Big Data y Machine Learning como cuadernos IPython / Jupyter
:truck: Flujos de trabajo de preparación de datos ágiles hechos fáciles con Pandas, Dask, cuDF, Dask-cuDF, Vaex y PySpark
Magias y kernels de Jupyter para trabajar con clústeres Spark remotos
GraphFrames es un paquete para Apache Spark que proporciona grafos basados en DataFrame.
Ejemplos públicos ejecutables de uso de NLP de John Snow Labs para Apache Spark.
Cree automáticamente índices Faiss knn con los parámetros de búsqueda de similitud más óptimos.
80+ Herramientas CLI de DevOps y Datos - AWS, GCP, Funciones en la Nube Python GCF, Anonimizador de Registros, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Convertidores y Validadores de Datos Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr etc.
Framework de Python para construir pipelines de datos eficientes. Promueve la modularidad y la colaboración, permitiendo la creación de pipelines complejos a partir de componentes simples y reutilizables.
Scriptis es para el análisis de datos interactivo con desarrollo de scripts (SQL, PySpark, HiveQL), envío de tareas (Spark, Hive), UDF, funciones, gestión de recursos y diagnóstico inteligente.
Las bibliotecas de AWS Glue son adiciones y mejoras a Spark para operaciones ETL.
Comparación de Pandas, Polars, Spark y Snowpark DataFrame para humanos y más!
Aprenda Apache Spark en Scala, Python (PySpark) y R (SparkR) construyendo su propio clúster con una interfaz JupyterLab en Docker. :zap:
Genere rápidamente datos sintéticos relevantes para sus proyectos. El generador de datos sintéticos de Databricks Labs (también conocido como `dbldatagen`) puede utilizarse para generar grandes conjuntos de datos simulados o sintéticos para pruebas, pruebas de concepto (POC) y otros usos en entornos de Databricks, incluidos los pipelines de Delta Live Tables.
Preguntas frecuentes
¿Cuál es el repositorio de #pyspark más popular en GitHub?
El proyecto de código abierto de #pyspark mejor posicionado en GitHub es ibis-project/ibis, con 6,705 estrellas. la biblioteca de dataframes de Python portátil
¿Qué lenguajes de programación se utilizan más en los repositorios de #pyspark?
Entre los proyectos de #pyspark mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Scala, Jupyter Notebook, Java.
¿Cómo se calcula la clasificación de los repositorios de #pyspark?
Seguimos 35 repositorios activos de código abierto etiquetados con #pyspark (500+ estrellas), que suman un total de 60,070 estrellas, con una media de 1,716 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.