1 repositorio
Automation for installing and configuring distributed processing engines on local systems.
Distinct from Big Data Processing: Focuses on the deployment and environment initialization of big data tools rather than the processing methodologies.
Explore 1 awesome GitHub repository matching data & databases · Environment Setup. Refine with filters or upvote what's useful.
Este proyecto es una colección de scripts y archivos de configuración diseñados para automatizar el despliegue de conjuntos de herramientas para desarrolladores, herramientas de big data y dotfiles a nivel de sistema. Sirve como un sistema de aprovisionamiento para instalar lenguajes, herramientas de análisis de datos y dependencias del sistema a través de diversos stacks de programación. La suite proporciona automatización especializada para el onboarding de desarrolladores en macOS y la configuración de flujos de trabajo de ciencia de datos en Python. Incluye instaladores dedicados para motores de procesamiento distribuido como Spark y Hadoop, así como entornos para desarrollo web y móvil. El sistema cubre un amplio rango de capacidades, incluyendo personalización del entorno shell, configuración de editores de texto y control de versiones, y la gestión de entornos virtuales aislados. También proporciona una variedad de utilidades de línea de comandos para gestión de archivos, búsquedas de red y orquestación de dependencias del sistema.
Provides automated installation and configuration of distributed processing engines like Spark and Hadoop.