1 dépôt
Automation for installing and configuring distributed processing engines on local systems.
Distinct from Big Data Processing: Focuses on the deployment and environment initialization of big data tools rather than the processing methodologies.
Explore 1 awesome GitHub repository matching data & databases · Environment Setup. Refine with filters or upvote what's useful.
Ce projet est une collection de scripts et de fichiers de configuration conçus pour automatiser le déploiement d'outils de développement, d'outils Big Data et de dotfiles système. Il sert de système de provisionnement pour installer des langages, des outils d'analyse de données et des dépendances système à travers diverses piles technologiques. La suite fournit une automatisation spécialisée pour l'onboarding des développeurs macOS et la configuration de flux de travail de science des données en Python. Elle inclut des installateurs dédiés pour des moteurs de traitement distribué comme Spark et Hadoop, ainsi que des environnements pour le développement web et mobile. Le système couvre un large éventail de capacités, incluant la personnalisation de l'environnement shell, la configuration d'éditeurs de texte et de contrôle de version, et la gestion d'environnements virtuels isolés. Il fournit également une variété d'utilitaires en ligne de commande pour la gestion de fichiers, les recherches réseau et l'orchestration des dépendances système.
Provides automated installation and configuration of distributed processing engines like Spark and Hadoop.