1 repositorio
Awesome GitHub RepositoriesShuffle Block Trackers
Mechanisms to locate and fetch specific data blocks from remote worker nodes during a shuffle.
Distinct from Data Location Trackers: Focuses on the active retrieval of shuffle blocks via a tracker, not just static location tracking.
Explore 1 awesome GitHub repository matching data & databases · Shuffle Block Trackers. Refine with filters or upvote what's useful.
Awesome Shuffle Block Trackers GitHub Repositories
Encuentra los mejores repositorios con IA.Buscaremos los repositorios que mejor coincidan usando IA.
- jerrylead/sparkinternals
JerryLead/SparkInternals
5,363Ver en GitHubSparkInternals es una referencia técnica y guía de arquitectura que detalla el diseño interno y la implementación del motor de computación distribuida Apache Spark. Sirve como un estudio de análisis de motores de big data, centrándose en cómo el sistema gestiona la ejecución en clúster y la interacción entre nodos driver, ejecutores y workers. El proyecto proporciona un desglose detallado de cómo los planes lógicos se convierten en etapas de ejecución física. Analiza específicamente la mecánica de las operaciones de shuffle de datos, la gestión de memoria y la coordinación de la programación de trabajos distribuidos. La documentación cubre una amplia gama de capacidades de computación distribuida, incluyendo la planificación de ejecución de consultas, la gestión de dependencias de datos y estrategias de caché en memoria. También examina la distribución de tareas, la ejecución paralela y los procesos utilizados para la recuperación ante fallos y la persistencia de datos.
Retrieves distributed data segments from multiple worker nodes using a tracker to locate and fetch blocks.
