Awesome GitHub RepositoriesCloud Batch Processing

CleanRL is a reinforcement learning library and PyTorch framework providing a suite of reproducible implementations for online reinforcement learning algorithms. It serves as a deep reinforcement learning benchmark suite and experiment orchestrator designed for research and agent development across both discrete and continuous action spaces. The project is distinguished by its single-file algorithm implementation approach, which encapsulates each algorithm in a standalone script to eliminate complex class hierarchies. This structure is paired with a system for scheduling and executing large-s

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

This is an educational repository that teaches container orchestration fundamentals through hands-on guides and practical examples. It covers core Kubernetes concepts including Pods, Services, Deployments, and Namespaces, providing step-by-step exercises that demonstrate how to manage containerized applications across a cluster. The tutorials walk through essential Kubernetes capabilities such as decoupling configuration from application code using ConfigMaps and Secrets, exposing Pods with stable network endpoints via Services, and routing external traffic with Ingress controllers. The mater

ZenML is an orchestration platform designed for building, deploying, and monitoring reproducible machine learning pipelines and agentic workflows. It provides a unified framework that manages the entire lifecycle of machine learning assets, from data processing and model training to the deployment of persistent inference services. By decoupling pipeline logic from underlying compute and storage, the platform enables teams to transition workflows seamlessly from local development environments to production-grade cloud infrastructure. The platform distinguishes itself through a service-oriented

Ce projet est un guide complet et une collection de meilleures pratiques pour tester les applications backend Node.js. Il fournit un ensemble curaté de modèles et d'exemples de référence pour écrire des tests unitaires, d'intégration et de composants fiables. Le projet se distingue par des stratégies spécifiques pour l'intégration backend, y compris des méthodes détaillées pour les tests de contrat API par rapport aux spécifications OpenAPI et aux schémas partagés. Il offre des conseils spécialisés sur la gestion des tests de file d'attente de messages, en se concentrant sur l'idempotence, la résilience et la synchronisation asynchrone des événements. Le guide couvre une large gamme de domaines de capacité, y compris l'isolation et le nettoyage de l'état de la base de données, le mocking des dépendances externes via des intercepteurs réseau et des stubs typés, et l'automatisation de l'infrastructure de test conteneurisée. Il aborde également l'optimisation des performances pour les suites de tests via l'utilisation de disques RAM et de moteurs mémoire pour le stockage des données.

GAM is a command-line tool for administering Google Workspace and Cloud Identity. It translates command-line arguments into structured API calls, enabling administrators to manage users, groups, organizational units, and domain settings across a Google Workspace environment. The tool handles authentication through OAuth2 flows, service accounts, and workload identity federation, and supports multi-tenant configurations for managing multiple domains or cloud projects from a single installation. GAM distinguishes itself through its batch processing and automation capabilities. It can process la

This project is a Python software development kit and framework for building applications that integrate with large language models. It serves as a multimodal content generator and vector embedding library, enabling the production and editing of text, images, audio, and video. The toolkit provides specialized capabilities for adapting base models through supervised and reinforcement training. It further distinguishes itself by offering tools for orchestrating complex workflows, including stateful chat sessions, the enforcement of structured output via schemas, and the integration of external

Good Job est un processeur de tâches d'arrière-plan pour Ruby on Rails qui utilise une base de données PostgreSQL comme moteur de stockage principal. En tirant parti des transactions de base de données relationnelle, il garantit une exécution de tâches persistante et fiable, s'intégrant directement au framework Active Job pour gérer les opérations asynchrones et la planification de tâches récurrentes au sein des environnements d'application existants. Le système se distingue par un modèle d'exécution en processus qui permet aux travailleurs d'arrière-plan de s'exécuter au sein du même processus que le serveur web, simplifiant le déploiement en supprimant le besoin de services de travail séparés. Il emploie une exécution de travailleur multithreadée et des verrous consultatifs au niveau de la base de données pour coordonner les tâches sur des processus distribués, garantissant une exécution unique pour les tâches récurrentes et une utilisation efficace des ressources. La bibliothèque fournit des contrôles opérationnels complets, incluant la capacité de regrouper des tâches liées en lots pour un suivi collectif du cycle de vie et l'utilisation de l'insertion en masse pour optimiser l'ingestion de tâches à haute fréquence. Les administrateurs peuvent gérer les limites de concurrence, allouer des pools de threads dédiés pour des files d'attente spécifiques et surveiller la santé du système via un tableau de bord web intégré et personnalisable. Le projet inclut une interface intégrée pour inspecter, mettre en pause et dépanner les tâches en temps réel, ainsi qu'une rétention d'historique configurable pour l'audit et l'analyse des performances.

Map-anything is a 3D scene reconstruction framework and neural geometry estimator designed to transform two-dimensional images into metric three-dimensional spatial representations using feed-forward neural networks. It provides a specialized toolkit for predicting camera intrinsics and ray directions from single images without requiring external geometric metadata. The project includes a 3D model benchmarking suite that utilizes a unified model wrapper to standardize outputs from diverse reconstruction models. This allows for consistent evaluation and accuracy measurement across various spat