Awesome GitHub RepositoriesInfrastructure Logic Customization

Ce projet est une bibliothèque de référence et une collection de modèles de code d'exemple pour déployer une infrastructure cloud en utilisant l'AWS CDK. Il fournit un ensemble de projets exemples qui démontrent comment définir des ressources de calcul, de stockage et de réseau en utilisant des langages de programmation à usage général. La bibliothèque inclut des implémentations de référence pour divers modèles architecturaux, notamment des backends serverless avec des API GraphQL et WebSocket, l'orchestration de conteneurs avec des équilibreurs de charge et l'auto-scaling, et l'hébergement de sites web statiques globaux via des réseaux de diffusion de contenu (CDN). Elle fournit également des conceptions pour des topologies réseau isolées et l'automatisation de workflows pilotés par événements en utilisant des machines à états. Les capacités couvertes s'étendent à la gestion de bases de données relationnelles, à la configuration de serveurs de transfert de fichiers sécurisés et à l'implémentation d'une autorisation fine. De plus, les exemples démontrent des techniques de personnalisation d'infrastructure, telles que la surcharge des propriétés de ressources et l'intégration de ressources personnalisées.

Seldon Core est un serveur de modèles de machine learning basé sur Kubernetes et un framework d'inférence MLOps. Il fonctionne comme un moteur de service multi-modèles et un orchestrateur de pipelines, empaquetant les modèles sous forme de microservices scalables exposés via des API REST et gRPC standardisées. Le projet se distingue par des pipelines d'inférence basés sur des graphes qui enchaînent les modèles et les transformateurs de données dans des flux de travail séquentiels. Il optimise l'utilisation du matériel via le service partagé multi-modèles et des stratégies de sur-allocation dynamique de mémoire, tout en prenant en charge l'expérimentation en production via le routage de trafic pondéré, les tests A/B et les déploiements fantômes. Le framework couvre un large éventail de capacités MLOps, notamment l'autoscaling basé sur la demande, le traitement asynchrone des requêtes via des bus de messages, et une surveillance complète pour la dérive des données, les valeurs aberrantes et l'explicabilité des prédictions. Il fournit également une gestion de l'infrastructure pour la configuration du runtime des modèles et une communication sécurisée utilisant le chiffrement TLS sur les plans de contrôle et de données.