Awesome GitHub RepositoriesInfrastructure Logic Customization

Dieses Projekt ist eine Referenzbibliothek und eine Sammlung von Beispiel-Code-Mustern für die Bereitstellung von Cloud-Infrastruktur mithilfe des AWS CDK. Es bietet eine Reihe von Beispielprojekten, die demonstrieren, wie Rechen-, Speicher- und Netzwerkressourcen mithilfe allgemeiner Programmiersprachen definiert werden. Die Bibliothek enthält Referenzimplementierungen für verschiedene Architekturmuster, einschließlich serverloser Backends mit GraphQL- und WebSocket-APIs, Container-Orchestrierung mit Load Balancern und Auto-Scaling sowie globales Hosting statischer Websites via Content Delivery Networks. Sie bietet zudem Entwürfe für isolierte Netzwerktopologien und ereignisgesteuerte Workflow-Automatisierung mithilfe von Zustandsmaschinen. Die abgedeckten Funktionen erstrecken sich auf die Verwaltung relationaler Datenbanken, die Konfiguration sicherer Dateiübertragungsserver und die Implementierung fein abgestufter Autorisierung. Zusätzlich demonstrieren die Beispiele Techniken zur Infrastrukturanpassung, wie das Überschreiben von Ressourceneigenschaften und die Integration benutzerdefinierter Ressourcen.

Seldon Core ist ein auf Kubernetes basierender Server für Machine-Learning-Modelle und ein MLOps-Inference-Framework. Es fungiert als Serving-Engine für mehrere Modelle und als Pipeline-Orchestrator, der Modelle als skalierbare Microservices verpackt, die über standardisierte REST- und gRPC-APIs bereitgestellt werden. Das Projekt zeichnet sich durch graphbasierte Inference-Pipelines aus, die Modelle und Datentransformatoren zu sequenziellen Workflows verketten. Es optimiert die Hardwareauslastung durch Shared-Serving für mehrere Modelle und Strategien für dynamisches Memory-Overcommit, während es gleichzeitig Produktionsexperimente durch gewichtetes Traffic-Routing, A/B-Tests und Shadow-Deployments unterstützt. Das Framework deckt ein breites Spektrum an MLOps-Funktionen ab, darunter bedarfsgesteuertes Autoscaling, asynchrone Request-Verarbeitung über Message-Busse sowie umfassendes Monitoring für Data Drift, Ausreißer und die Erklärbarkeit von Vorhersagen. Es bietet zudem Infrastrukturmanagement für die Konfiguration der Modell-Runtime und sichere Kommunikation mittels TLS-Verschlüsselung über Control- und Data-Planes hinweg.