Awesome GitHub RepositoriesModel Inference APIs

This project is a structured educational program and machine learning engineering course. It provides a comprehensive curriculum and learning path focused on data science, the development of predictive models, and the operational aspects of MLOps. The instructional material covers the full machine learning lifecycle, moving from basic data engineering to production deployment. This includes guides on wrapping models in APIs, utilizing container-based packaging, and implementing serverless architectures to host models in cloud environments. The program encompasses technical training in predic

Xget ist ein Edge-basierter Netzwerk-Proxy und Request-Router, der darauf ausgelegt ist, die Konnektivität zu optimieren und die Latenz für Remote-Ressourcen zu reduzieren. Er fungiert als leistungsstarke Schnittstelle für KI-Inferenz-API-Anfragen, Container-Registry-Mirroring und die Beschleunigung von Git-Repository-Operationen sowie Software-Paket-Mirrors. Das System zeichnet sich durch protokollbewusstes Proxying aus, das Authentifizierung und Header für Git- und Container-Registries bewahrt. Es nutzt regelbasierte URL-Transformation, um Anfragen auf beschleunigte Upstream-Provider-Endpunkte abzubilden, und verwendet einen Response-Rewriting-Mechanismus, um sicherzustellen, dass Abhängigkeiten über den Proxy heruntergeladen werden. Umfassende Funktionen umfassen Edge-basiertes Response-Caching für unveränderliche Artefakte, Request-Zuverlässigkeit durch lineares Backoff-Retry und Performance-Überwachung, die über Response-Header bereitgestellt wird. Das Projekt bietet zudem eine Befehlszeilenschnittstelle zum Abrufen von Dateien und Ordnern aus Webquellen in den lokalen Speicher. Die Engine unterstützt die Bereitstellung über serverlose Edge-Runtimes, containerisiertes Hosting oder selbst gehostete Container-Ausführung.

OpenShell ist ein Sicherheitsframework und eine sandboxed Ausführungs-Runtime für autonome KI-Agenten. Es bietet isolierte Umgebungen unter Verwendung von Containern und virtuellen Maschinen, um die Host-Infrastruktur und sensible Daten während der Agentenausführung vor unbefugtem Zugriff zu schützen. Das System zeichnet sich durch die Kombination von hardwarebeschleunigtem Passthrough für Host-GPU-Zugriff mit einem Sicherheits-Gateway aus, das Modell-API-Aufrufe abfängt. Dieses Gateway verwaltet Anmeldeinformationen, indem es Aufruferinformationen entfernt und Backend-Geheimnisse injiziert, wodurch sichergestellt wird, dass sensible API-Schlüssel außerhalb des lokalen Dateisystems verbleiben. Die Plattform deckt breite Funktionsbereiche ab, einschließlich deklarativer Richtliniendurchsetzung für Dateisystem- und Netzwerkbeschränkungen, Agenten-Credential-Management und Echtzeit-Aktivitätsüberwachung. Sie unterstützt die Bereitstellung von Umgebungen durch benutzerdefinierte Container-Images, lokale Verzeichnisse oder Community-Kataloge.

wav2letter is an automatic speech recognition toolkit and deep learning framework designed to convert audio speech signals into written text. It functions as a distributed training system and an inference engine for building and deploying neural network architectures. The system enables the training of large-scale speech models across multiple compute nodes using custom architecture files and structured recipes. It includes an inference engine that allows these trained models to be executed within Python workflows to transform audio sequences into text. The framework covers the full speech r

Darkflow ist ein Framework für Objekterkennung und eine Computer-Vision-Pipeline, die eine programmatische Schnittstelle für Echtzeit-Bildanalyse und Objektidentifikation bereitstellt. Es fungiert als Tool zum Laden von Gewichten, zum Fine-Tuning von Modellen und zur Ausführung von Inferenz auf statischen Bildern und Videostreams. Das Projekt dient als Konverter, der Darknet-Konfigurationen und -Gewichte in TensorFlow-Graphen übersetzt, um ein Retraining und Deployment zu ermöglichen. Es enthält einen Model-Exporter, der trainierte Graphen in portable Protobuf-Dateien für den Einsatz auf mobilen und nativen Geräten speichert. Das System deckt Funktionen für das Training und Fine-Tuning von Erkennungsmodellen auf benutzerdefinierten Datensätzen ab und bietet Fortschritts-Checkpoints für die Wiederaufnahme des Trainings. Zudem enthält es Tools für die Übersetzung von Weight-Mappings und die Verarbeitung von Rohbilddaten durch Tensor-Operationen, um Bounding-Boxes und Konfidenzwerte zu erzeugen.

Lucida is a multimodal AI assistant framework and containerized microservice orchestrator. It provides a platform for building agents that process and integrate speech, vision, and text inputs to perform intelligent tasks, supported by a retrieval-augmented generation system for storing and querying factual data from texts, URLs, and images. The framework features a state-graph workflow engine to route user requests through a sequence of microservices using a predefined state machine. It also includes an extensible plugin interface that allows for the integration of custom functional modules

Llama-swap is a local inference orchestrator and API gateway for large language models. It functions as an OpenAI API proxy that manages the lifecycle of multiple local model servers, automatically starting and stopping them to swap models based on incoming request identifiers. The project distinguishes itself through dynamic model swapping and hardware optimization. It utilizes a specialized matrix-based concurrency control to define which models can run simultaneously and employs cost-based eviction to remove inactive servers from memory based on relative resource costs. The system provide

OptiLLM is an inference proxy and gateway router that directs prompts to specific language models based on cost, performance, and provider health. It functions as a middleware layer designed to optimize requests through intelligent routing, load balancing, and context management. The project provides specialized capabilities for data protection by anonymizing personally identifiable information before requests reach a model. It also acts as a reasoning orchestrator and tool integration layer, using inference-time loops and self-reflection to improve accuracy while connecting models to externa