Awesome GitHub RepositoriesToken Throughput Measurement

Promptflow ist ein Entwicklungs-Framework und Orchestrator für den Aufbau von Anwendungen, die auf Large Language Models basieren. Es fungiert als Tool-Suite für das Design, die Orchestrierung und das Deployment von KI-Workflows, indem Prompts, benutzerdefinierter Python-Code und Sprachmodelle zu ausführbaren Sequenzen verknüpft werden. Das Projekt zeichnet sich durch einen visuellen KI-Workflow-Designer aus, der die Erstellung von gerichteten azyklischen Graphen (DAGs) aus Logik-Knoten ermöglicht. Es bietet eine dedizierte Prompt-Engineering-Umgebung für Versionierung und Vergleich von Templates sowie zustandsbehaftetes Execution-Tracing, um Funktionsaufrufe und Variablenwerte für schrittweises Debugging aufzuzeichnen. Die Plattform deckt ein breites Funktionsspektrum ab, einschließlich Retrieval Augmented Generation (RAG) via Vektordatenbank-Lookups und metrikgesteuerte Evaluierungspipelines für Batch-Tests und Qualitätssicherung. Sie deckt den gesamten Lebenszyklus von der Entwicklung bis zur Produktion ab, durch containerisiertes Deployment, Workflow-Endpoint-Serving und sicheres Verbindungsmanagement für API-Anmeldedaten. Ein Command-Line-Interface (CLI) und ein SDK für Workflow-Validierung und Integration in automatisierte CI/CD-Pipelines sind enthalten.

pysheeet ist eine technische Referenzbibliothek, die eine kuratierte Sammlung von Code-Snippets und Implementierungsmustern für fortgeschrittene Python-Entwicklung, Systemintegration und High-Performance-Computing bereitstellt. Sie dient als umfassender Leitfaden für die Implementierung von Low-Level-Netzwerkprogrammierung, nativen C-Erweiterungen sowie asynchroner und nebenläufiger Programmierung. Das Projekt bietet spezialisierte Frameworks für die Entwicklung und Bereitstellung von Large Language Models, einschließlich Werkzeugen für verteilte GPU-Inferenz und High-Performance-Serving. Es enthält zudem detaillierte Muster für die Orchestrierung von High-Performance-Computing-Clustern, die GPU-Ressourcenzuweisung und Multi-Node-Workload-Management abdecken. Die Bibliothek deckt ein breites Spektrum an Funktionen ab, einschließlich sicherer Netzwerkkommunikation und Kryptografie, Object-Relational-Mapping und Datenbankverwaltung sowie die Implementierung komplexer Datenstrukturen und Algorithmen. Sie bietet zudem Utilities für Speicherverwaltung, native Interoperabilität via Foreign-Function-Interfaces und systemnahe OS-Integration.

LightLLM is a high-performance serving framework for deploying and executing large language models. It functions as a multi-GPU inference engine and server capable of handling dense architectures, mixture-of-experts designs, and multimodal models that process both text and images. The system is distinguished by its specialized support for Mixture-of-Experts models using expert parallelism and fused kernels. It implements structured text generation through deterministic state machines and pushdown automata to enforce precise output formats. To optimize throughput, the framework employs specula

lmms-eval is a benchmarking system and performance analysis suite designed to measure the capabilities of large multimodal models. It provides a framework for evaluating models across text, image, audio, and video datasets, serving as a multimodal dataset orchestrator and benchmarking tool to quantify accuracy and efficiency. The project distinguishes itself through a unified multimodal message protocol that structures diverse media inputs for consistent model consumption. It features specialized benchmarking for audio, video, visual, document, and spatial reasoning, alongside tools for model