Awesome GitHub RepositoriesAsynchronous Request Processing

Perspective is a columnar data analytics engine and high-performance visualization component powered by WebAssembly. It provides a system for analyzing and visualizing large or streaming datasets through interactive data grids and charts, utilizing a compiled binary to achieve near-native performance within the browser. The project distinguishes itself through a WebSocket-based data streaming interface and deep Apache Arrow integration, which minimize memory overhead when synchronizing tables between servers and clients. It acts as a remote query proxy capable of translating visualization con

Llama-stack ist ein standardisierter Orchestrierungs-Stack und ein API-Gateway für generative KI. Es bietet eine einheitliche Kommunikationsschicht und eine konsistente Schnittstelle für die Bereitstellung, Verwaltung und Interaktion mit verschiedenen Anbietern und Deployments von Large Language Models. Das System fungiert als Agenten-Framework, das die Aufgabenausführung und versionierte Skill-Bundles verwaltet, um komplexe Aufgaben zu automatisieren. Es enthält ein Batch-Verarbeitungssystem für die Handhabung großer Mengen asynchroner Anfragen durch Offline-Verarbeitung sowie eine Vektordatenbank-Schnittstelle zum Speichern und Durchsuchen von Dokumenten, um Retrieval Augmented Generation zu ermöglichen. Der Stack deckt hochrangige Funktionen ab, einschließlich KI-Agenten-Orchestrierung, Modell-Deployment und die Standardisierung von Modell-APIs, um den Wechsel zwischen Anbietern zu ermöglichen, ohne den Anwendungscode umschreiben zu müssen.

ChatTTS-ui ist ein webbasiertes Interface und ein API-Wrapper für das ChatTTS-Modell, das entwickelt wurde, um geschriebenen Text und gemischte Spracheingaben in gesprochenes Audio umzuwandeln. Es fungiert als KI-Sprachsynthese-Dashboard und als programmatischer Generator für die Erstellung natürlicher Sprachausgabe. Das Projekt konzentriert sich auf die Erstellung benutzerdefinierter Sprachprofile und die Steuerung von Sprachnuancen. Es ermöglicht die Beibehaltung konsistenter Sprechereigenschaften mithilfe von Seed-Werten und Datendateien und bietet gleichzeitig Kontrollen für Tonfall, Lachen und Pausen durch Verhaltens-Prompts und Sampling-Parameter. Das System umfasst eine Client-Server-Architektur, die asynchrone Audioverarbeitung handhabt und eine programmatische Schnittstelle für die Integration externer Anwendungen bietet. Es verwaltet Sprachprofile und Audiokonfigurationen über ein zustandsverwaltetes Interface, um eine konsistente Synthese zu gewährleisten.

Cloud Custodian ist eine Multi-Cloud-Governance-Engine und ein Richtliniendurchsetzungstool, das dazu entwickelt wurde, Sicherheit, Compliance und Kostenoptimierung über verschiedene Cloud-Anbieter hinweg zu automatisieren. Es fungiert als Regel-Engine, die eine deklarative, domänenspezifische Sprache verwendet, um Cloud-Ressourcen abzufragen und korrigierende Maßnahmen basierend auf vordefinierten Filtern auszuführen. Das System arbeitet als serverloser Richtlinien-Orchestrator, der anbieterspezifische Funktionen bereitstellt, um eine Echtzeit-Durchsetzung als Reaktion auf Änderungen an Cloud-Ressourcen auszulösen. Es bietet eine anbieterunabhängige Ressourcenabstraktion, um konsistente operative Richtlinien über mehrere Konten, Abonnements und Projekte hinweg aufrechtzuerhalten. Die Funktionen decken die Prüfung der Cloud-Infrastruktur ab, einschließlich der Analyse von Assets innerhalb von Continuous-Integration-Pipelines und der Generierung von Compliance-Berichten. Das Tool unterstützt zudem die Kostenoptimierung, um ungenutzte Ressourcen zu identifizieren und zu entfernen, und enthält einen Simulationsmodus, um betroffene Ressourcen zu identifizieren, ohne tatsächliche Änderungen anzuwenden.

Dieses Projekt ist ein PHP-API-Client und SDK für die Integration von OpenAI-Diensten in PHP-Anwendungen. Es dient als Integrationsbibliothek und Wrapper für die Interaktion mit großen Sprachmodellen zur Generierung von Text, Bildern und Audio via REST-API-Aufrufen. Die Bibliothek bietet spezialisierte Orchestrierung für KI-Assistenten, verwaltet Konversationsthreads und Vektorspeicher. Sie enthält zudem Werkzeuge für benutzerdefiniertes Modell-Fine-Tuning, die Implementierung semantischer Suche durch Text-Embeddings sowie Audioverarbeitung für Transkription und Synthese. Die Funktionsfläche deckt Content-Moderation, Dateimanagement und die Handhabung von Chat- und Text-Completions ab. Sie unterstützt Echtzeit-Datenbereitstellung via Server-Sent-Events-Streaming, asynchrone Batch-Verarbeitung und die Verifizierung von Webhook-Signaturen.

NGINX Unit is an open-source application server designed to natively execute code across multiple programming language runtimes and WebAssembly within a single process. It serves as a multi-language application server that can run applications written in Go, Java, Node.js, Perl, PHP, Python, Ruby, and WebAssembly side by side, without requiring separate runtime environments for each language. The server distinguishes itself through a RESTful JSON control API that enables dynamic, zero-downtime configuration changes without restarting the server. It combines event-driven asynchronous I/O with

Clarity-upscaler ist ein KI-Tool zur Bildskalierung und -verbesserung, das Deep-Learning-Modelle nutzt, um die Bildauflösung zu erhöhen und visuelle Details wiederherzustellen. Es fungiert als Inference-Engine für Super-Resolution, die neuronale Netze einsetzt, um fehlende Pixel vorherzusagen und hochfrequente Details aus niedrig aufgelösten Quellen zu synthetisieren. Das Projekt wird als programmierbare API bereitgestellt, die die Integration automatisierter, hochauflösender Bildverarbeitung und Schärfung in externe Anwendungen und Workflows ermöglicht. Diese Schnittstelle erlaubt das programmatische Hochskalieren von Bildern zur Erstellung hochauflösender Assets. Das System bietet Funktionen zur automatisierten Bildverbesserung, entfernt Rauschen und verbessert die Klarheit, um schärfere Versionen qualitativ minderwertiger Bilder zu erzeugen. Es bewältigt diese Aufgaben durch eine entkoppelte Client-Server-Architektur, die die rechenintensive Machine-Learning-Inferenz verwaltet.

Dieses Projekt dient als umfassende Referenzarchitektur und Leitfaden für Best Practices bei der Entwicklung skalierbarer Anwendungen mit dem Spring Boot Framework. Es bietet einen strukturellen Bauplan für die Java-Backend-Entwicklung mit Fokus auf die Implementierung entkoppelter APIs und die Etablierung architektonischer Standards. Das Projekt beschreibt spezifisch die Erstellung benutzerdefinierter Starter und Auto-Konfigurationsmodule, um die Integration von Drittanbieter-Bibliotheken zu vereinfachen. Es bietet zudem einen Deployment-Bauplan für das Packaging von Anwendungen als ausführbare JARs und die Optimierung von Layered Builds für containerisierte Cloud-Umgebungen. Das Funktionsspektrum umfasst Performance-Tuning durch Memory-Caching und asynchrone Verarbeitung sowie die Synchronisation verteilter Systeme mittels verteilter Locks und Message-Brokern. Weitere Themen sind die Verwaltung der Datenpersistenz, Datenbankmigrationen, automatisierte Aufgabenplanung und die Implementierung aspektorientierter Programmierung für querschnittliche Belange.

udemy-dl ist ein Python-Kommandozeilentool und Web-Content-Scraper, der entwickelt wurde, um Udemy-Kursvideos, Untertitel und ergänzende Materialien für den persönlichen Offline-Gebrauch herunterzuladen. Es fungiert als Kursmedien-Archivierer, der sich über Benutzerdaten oder Cookies authentifiziert, um eingeschränkte Medien und Metadaten abzurufen. Das Utility zeichnet sich durch Batch-Medienabruf aus, der das sequentielle Herunterladen mehrerer Kurse aus einer URL-Liste ermöglicht. Es bietet granulare Kontrolle über den Archivierungsprozess, einschließlich der Möglichkeit, spezifische Kapitel oder Vorlesungen zu filtern und direkte Download-Links in eine Datei zu exportieren. Das Tool deckt eine umfassende Medienverwaltung ab, einschließlich Videoqualitätsauswahl, sprachspezifischem Untertitelabruf und Formatkonvertierung sowie der Extraktion von Kursmetadaten zur Bestimmung verfügbarer Auflösungen.

Seldon Core ist ein auf Kubernetes basierender Server für Machine-Learning-Modelle und ein MLOps-Inference-Framework. Es fungiert als Serving-Engine für mehrere Modelle und als Pipeline-Orchestrator, der Modelle als skalierbare Microservices verpackt, die über standardisierte REST- und gRPC-APIs bereitgestellt werden. Das Projekt zeichnet sich durch graphbasierte Inference-Pipelines aus, die Modelle und Datentransformatoren zu sequenziellen Workflows verketten. Es optimiert die Hardwareauslastung durch Shared-Serving für mehrere Modelle und Strategien für dynamisches Memory-Overcommit, während es gleichzeitig Produktionsexperimente durch gewichtetes Traffic-Routing, A/B-Tests und Shadow-Deployments unterstützt. Das Framework deckt ein breites Spektrum an MLOps-Funktionen ab, darunter bedarfsgesteuertes Autoscaling, asynchrone Request-Verarbeitung über Message-Busse sowie umfassendes Monitoring für Data Drift, Ausreißer und die Erklärbarkeit von Vorhersagen. Es bietet zudem Infrastrukturmanagement für die Konfiguration der Modell-Runtime und sichere Kommunikation mittels TLS-Verschlüsselung über Control- und Data-Planes hinweg.

WePush ist ein Multi-Channel-Benachrichtigungs-Gateway und Massen-Nachrichten-Dispatcher, der für den Versand personalisierter Benachrichtigungen über SMS-Anbieter, E-Mail, soziale Plattformen und Unternehmenskommunikationskanäle entwickelt wurde. Es fungiert als Enterprise-Messaging-Hub, der Benachrichtigungen über eine einheitliche Schnittstelle leitet, einschließlich eines zentralen Managers für mehrere Cloud-SMS-Anbieter. Das System enthält eine Engine zur Zeitplanung von Benachrichtigungen, um Zustellungen zu bestimmten zukünftigen Zeitpunkten auszulösen. Es unterstützt die Verwaltung mehrerer Konten, sodass Benutzer zwischen verschiedenen Dienstanbieter-Identitäten wechseln können, um Benachrichtigungen von verschiedenen Konten aus zu versenden. Die Plattform bietet Funktionen zur Personalisierung von Nachrichteninhalten durch ein Vorlagensystem und verwaltet groß angelegte Aussendungen über den Import von Empfängerlisten. Zudem integriert sie eine Zustellungshistorie, um den Status gesendeter Benachrichtigungen zu überwachen und den erneuten Versand fehlgeschlagener Nachrichten zu verwalten.

Promptify ist eine Suite von Tools für Modellevaluierung, Prompt-Management, Token-Kostenverfolgung, strukturierte Extraktion und einheitlichen API-Gateway-Zugriff. Es bietet eine standardisierte Schnittstelle zur Verwaltung von Anfragen und Antworten über mehrere Anbieter großer Sprachmodelle hinweg. Das Projekt umfasst eine Prompt-Management-Plattform für das Engineering und die Versionierung von Prompts mit strukturierter Ausgabevalidierung. Es enthält ein dediziertes Evaluierungsframework zur Messung der Modellleistung anhand von Precision-, Recall- und F1-Scores gegenüber gelabelten Datensätzen sowie einen Token-Kosten-Tracker zur Überwachung der finanziellen Ausgaben für Modellanfragen. Die Bibliothek deckt breite Funktionen für die Verarbeitung natürlicher Sprache ab, einschließlich Named-Entity-Extraktion, Textklassifizierung und Question-Answering. Sie unterstützt hochvolumige Workflows durch asynchrone Batch-Verarbeitung und stellt Datenkonsistenz sicher, indem unstrukturierter Text mittels Schema-Validierung in typisierte Datenstrukturen konvertiert wird.

tiny-llm ist eine Inferenz-Engine für große Sprachmodelle und eine Transformer-Modell-Implementierung. Sie dient als Laufzeitumgebung für quantisierte Modelle und als Paged-Key-Value-Cache-Manager und bietet einen spezialisierten Inferenz-Stack, der für Apple Silicon optimiert ist. Das System zeichnet sich durch High-Throughput-Ausführungstechniken aus, einschließlich Continuous Batching und Paged Attention. Es nutzt ein Paged-Memory-System, um Fragmentierung während der Token-Generierung zu eliminieren, und verwendet On-the-Fly-Dequantisierung komprimierter Gewichte, um den Speicherbedarf während der Matrixmultiplikation zu reduzieren. Das Projekt deckt ein breites Spektrum an Modellarchitektur- und Performance-Funktionen ab, wie Mixture-of-Experts-Routing, Grouped Query Attention und Flash Attention. Es umfasst Unterstützung für fortgeschrittene Decoding-Logik, einschließlich Greedy Decoding und Sampling via Temperature, Top-K- und Top-P-Methoden. Die Implementierung ist in Python geschrieben und enthält benutzerdefinierte Low-Level-Kernel zur Beschleunigung der Tensor-Verarbeitung auf der Hardware.

LMQL ist eine Programmiersprache und probabilistische Schnittstelle, die algorithmische Logik mit stochastischer Textgenerierung verbindet. Sie fungiert als Framework für constraint-gesteuertes Prompting und als Generator für strukturierte Ausgaben, der es Benutzern ermöglicht, Modellantworten zur Einhaltung strikter Formatierungen und Datentypen zu zwingen. Das System zeichnet sich als Inferenz-Optimierer aus, der den Token-Durchsatz erhöht und die Latenz reduziert. Dies wird durch spezialisierte Ausführungsstrategien erreicht, einschließlich baumbasiertem Prompt-Caching und asynchroner Batch-Verarbeitung. Das Projekt deckt ein breites Spektrum an Funktionen zur Generierungssteuerung ab, wie logit-basiertes Token-Masking, Beam-Search-Selektion und verschachtelte Logik-Prompt-Ausführung. Es bietet zudem Infrastruktur für Echtzeit-Antwort-Streaming mittels WebSockets und Server-Sent Events.

Die stripe-php-Bibliothek ist ein PHP-Client, der verwendet wird, um Stripe-Zahlungsabwicklung, Abonnement-Abrechnung und Finanzdienstleistungen in Anwendungen zu integrieren. Sie bietet eine programmatische Schnittstelle für die Verwaltung verbundener Konten, die Ausgabe virtueller Karten und die Automatisierung von Auszahlungen an Verkäufer. Die Bibliothek zeichnet sich durch eine umfassende Suite von Abrechnungs- und Zahlungstools aus, einschließlich Unterstützung für wiederkehrende Gebühren, nutzungsbasierte Abrechnung und die Verwaltung von Self-Service-Portalen für Kunden. Sie ermöglicht zudem Finanzautomatisierung via Steuer- und Umsatzbibliotheken, die globale Umsatzsteuerberechnung und automatisierte Umsatzrealisierung für die periodengerechte Rechnungslegung handhaben. Das Projekt deckt ein breites Funktionsspektrum ab, einschließlich Marktplatz-Orchestrierung, Betrugs- und Risikomanagement sowie Point-of-Sale-Integration. Es enthält zudem Tools für Finanzkonten-Konnektivität, kommerzielle Kartenausgabe und die Verwaltung von digitalen Produktverkäufen durch Merchant-of-Record-Dienste. Entwickler können eine bereitgestellte Sandbox-Umgebung mit Test-API-Keys nutzen, um die Integrationsentwicklung sofort zu erleichtern.

Snoop ist ein Open-Source-Intelligence-Tool, das darauf ausgelegt ist, Tausende öffentlicher Websites zu scannen, um Profile zu finden, die mit bestimmten Benutzernamen und Nicknames verknüpft sind. Es fungiert als digitaler Fußabdruck-Analysator und Username-Intelligence-Framework zur Aggregation von Identitätsdaten von mehreren Plattformen, um umfassende Profile von Zielentitäten zu erstellen. Das Tool zeichnet sich durch geospatiale Intelligence-Funktionen aus, einschließlich der Fähigkeit, IP-Adressen und Domains in geografische Koordinaten aufzulösen und Rohtext nach Geokoordinaten zu parsen. Diese Ergebnisse können als Marker auf interaktiven HTML-Karten visualisiert werden, und das System kann Reverse-Geocoding durchführen, um Koordinaten in menschenlesbare Ortsnamen umzuwandeln. Über die Suche nach Benutzernamen hinaus deckt das Projekt die Aufklärung von Netzwerk-Assets, die Stapelverarbeitung von Benutzerlisten und die Möglichkeit ab, spezifische Websites anstelle der gesamten Datenbank ins Visier zu nehmen. Es enthält ein Beweis-Archivierungssystem, das HTML-Snapshots der entdeckten Profilseiten erfasst und die gesammelten Informationen in CSV-, TXT- und HTML-Berichtsformate exportiert.

This project is a Python command-line security tool and malware analysis framework designed for threat intelligence aggregation and incident triage. It functions as an aggregator that orchestrates queries across multiple security services and sandboxes to analyze hashes, IP addresses, and domains. The tool distinguishes itself by incorporating an intelligence layer that uses language models to provide automated risk assessments and framework mappings. It also includes specialized capabilities for extracting indicators of compromise from unstructured text, documents, and web pages, as well as

This project is a comprehensive library of reference implementations and patterns for building web applications using the Go Fiber framework. It provides curated templates and implementation guides for creating REST APIs, web servers, and structured backend services. The repository serves as a practical resource for applying architectural patterns, including Clean and Hexagonal architectures, as well as port-and-adapter decoupling. It offers detailed examples for integrating common web features such as OAuth2 authentication, JWT verification, WebSockets for real-time communication, and server

OpenTelemetry PHP is a standard-compliant observability framework designed to instrument applications for the collection and export of telemetry data. It provides a comprehensive suite of tools for capturing traces, metrics, and logs, enabling developers to monitor operational behavior and system performance in real time. The project distinguishes itself through an interface-driven plugin architecture that allows for the modular configuration of exporters, processors, and samplers. To maintain performance in production environments, it supports the use of native binary extensions for data ser