1 Repo
Awesome GitHub RepositoriesLLM Batch Processing
Executing large volumes of language model tasks concurrently to increase throughput.
Distinct from Batch Processing Jobs: Existing batch processing candidates are for images or clusters, not LLM API throughput.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · LLM Batch Processing. Refine with filters or upvote what's useful.
Awesome LLM Batch Processing GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- promptslab/promptify
promptslab/Promptify
4,616Auf GitHub ansehenPromptify ist eine Suite von Tools für Modellevaluierung, Prompt-Management, Token-Kostenverfolgung, strukturierte Extraktion und einheitlichen API-Gateway-Zugriff. Es bietet eine standardisierte Schnittstelle zur Verwaltung von Anfragen und Antworten über mehrere Anbieter großer Sprachmodelle hinweg. Das Projekt umfasst eine Prompt-Management-Plattform für das Engineering und die Versionierung von Prompts mit strukturierter Ausgabevalidierung. Es enthält ein dediziertes Evaluierungsframework zur Messung der Modellleistung anhand von Precision-, Recall- und F1-Scores gegenüber gelabelten Datensätzen sowie einen Token-Kosten-Tracker zur Überwachung der finanziellen Ausgaben für Modellanfragen. Die Bibliothek deckt breite Funktionen für die Verarbeitung natürlicher Sprache ab, einschließlich Named-Entity-Extraktion, Textklassifizierung und Question-Answering. Sie unterstützt hochvolumige Workflows durch asynchrone Batch-Verarbeitung und stellt Datenkonsistenz sicher, indem unstrukturierter Text mittels Schema-Validierung in typisierte Datenstrukturen konvertiert wird.
Enables concurrent execution of high-volume language model tasks to reduce total processing time.
Python
