1 dépôt
Awesome GitHub RepositoriesLLM Batch Processing
Executing large volumes of language model tasks concurrently to increase throughput.
Distinct from Batch Processing Jobs: Existing batch processing candidates are for images or clusters, not LLM API throughput.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · LLM Batch Processing. Refine with filters or upvote what's useful.
Awesome LLM Batch Processing GitHub Repositories
Trouvez les meilleurs dépôts grâce à l'IA.Nous recherchons les dépôts les plus pertinents grâce à l'IA.
- promptslab/promptify
promptslab/Promptify
4,616Voir sur GitHubPromptify est une suite d'outils conçue pour l'évaluation de modèles, la gestion de prompts, le suivi des coûts de jetons (tokens), l'extraction structurée et l'accès via une passerelle API unifiée. Elle fournit une interface standardisée pour gérer les requêtes et les réponses à travers plusieurs fournisseurs de grands modèles de langage. Le projet propose une plateforme de gestion de prompts pour l'ingénierie et le versionnage de prompts avec validation de sortie structurée. Il inclut un framework d'évaluation dédié pour mesurer la performance du modèle en utilisant les scores de précision, de rappel et F1 par rapport à des jeux de données étiquetés, ainsi qu'un suivi des coûts de jetons pour surveiller les dépenses financières des requêtes de modèle. La bibliothèque couvre de larges capacités pour le traitement du langage naturel, incluant l'extraction d'entités nommées, la classification de texte et la réponse aux questions. Elle prend en charge les workflows à haut volume via le traitement par lots asynchrone et assure la cohérence des données en convertissant le texte non structuré en structures de données typées via la validation de schéma.
Enables concurrent execution of high-volume language model tasks to reduce total processing time.
Python
