awesome-repositories.com
Blog
awesome-repositories.com

Découvrez les meilleurs dépôts open-source grâce à notre recherche par IA.

ExplorerRecherches sélectionnéesAlternatives open sourceLogiciels auto-hébergésBlogPlan du site
ProjetÀ proposNotre méthodologiePresseServeur MCP
Mentions légalesConfidentialitéConditions d'utilisation
© 2026 Bringes Technology SRL·VAT RO45896025·hello@awesome-repositories.com
·

2 dépôts

Awesome GitHub RepositoriesDocument Batching for Embedding

Splitting oversized document collections into smaller groups that fit within an embedding model's token limit.

Distinct from Document Embedding Generations: Distinct from Document Embedding Generations: focuses on batching documents to respect token limits, not parallel generation at scale.

Explore 2 awesome GitHub repositories matching data & databases · Document Batching for Embedding. Refine with filters or upvote what's useful.

Awesome Document Batching for Embedding GitHub Repositories

Trouvez les meilleurs dépôts grâce à l'IA.Nous recherchons les dépôts les plus pertinents grâce à l'IA.
  • spring-projects/spring-aiAvatar de spring-projects

    spring-projects/spring-ai

    9,001Voir sur GitHub↗

    Spring AI is an application framework for Java that provides a portable, fluent API for integrating AI models, tools, and vector stores into applications. It wraps multiple AI providers behind a common interface, allowing developers to switch between chat, embedding, image, and speech models without changing application code. The framework includes a chainable chat client API similar to WebClient or RestClient, supports both synchronous and streaming interactions, and offers structured output conversion that transforms unstructured AI responses into strongly-typed Java objects. The framework

    Splits large document collections into smaller batches to fit within embedding model token limits.

    Javaartificial-intelligencejavaspring-ai
    Voir sur GitHub↗9,001
  • timescale/pgaiAvatar de timescale

    timescale/pgai

    5,802Voir sur GitHub↗

    pgai est une boîte à outils et un framework d'IA pour PostgreSQL conçu pour intégrer des modèles de langage (LLM) et des embeddings vectoriels directement dans une base de données. Il sert de pont pour exécuter des requêtes de modèles de machine learning et effectuer des traductions texte-vers-SQL au sein de requêtes de base de données standard. Le projet fournit un pipeline automatisé d'embedding vectoriel qui gère le chargement, l'analyse et le découpage de texte provenant de tables et de documents non structurés. Ce système utilise un processus d'arrière-plan pour synchroniser automatiquement les embeddings à mesure que les données sources changent et inclut des outils spécialisés pour construire des applications de génération augmentée par récupération (RAG) et des moteurs de recherche sémantique. La boîte à outils couvre de vastes domaines de fonctionnalités, notamment le traitement de données non structurées avec OCR, la création de catalogues sémantiques pour mapper les schémas de base de données au langage naturel, et l'implémentation de recherches de similarité haute performance via l'indexation vectorielle et le reranking des résultats. Elle permet également l'enrichissement de données, la classification et la modération de contenu en appelant des modèles externes via SQL.

    Manages large-scale batch processing of embeddings with built-in resilience against failures and API rate limits.

    PLpgSQL
    Voir sur GitHub↗5,802
  1. Home
  2. Data & Databases
  3. Large-Scale Data Computation
  4. Document Embedding Generations
  5. Document Batching for Embedding

Explorer les sous-tags

  • Batch Embedding ManagementSystems for managing large-scale numerical data generation with failure resilience and rate limit handling. **Distinct from Document Batching for Embedding:** Focuses on the operational resilience and scaling of embedding generation, not just token-limit batching.
  • Embedding Input TemplatesTemplates used to structure source fields and metadata for optimal model input. **Distinct from Document Batching for Embedding:** Focuses on the formatting of the input string via templates rather than the batching of documents