4 repository-uri
High-throughput operations for indexing multiple documents in a single request.
Distinct from Distributed Document Indexing: Specifically covers the bulk ingestion process within a distributed index, distinct from general retrieval.
Explore 4 awesome GitHub repositories matching data & databases · Bulk Indexing. Refine with filters or upvote what's useful.
The official Go client for Elasticsearch
Batches document operations into single requests for high-throughput indexing of large datasets.
Acest proiect este un SDK de dezvoltare software și un instrument de gestionare a clusterelor pentru PHP. Servește ca un SDK de căutare full-text și interfață de căutare vectorială, permițând aplicațiilor să efectueze căutări lexicale, fuzzy și semantice asupra datelor indexate. Biblioteca implementează un client HTTP PSR 7 pentru a asigura compatibilitatea cross-environment prin interfețe de mesagerie standardizate. Oferă o interfață specializată pentru recuperarea embedding-urilor și executarea fluxurilor de lucru de recuperare semantică folosind date vectoriale. Suprafața sa de capabilități acoperă o gamă largă de sarcini administrative și operaționale, inclusiv gestionarea indicilor de căutare, monitorizarea stării clusterului și operațiuni privind ciclul de viață al documentelor. Suportă metode diverse de interogare precum SQL, EQL și ES|QL, alături de agregarea datelor și analiza geospațială. În plus, oferă instrumente pentru orchestrarea machine learning-ului, detectarea anomaliilor și gestionarea identității și a accesului.
Implements high-throughput operations for indexing documents individually or in bulk batches.
This project is a programmatic client for managing the lifecycle of documents within a distributed JSON search engine. It provides an Elasticsearch search client for indexing documents and performing complex queries, alongside a low-level client that acts as a flexible wrapper for sending raw HTTP requests to a cluster. The client features a fluent request builder that maps typed requests to REST API endpoints and a generic mapping layer to transform JSON responses into strongly typed objects. It employs a pluggable serialization mechanism to decouple the request-response lifecycle from speci
Stores multiple documents in a single operation to increase data throughput and reduce network overhead.
Serverul acționează ca un motor centralizat de ingestie conceput pentru a colecta, normaliza și indexa datele de telemetrie distribuite. Funcționează ca un procesor backend care primește metrici de performanță, urme (traces) și jurnale de erori de la agenții aplicației, transformându-le în documente structurate pentru stocare și analiză în cadrul platformelor de căutare și analiză. Sistemul se distinge printr-un pipeline de ingestie cu throughput ridicat care utilizează procesarea asincronă a evenimentelor și controlul fluxului conștient de backpressure pentru a menține stabilitatea în timpul vârfurilor de trafic. Utilizează etape de transformare modulare, bazate pe plugin-uri, pentru a igieniza și îmbogăți payload-urile primite, asigurându-se că datele eterogene sunt mapate într-o schemă unificată înainte de a fi comise în backend prin indexare bulk optimizată. Dincolo de ingestia de bază, proiectul oferă capabilități cuprinzătoare de observabilitate, inclusiv urmărirea distribuită a cererilor, maparea dependențelor serviciilor și urmărirea erorilor aplicației. Suportă monitorizarea specializată pentru instrumentarea mobilă și aplicațiile cu modele de limbaj, oferind în același timp instrumente de diagnosticare pentru corelarea anomaliilor de performanță și colectarea metricilor la nivel de sistem. Repository-ul include o suită de utilitare pentru orchestrarea dezvoltării locale, sincronizarea containerelor și testarea automată a căilor de upgrade ale implementării.
Groups processed telemetry events into optimized batches to maximize write throughput to the search engine.