Awesome GitHub RepositoriesDistributed Document Indexing

OpenCTI is a cyber threat intelligence platform and knowledge base used to store, manage, and analyze technical security data. It functions as a threat intelligence visualization tool and an enterprise security data orchestrator that maps relationships between threat actors, malware, and vulnerabilities. The platform utilizes the STIX and TAXII standards for data representation and exchange, allowing for the sharing and receiving of standardized intelligence bundles. It distinguishes itself by converting complex security information into visual relationship diagrams and geographic maps to ide

The official Go client for Elasticsearch

Ce projet est un kit de développement logiciel (SDK) et un outil de gestion de cluster pour PHP. Il sert de SDK de recherche plein texte et d'interface de recherche vectorielle, permettant aux applications d'effectuer des recherches lexicales, floues et sémantiques sur des données indexées. La bibliothèque implémente un client HTTP PSR 7 pour assurer la compatibilité inter-environnements via des interfaces de messagerie standardisées. Elle fournit une interface spécialisée pour récupérer des embeddings et effectuer des flux de travail de recherche sémantique en utilisant des données vectorielles. Sa surface de capacités couvre un large éventail de tâches administratives et opérationnelles, notamment la gestion des index de recherche, la surveillance de la santé des clusters et les opérations sur le cycle de vie des documents. Elle prend en charge diverses méthodes de requête telles que SQL, EQL et ES|QL, ainsi que l'agrégation de données et l'analyse géospatiale. De plus, elle fournit des outils pour l'orchestration du machine learning, la détection d'anomalies et la gestion des identités et des accès.

This project is a programmatic client for managing the lifecycle of documents within a distributed JSON search engine. It provides an Elasticsearch search client for indexing documents and performing complex queries, alongside a low-level client that acts as a flexible wrapper for sending raw HTTP requests to a cluster. The client features a fluent request builder that maps typed requests to REST API endpoints and a generic mapping layer to transform JSON responses into strongly typed objects. It employs a pluggable serialization mechanism to decouple the request-response lifecycle from speci

Le serveur agit comme un moteur d'ingestion centralisé conçu pour collecter, normaliser et indexer les données de télémétrie distribuées. Il fonctionne comme un processeur backend qui reçoit des métriques de performance, des traces et des journaux d'erreurs provenant d'agents applicatifs, les transformant en documents structurés pour le stockage et l'analyse au sein de plateformes de recherche et d'analyse. Le système se distingue par un pipeline d'ingestion à haut débit qui utilise le traitement d'événements asynchrone et le contrôle de flux conscient de la contre-pression pour maintenir la stabilité lors des pics de trafic. Il emploie des étapes de transformation modulaires basées sur des plugins pour assainir et enrichir les charges utiles entrantes, garantissant que les données hétérogènes sont mappées dans un schéma unifié avant d'être validées dans le backend via une indexation en masse optimisée. Au-delà de l'ingestion de base, le projet fournit des capacités d'observabilité complètes, incluant le traçage de requêtes distribuées, la cartographie des dépendances de service et le suivi des erreurs applicatives. Il prend en charge une surveillance spécialisée pour l'instrumentation mobile et les applications de modèles de langage, tout en offrant des outils de diagnostic pour la corrélation des anomalies de performance et la collecte de métriques au niveau du système. Le dépôt inclut une suite d'utilitaires pour l'orchestration du développement local, la synchronisation des conteneurs et les tests automatisés des chemins de mise à niveau du déploiement.