4 dépôts
Processes for organizing extracted raw data into consistent formats with logical sections like quick references and usage guides.
Distinct from Content Extraction: Distinct from general Content Extraction by focusing on the organization and formatting of the data rather than the retrieval of it.
Explore 4 awesome GitHub repositories matching data & databases · Knowledge Structuring. Refine with filters or upvote what's useful.
Skill Seekers is a toolset for generating large language model knowledge bases, featuring a multi-source content scraper and a dedicated RAG data pipeline. It extracts technical data from documentation, code, and video to create structured assets and configuration files for AI-powered IDE extensions. The project distinguishes itself through the ability to transform raw data into polished tutorials and specialized skills for AI plugin marketplaces. It utilizes abstract syntax tree parsing and optical character recognition to analyze GitHub repositories, PDFs, and video frames, converting these
Organizes analyzed technical content into consistent formats including quick references, usage guidance, and key concepts.
Ce projet est un moteur de recherche de vulnérabilités et une base de connaissances de sécurité conçue pour collecter et indexer les divulgations de sécurité publiques. Il fonctionne comme un crawler de base de données de vulnérabilités qui extrait des rapports techniques et des failles de sécurité depuis des sites web pour créer une archive locale interrogeable. Le système utilise un indexeur de connaissances de sécurité et un index inversé plein texte pour convertir les données crawlées non structurées en un format structuré. Cela permet une récupération d'informations basée sur des mots-clés, permettant la localisation de failles de sécurité spécifiques et de détails techniques via une interface de recherche dédiée. La plateforme couvre un large éventail de capacités de recherche en sécurité, incluant la collecte de renseignements sur les menaces et la recherche d'exploits publics. Elle automatise le processus de collecte de données de vulnérabilité en analysant le contenu HTML et en organisant les modèles de sécurité pour des requêtes plus rapides.
Organizes extracted raw HTML data into consistent, structured formats for efficient querying.
Ce projet est un framework d'agent IA et de chatbot multicanal qui permet à une seule intelligence IA d'être déployée à travers diverses plateformes de messagerie, interfaces web et comptes email. Il fonctionne comme une passerelle IA multi-modèles, fournissant une interface unifiée pour router les requêtes entre différents fournisseurs de modèles de langage. Le système se distingue par ses capacités de planification autonome des tâches et de gestion des connaissances. Il peut décomposer des objectifs complexes en étapes d'exécution séquentielles en utilisant des outils externes et un navigateur headless, tout en extrayant simultanément des informations des conversations pour construire une base de connaissances structurée avec des graphes de relations visuels. La plateforme inclut un système de mémoire à plusieurs niveaux pour la récupération de contexte à long terme, un moteur de plugin de compétences dynamique pour étendre les fonctionnalités, et la capacité d'exécuter des commandes système à distance. Elle prend également en charge les workflows multimodaux, permettant l'échange d'images, de messages vocaux et de fichiers à travers différents canaux de communication. L'instance peut être gérée via une console web, une interface de commande basée sur le terminal, ou via des commandes slash dans le chat.
Organizes distilled information into structured knowledge pages with indexes and cross-references.
MIRIX is an AI agent state orchestrator and long-term memory system designed to provide persistent context for large language models. It functions as a multi-modal AI memory pipeline that processes text, voice, and screen captures into structured knowledge stores, including a dedicated screen activity knowledge base. The project distinguishes itself by integrating a multi-modal observation pipeline that monitors desktop activity in real-time to build a searchable history of user actions. It utilizes a multi-tiered memory hierarchy—separating episodic, semantic, procedural, and core stores—and
Organizes core facts and procedures into structured components with configurable retention and decay policies.