awesome-repositories.com
Blog
MCP
awesome-repositories.com

Découvrez les meilleurs dépôts open-source grâce à notre recherche par IA.

ExplorerRecherches sélectionnéesAlternatives open sourceLogiciels auto-hébergésBlogPlan du site
ProjetServeur MCPÀ proposNotre méthodologiePresse
Mentions légalesConfidentialitéConditions d'utilisation
© 2026 Bringes Technology SRL·VAT RO45896025·hello@awesome-repositories.com
·

19 dépôts

Awesome GitHub RepositoriesInformation Extraction

Tools for identifying and extracting structured data from unstructured text.

Explore 19 awesome GitHub repositories matching part of an awesome list · Information Extraction. Refine with filters or upvote what's useful.

Awesome Information Extraction GitHub Repositories

Trouvez les meilleurs dépôts grâce à l'IA.Nous recherchons les dépôts les plus pertinents grâce à l'IA.
  • ruvnet/rufloAvatar de ruvnet

    ruvnet/ruflo

    61,524Voir sur GitHub↗

    Ruflo is an AI agent orchestration platform and workflow automation tool designed to decompose high-level goals into executable action plans. It functions as a manager for multi-agent swarms, organizing autonomous entities into collaborative topologies that utilize shared consensus to complete complex tasks. The framework distinguishes itself through a retrieval-augmented generation layer and knowledge graphs for reasoning over linked data. It incorporates a trajectory-based learning loop that analyzes previous execution paths to refine cognitive patterns and improve future reasoning accuracy

    Scans outbound messages for private information and applies redaction based on receiver trust levels.

    TypeScript
    Voir sur GitHub↗61,524
  • danswer-ai/danswerAvatar de danswer-ai

    danswer-ai/danswer

    30,552Voir sur GitHub↗

    Danswer is an LLM application framework and RAG engine that provides a self-hosted interface for connecting large language models to private data. It serves as an enterprise AI chat interface and agent orchestrator, enabling the creation of specialized assistants with custom instructions and knowledge bases. The platform differentiates itself through an observability dashboard for tracking query history and token consumption, as well as a white-labeled interface for customized branding. It includes a multi-step research workflow for producing long-form reports and a sandboxed environment for

    Automatically removes personally identifiable information and sensitive data from conversational text to prevent leakage.

    Python
    Voir sur GitHub↗30,552
  • zalmoxisus/redux-devtools-extensionAvatar de zalmoxisus

    zalmoxisus/redux-devtools-extension

    13,460Voir sur GitHub↗

    This project is a state management inspector and debugging tool for Redux. It provides a browser-based interface for inspecting and modifying application state and actions in real time, serving as an action logger and time travel debugger to troubleshoot application logic. The tool allows users to navigate a chronological history of state changes to replay previous versions of the application or skip specific actions. It also functions as a remote monitoring bridge, streaming Redux state and actions from non-browser environments to a centralized debugging interface. The capability surface in

    Provides the ability to filter or redact sensitive data from state objects before they are sent to the monitor.

    JavaScriptdebugdevtoolsextension
    Voir sur GitHub↗13,460
  • k8sgpt-ai/k8sgptAvatar de k8sgpt-ai

    k8sgpt-ai/k8sgpt

    7,922Voir sur GitHub↗

    k8sgpt est une suite d'outils axés sur Kubernetes conçus pour le débogage assisté par IA, les diagnostics de cluster et l'auto-guérison. Il fonctionne comme un analyseur et débogueur automatisé qui utilise des modèles de langage étendus (LLM) pour expliquer les erreurs de cluster, suggérer des étapes de remédiation et identifier les défaillances de ressources. Le projet se distingue par un framework d'analyse extensible qui prend en charge des plugins de diagnostic personnalisés et un serveur Model Context Protocol, qui expose les diagnostics de cluster comme des outils pour les assistants IA. Il inclut un agent d'auto-guérison capable de générer et d'appliquer automatiquement des correctifs pour les anomalies détectées, ainsi qu'un middleware d'anonymisation des données pour masquer les informations sensibles avant leur transmission à des fournisseurs d'IA externes. L'ensemble d'outils couvre un large éventail de capacités opérationnelles, y compris la surveillance continue de la santé via un opérateur, l'audit de conformité par rapport aux moteurs de politique, et l'orchestration multi-cluster pour identifier les modèles de défaillance étendus. Il fournit également des fonctionnalités d'observabilité telles que l'exportation des résultats de diagnostic, l'intégration des métriques d'observabilité et le dépannage des défaillances de pods.

    Masks sensitive information and resource labels to prevent data leakage when transmitting cluster data to AI providers.

    Go
    Voir sur GitHub↗7,922
  • bee-san/pywhatAvatar de bee-san

    bee-san/pyWhat

    7,150Voir sur GitHub↗

    pyWhat is a Python-based data extraction tool designed to scan files and text for sensitive identifiers, credentials, and network artifacts using regular expressions. It functions as a pattern matching engine and PII scanner capable of identifying personal identifiers and sensitive data patterns across directories and binary files. The project specializes in the identification of unknown data formats through file signatures and the extraction of high-value identifiers, such as URLs, IP addresses, and phone numbers, from network capture files. It utilizes a rarity-based filtering system and sp

    Scans data for personal identifiers, credentials, and API keys using a comprehensive set of identifiable markers.

    Pythoncybercybersecurityhacking
    Voir sur GitHub↗7,150
  • microsoft/presidioAvatar de microsoft

    microsoft/presidio

    6,995Voir sur GitHub↗

    Presidio is a PII detection and anonymization framework designed to identify and mask personally identifiable information in text. It functions as a PII recognition pipeline and a data masking engine, using a combination of machine learning, regular expressions, and rule-based logic to locate sensitive entities. The system acts as an NER model orchestrator, allowing for the integration of external named entity recognition models and PII detectors to support multi-language privacy scrubbing. It employs a plugin-based recognizer architecture that can be extended with custom recognizers, deny-li

    Identifies personal identifiers and credentials within unstructured text to facilitate privacy protection.

    Pythonanonymizationdata-anonymizationdata-masking
    Voir sur GitHub↗6,995
  • proxymanapp/proxymanAvatar de ProxymanApp

    ProxymanApp/Proxyman

    6,858Voir sur GitHub↗

    Proxyman is a cross-platform HTTP debugging proxy that captures, inspects, and modifies HTTP, HTTPS, and WebSocket traffic. It functions as a man-in-the-middle proxy, decrypting SSL/TLS traffic to allow real-time inspection and modification of encrypted requests and responses. The tool is designed for debugging web and mobile applications, with capabilities for API mocking and simulation, scriptable traffic modification, and team collaboration on network logs. What distinguishes Proxyman is its deep integration with mobile and cross-platform development workflows. It provides automated certif

    Automatically redacts cookie and Authorization headers from captures before uploading to a workspace.

    debugging-tooliosmacos
    Voir sur GitHub↗6,858
  • homanp/superagentAvatar de homanp

    homanp/superagent

    6,631Voir sur GitHub↗

    Superagent is a framework for AI assistant orchestration and agent security. It provides the tools to build intelligent assistants that integrate external APIs and maintain conversation memory to automate complex tasks. The project focuses on AI agent security through adversarial testing, red teaming, and the detection of prompt injections and malicious tool calls. It includes automated vulnerability patching, which scans codebases and configurations for security flaws and generates pull requests with fixes. The platform supports retrieval augmented generation by connecting language models t

    Automatically redacts PII, PHI, and secrets from text to prevent data leaks.

    TypeScript
    Voir sur GitHub↗6,631
  • superagent-ai/superagentAvatar de superagent-ai

    superagent-ai/superagent

    6,631Voir sur GitHub↗

    Superagent is an AI safety platform that protects applications from prompt injections, data leaks, and harmful outputs through built-in guardrails. It functions as a prompt injection detection system, data redaction tool, and red team testing tool, automatically removing personally identifiable information and protected health data from AI inputs and outputs while scanning image uploads with vision AI to detect visual prompt injection attacks before processing. The platform routes every prompt through a sequential pipeline of safety checks including injection detection, data redaction, and co

    Automatically removes personally identifiable information and protected health data from AI inputs and outputs.

    TypeScriptaianthropicguardrails
    Voir sur GitHub↗6,631
  • vcr/vcrAvatar de vcr

    vcr/vcr

    6,070Voir sur GitHub↗

    VCR is a Ruby library that records and replays HTTP interactions during test runs, storing them in serialized cassette files. It captures real HTTP requests and responses, then serves those recorded responses instead of making actual network calls, enabling fast and deterministic test suites that work offline. The library provides configurable request matching, allowing comparisons based on method, URI, host, path, body, or headers to find the correct recorded response. It supports scheduled cassette re-recording to automatically refresh stored interactions at a configurable interval, keeping

    Strips or replaces confidential information from recorded HTTP interactions before saving them to disk.

    Ruby
    Voir sur GitHub↗6,070
  • loadfive/knwl.jsAvatar de loadfive

    loadfive/Knwl.js

    5,260Voir sur GitHub↗

    Knwl.js est une bibliothèque JavaScript de reconnaissance d'entités nommées et un analyseur de texte basé sur des règles. Il sert d'outil d'extraction d'informations extensible conçu pour identifier et extraire des entités structurées, telles que des dates, des heures et des lieux, à partir de chaînes de texte non structurées. La bibliothèque permet la définition de règles spécialisées et de plugins personnalisés pour identifier et extraire des éléments d'information uniques. Cette extensibilité permet l'automatisation de la récupération d'informations en convertissant du texte lisible par l'homme en formats structurés pour les applications et les bases de données. Le système utilise la correspondance d'expressions régulières et l'extraction basée sur des règles pour traiter des blocs de texte bruts. Des résolveurs d'entités modulaires gèrent la transformation des segments de texte correspondants en formats standardisés.

    Serves as an extensible tool for identifying and extracting structured data from unstructured text strings.

    JavaScript
    Voir sur GitHub↗5,260
  • openchatai/openchatAvatar de openchatai

    openchatai/OpenChat

    5,243Voir sur GitHub↗

    OpenChat est une plateforme de gestion de chatbots IA utilisée pour construire, déployer et gérer des agents personnalisés propulsés par de grands modèles de langage. Elle sert de suite de support client omnicanal qui intègre l'automatisation par modèle de langage avec des canaux de communication incluant l'email, le SMS, les réseaux sociaux et la voix. La plateforme dispose d'un intégrateur de base de connaissances à génération augmentée par récupération (RAG) qui ingère des documents, des sites web et des bases de code pour fournir des réponses contextuelles. Elle inclut une couche de confidentialité dédiée pour la détection et la suppression des informations personnelles et de santé sensibles afin de maintenir la conformité réglementaire. Le système fournit une passerelle API avec une interface REST et des webhooks pour la gestion programmatique, aux côtés d'une passerelle de messagerie multicanal. Il inclut également des outils pour synchroniser les données CRM et helpdesk externes, ainsi qu'un widget piloté par JavaScript pour intégrer des interfaces de chat dans des sites web externes.

    Automatically detects and removes sensitive personal and health information from messages to ensure regulatory compliance.

    JavaScript
    Voir sur GitHub↗5,243
  • latitude-dev/latitude-llmAvatar de latitude-dev

    latitude-dev/latitude-llm

    4,145Voir sur GitHub↗

    Ce projet est une pile de surveillance IA auto-hébergée qui fonctionne comme une plateforme d'observabilité LLM, un framework d'évaluation IA et un analyseur de traces OpenTelemetry. Il est conçu pour capturer et analyser les traces, sessions et télémétries LLM afin de surveiller les performances des agents IA. La plateforme se distingue en tant que serveur Model Context Protocol, exposant les fonctions de l'espace de travail comme outils pour les agents de codage IA. Elle permet la conversion des traces de production défaillantes en jeux de données de test pour les tests de régression et utilise le clustering de sessions basé sur la sémantique pour découvrir les modèles de comportement émergents des utilisateurs. Le système couvre de larges domaines de capacités, notamment la collecte de télémétrie pour les chemins d'exécution des agents, le scoring d'évaluation automatisé pour le trafic en direct et la recherche sémantique pour isoler les modèles d'interaction. Il fournit également des alertes pour les régressions de signaux, l'analyse comportementale pour les échecs d'outils et la rédaction de PII pour les données de télémétrie. Le logiciel peut être déployé sur une infrastructure privée en tant qu'installation à hôte unique ou en tant que cluster évolutif utilisant Docker Compose, Kubernetes ou des charts Helm.

    Automatically removes personally identifiable information from conversational text to prevent data leakage.

    TypeScript
    Voir sur GitHub↗4,145
  • kananinirav/aws-certified-cloud-practitioner-notesAvatar de kananinirav

    kananinirav/AWS-Certified-Cloud-Practitioner-Notes

    3,829Voir sur GitHub↗

    This project is a collection of structured study notes and conceptual breakdowns designed for the AWS Certified Cloud Practitioner exam. It serves as a technical reference and study guide, organizing cloud service details and architectural principles to assist in certification preparation. The knowledge base is built using markdown files and includes curated cheat sheets and interactive mind-map visualizations. These tools map complex certification topics into visual hierarchies to enable drill-down study paths and rapid revision. The materials cover a wide range of cloud capabilities, inclu

    Explains how to identify and protect personally identifiable information in cloud storage using pattern matching.

    HTMLamazon-web-servicesawsaws-certified-cloud-practitioner
    Voir sur GitHub↗3,829
  • crmne/ruby_llmAvatar de crmne

    crmne/ruby_llm

    3,566Voir sur GitHub↗

    ruby_llm is an LLM integration framework and AI agent orchestrator designed to connect applications to multiple large language model providers through a unified interface. It serves as a toolkit for building autonomous assistants with custom personas, managing structured output via JSON schemas, and implementing vector embedding engines for semantic search. The project distinguishes itself as an observability suite and multimodal toolkit. It provides specialized capabilities for tracking token usage, calculating model costs, and tracing workflows via OpenTelemetry, while supporting the proces

    Removes confidential data from conversations to prevent sensitive information from reaching external AI providers.

    Rubyaianthropicchatgpt
    Voir sur GitHub↗3,566
  • vllm-project/semantic-routerAvatar de vllm-project

    vllm-project/semantic-router

    3,205Voir sur GitHub↗

    Scans requests and responses for sensitive data and applies configurable policies to protect privacy.

    Goai-gatewaybert-classificationfine-tuning
    Voir sur GitHub↗3,205
  • entireio/cliAvatar de entireio

    entireio/cli

    2,753Voir sur GitHub↗

    This project is a Git-based AI session tracker and context manager designed to record AI agent interactions, transcripts, and tool usage directly into Git repositories. It functions as a system for capturing and indexing the reasoning behind code changes, linking AI prompts and responses to specific code commits to preserve developer intent. The tool distinguishes itself by using Git as a primary storage layer for session metadata, utilizing shadow branches and checkpoints to track agent state without polluting the main commit log. It includes specialized capabilities for auditing AI contribu

    Replaces sensitive patterns in AI transcripts and metadata using regular expressions to prevent data leakage.

    Goagentsaiclaude
    Voir sur GitHub↗2,753
  • protectai/llm-guardAvatar de protectai

    protectai/llm-guard

    2,561Voir sur GitHub↗

    LLM Guard is a security firewall and guardrail framework designed to scan and sanitize inputs and outputs for large language models. It functions as a proxy gateway and security layer to block prompt injections, toxicity, and sensitive data leakage while ensuring that model interactions remain compliant with organizational policies. The system distinguishes itself through a modular scanner pipeline that utilizes local model orchestration to eliminate external network dependencies. It supports real-time security filtering via streaming chunk analysis and implements a fail-fast execution model

    Replaces personally identifiable information or custom patterns in output to prevent data leakage.

    Pythonadversarial-machine-learningchatgptlarge-language-models
    Voir sur GitHub↗2,561
  • dynamiq-ai/dynamiqAvatar de dynamiq-ai

    dynamiq-ai/dynamiq

    1,053Voir sur GitHub↗

    Dynamiq is an agent development platform designed for building, orchestrating, and monitoring autonomous agents. It provides a framework for constructing complex, multi-step workflows using a graph-based engine that supports conditional branching, feedback loops, and iterative task execution. The platform distinguishes itself through its focus on secure, private infrastructure, allowing for the deployment of language models and orchestration services within virtual private clouds to maintain data sovereignty. It integrates retrieval-augmented generation pipelines to ground model responses in

    Implements automated filtering and redaction to prevent sensitive information from leaving secure environments.

    Pythonagentsaigenerative-ai
    Voir sur GitHub↗1,053
  1. Home
  2. Part of an Awesome List
  3. Developer Tools
  4. Information Extraction

Explorer les sous-tags

  • Sensitive Data Identification1 sous-tagIdentifying personal identifiers, credentials, and API keys within unstructured text and files. **Distinct from Information Extraction:** Specifically targets sensitive/private information for security auditing rather than general entity extraction.