Awesome GitHub RepositoriesSchema-Driven Data Normalizers

OpenBB is a financial data platform and investment research terminal designed to aggregate, normalize, and distribute market data across analytical workflows. It functions as a comprehensive ecosystem that bridges disparate financial data providers with custom applications, spreadsheets, and internal modeling infrastructure. The platform distinguishes itself through a provider-based data abstraction layer that normalizes heterogeneous financial APIs into a consistent, schema-driven format. This architecture supports quantitative research automation and the construction of interactive, widget-

Kotaemon is an orchestration framework designed for building modular, agentic workflows that integrate document processing, retrieval-augmented generation, and multi-step reasoning. It provides a comprehensive platform for developing document-based question answering systems, allowing users to chain language models, prompt templates, and external tools into complex, automated pipelines. The system distinguishes itself through a highly modular architecture that emphasizes component-based composition and schema-driven data exchange. It supports autonomous agents capable of decomposing complex q

Figma-Context-MCP is a design-to-code automation tool that functions as a server for the Model Context Protocol. It acts as a bridge between visual design platforms and development environments, enabling large language models to access design file metadata and component properties directly. The project distinguishes itself by providing a standard-compliant interface that translates design specifications into structured data. By extracting layout and styling information, it facilitates the programmatic conversion of design tokens and component requirements into actionable code structures. Thi

This project is a command-line forensic toolkit designed for the investigation and security auditing of mobile devices. It provides a framework for collecting system logs, application data, and forensic artifacts to identify potential security breaches, unauthorized access, or evidence of malicious activity. The utility employs a modular extraction architecture that parses diverse file formats and system logs into a standardized, normalized data structure. By utilizing this unified format, the tool performs both heuristic analysis of system metadata and pattern matching against structured thr

Joyagent-jdgenie is an automated data orchestrator designed to centralize the retrieval and processing of information from disparate remote sources. It functions as a framework for building repeatable data pipelines that fetch, clean, and normalize raw input into consistent, structured formats. The system utilizes a schema-driven engine to apply validation rules and structural templates to incoming data, ensuring compatibility across enterprise systems. By employing configuration-based workflow definitions, it allows for the orchestration of modular tasks into automated execution flows, separ

Sigma is a generic SIEM signature format and log event pattern standard used to describe malicious activity. It provides a vendor-neutral system for defining security event patterns in YAML, ensuring that detection logic remains portable across different monitoring platforms. The project maintains a curated library of peer-reviewed detection rules that identify threats and compliance violations. This standardized approach allows for the exchange of threat hunting logic and the translation of generic signatures into specific queries for various security information and event management systems

OmniAuth is a rack authentication framework that allows applications to verify user identities through third-party service providers using a single standardized interface. It functions as middleware to separate identity verification from core application logic by intercepting incoming requests. The project employs a strategy-pattern provider model to encapsulate provider-specific logic into interchangeable classes. It provides a custom authentication strategy framework and base classes for building new providers based on industry standards. The framework handles the multi-step authentication

easyquotation is a Python library that provides access to Chinese stock market data, including real-time quotes, historical daily candlestick prices, exchange-traded fund details, and a stock code database sync utility. It retrieves live trading data from Chinese exchanges, A-shares, and Hong Kong listed stocks without requiring manual API key configuration, offering a unified interface to multiple public data feeds. The library combines several market data providers behind a single query interface, using asynchronous I/O to handle parallel requests and a polling engine that delivers sub-seco

This project is a manga source extension repository and content aggregator. It functions as an HTTP content scraping engine that retrieves images and metadata from external provider websites by parsing HTML and making network requests to display digital manga within a unified reader. The system utilizes a JSON extension repository to allow reader applications to discover and install third-party content providers. It employs an interface-based plugin framework that defines a common set of methods to ensure external sources remain compatible with a standardized internal format. The project cov

JobSpy is a job board scraper and listing aggregator designed to extract employment opportunities from multiple websites and compile them into a unified dataset. It functions as a job search automation tool that programmatically collects vacancies based on keywords, locations, and specific filters. The project serves as a web scraping framework that utilizes proxy routing and user-agent rotation to bypass rate limits and avoid server-side blocking during data extraction. It includes infrastructure for concurrent request aggregation and schema-based data normalization to ensure consistent form

This project is a bug bounty target dataset and security asset list. It serves as a structured repository of reachable network assets, domains, and applications eligible for security testing across multiple vulnerability disclosure programs. The dataset is designed to support bug bounty reconnaissance, attack surface mapping, and security target analysis. It provides organized scopes and target lists to help identify valid assets for security testing and vulnerability research workflows. The repository utilizes automated scraping pipelines and platform API integration to synchronize data. It

OpenAddresses is an open-source geospatial data aggregator and directory that collects public domain and open-license address, parcel, and building datasets from governments and organizations worldwide. It functions as a global index and data warehouse for locating and distributing free geospatial records. The project operates a normalization pipeline that cleans and standardizes diverse source formats into a consistent global coordinate and attribute schema. This process includes a crowdsourced curation pipeline and programmatic quality validation to verify the spatial accuracy and formattin

OSV is a distributed database and aggregator of open-source security advisories that uses a standardized vulnerability schema to track security flaws. It functions as a system for collecting and normalizing security data from diverse ecosystems into a single unified format, providing a web API for querying package vulnerabilities and submitting standardized records. The project distinguishes itself through a security advisory distribution service that supports bulk dataset exports via cloud storage buckets and incremental synchronization of security record updates. It also employs sandbox-bas

Le serveur agit comme un moteur d'ingestion centralisé conçu pour collecter, normaliser et indexer les données de télémétrie distribuées. Il fonctionne comme un processeur backend qui reçoit des métriques de performance, des traces et des journaux d'erreurs provenant d'agents applicatifs, les transformant en documents structurés pour le stockage et l'analyse au sein de plateformes de recherche et d'analyse. Le système se distingue par un pipeline d'ingestion à haut débit qui utilise le traitement d'événements asynchrone et le contrôle de flux conscient de la contre-pression pour maintenir la stabilité lors des pics de trafic. Il emploie des étapes de transformation modulaires basées sur des plugins pour assainir et enrichir les charges utiles entrantes, garantissant que les données hétérogènes sont mappées dans un schéma unifié avant d'être validées dans le backend via une indexation en masse optimisée. Au-delà de l'ingestion de base, le projet fournit des capacités d'observabilité complètes, incluant le traçage de requêtes distribuées, la cartographie des dépendances de service et le suivi des erreurs applicatives. Il prend en charge une surveillance spécialisée pour l'instrumentation mobile et les applications de modèles de langage, tout en offrant des outils de diagnostic pour la corrélation des anomalies de performance et la collecte de métriques au niveau du système. Le dépôt inclut une suite d'utilitaires pour l'orchestration du développement local, la synchronisation des conteneurs et les tests automatisés des chemins de mise à niveau du déploiement.

Cette bibliothèque est un framework de traitement de données pour la JVM qui fournit un environnement typé pour manipuler des données tabulaires structurées. Elle fonctionne comme un ensemble d'outils complet pour effectuer des transformations de données complexes, des agrégations et des analyses statistiques, tout en tirant parti de la validation de schéma à la compilation pour garantir l'intégrité structurelle des pipelines de données. Le projet se distingue par son intégration poussée avec les environnements de notebooks interactifs et son utilisation de la génération de code à la compilation. En dérivant et en appliquant automatiquement des schémas à partir d'entrées brutes, il génère des accesseurs typés qui permettent l'autocomplétion dans l'IDE et la vérification statique des noms de colonnes. Cette architecture permet aux développeurs d'effectuer un traitement de pipeline fonctionnel tout en maintenant une sécurité de type stricte, prévenant ainsi efficacement les erreurs d'exécution lors de la manipulation des données. La bibliothèque prend en charge un large éventail de flux de travail de données, y compris l'importation et le mappage de schémas de bases de données relationnelles, l'analyse géospatiale et l'exécution de pivotements de données complexes. Elle inclut des utilitaires étendus pour la construction, le filtrage, le tri et le calcul de statistiques descriptives. De plus, le framework offre des capacités robustes de visualisation et de reporting, permettant aux utilisateurs de rendre des tableaux HTML interactifs, de composer des documents et de générer des graphiques directement à partir de jeux de données structurés. La bibliothèque est conçue pour une utilisation fluide dans les environnements de développement Kotlin et Java, avec un support spécialisé pour la gestion automatisée des dépendances et l'intégration du noyau dans les notebooks interactifs.

L'assistant de sécurité automatisé est un utilitaire en ligne de commande conçu pour orchestrer plusieurs outils d'analyse de sécurité dans un workflow unifié piloté par la configuration. Il fonctionne comme un moteur central qui exécute des tests de sécurité d'application statiques (SAST) et des scans d'infrastructure, agrégeant les sorties de divers outils dans un format standardisé lisible par machine pour assurer une détection cohérente des vulnérabilités tout au long des cycles de développement. L'outil se distingue par une architecture modulaire en plugins qui permet l'intégration de scanners personnalisés ou propriétaires, ainsi qu'une couche d'intelligence externe qui transmet les résultats à des services d'IA pour une analyse de remédiation automatisée. En prenant en charge des formats de rapport standardisés tels que SARIF, il permet une revue et un suivi cohérents des résultats de sécurité sur diverses plateformes de reporting et systèmes de surveillance. Au-delà de ses capacités d'orchestration, le framework facilite la vérification automatisée de la conformité et l'application des politiques de sécurité. Il s'intègre directement dans les environnements de développement locaux et les pipelines d'intégration continue (CI), permettant aux équipes de définir des paramètres de scan spécifiques, des seuils de sévérité et des exclusions de fichiers pour adapter l'analyse de sécurité aux exigences du projet.