Awesome GitHub RepositoriesMulti-Cloud Data Aggregation

Steampipe is a cloud infrastructure query engine and API-to-SQL mapper that translates REST and GraphQL API responses into relational rows and columns. It allows for the retrieval and joining of real-time data from multiple cloud service providers using a relational database interface. The project functions as a PostgreSQL foreign data wrapper and an SQLite API extension, mapping external API endpoints to virtual tables. This enables the use of standard SQL to query live cloud services and aggregate data from different providers and service accounts into a single unified dataset. The system

CloudQuery is a cloud infrastructure ETL tool and multi-cloud data pipeline designed to collect, synchronize, and normalize resource metadata from various cloud providers and SaaS platforms. It functions as a centralized asset inventory manager and security posture manager, extracting configuration and state data into relational databases, data lakes, or data warehouses. The system distinguishes itself by transforming complex, nested cloud API responses into flat relational tables, enabling the use of standard SQL for asset querying and analysis. It employs a modular plugin system for data ex

Komiser est un inspecteur d'infrastructure multi-cloud et un gestionnaire d'inventaire d'actifs. Il fournit un système centralisé pour auditer, cataloguer et analyser les services et actifs déployés dans les environnements AWS, GCP et Azure. Le projet transforme les schémas de ressources disparates de différents fournisseurs cloud en une représentation structurelle unifiée via une architecture de plugin basée sur les fournisseurs. Il utilise une inspection d'API sans agent et une découverte de ressources basée sur le polling pour récupérer les métadonnées et les états de configuration sans nécessiter d'agents sur les ressources cibles. La plateforme couvre la gestion financière via l'agrégation des coûts et l'analyse des dépenses, l'audit des ressources pour identifier les actifs inactifs ou non étiquetés, et la gestion de la posture de sécurité pour détecter les vulnérabilités et les erreurs de configuration de l'infrastructure.