Awesome GitHub RepositoriesMulti-Cloud Data Aggregation

Steampipe is a cloud infrastructure query engine and API-to-SQL mapper that translates REST and GraphQL API responses into relational rows and columns. It allows for the retrieval and joining of real-time data from multiple cloud service providers using a relational database interface. The project functions as a PostgreSQL foreign data wrapper and an SQLite API extension, mapping external API endpoints to virtual tables. This enables the use of standard SQL to query live cloud services and aggregate data from different providers and service accounts into a single unified dataset. The system

CloudQuery is a cloud infrastructure ETL tool and multi-cloud data pipeline designed to collect, synchronize, and normalize resource metadata from various cloud providers and SaaS platforms. It functions as a centralized asset inventory manager and security posture manager, extracting configuration and state data into relational databases, data lakes, or data warehouses. The system distinguishes itself by transforming complex, nested cloud API responses into flat relational tables, enabling the use of standard SQL for asset querying and analysis. It employs a modular plugin system for data ex

Komiser este un inspector de infrastructură multi-cloud și un manager de inventar al activelor. Oferă un sistem centralizat pentru auditarea, catalogarea și analizarea serviciilor și activelor implementate în medii AWS, GCP și Azure. Proiectul transformă schemele de resurse disparate de la diferiți furnizori de cloud într-o reprezentare structurală unificată printr-o arhitectură de plugin-uri bazată pe furnizori. Utilizează inspecția API fără agenți și descoperirea resurselor bazată pe polling pentru a recupera metadatele și stările de configurare fără a necesita agenți pe resursele țintă. Platforma acoperă gestionarea financiară prin agregarea costurilor și analiza cheltuielilor, auditarea resurselor pentru a identifica activele inactive sau neetichetate și gestionarea posturii de securitate pentru a detecta vulnerabilitățile și configurările greșite ale infrastructurii.