Awesome GitHub RepositoriesCloud Infrastructure Data Collection

CloudQuery is a cloud infrastructure ETL tool and multi-cloud data pipeline designed to collect, synchronize, and normalize resource metadata from various cloud providers and SaaS platforms. It functions as a centralized asset inventory manager and security posture manager, extracting configuration and state data into relational databases, data lakes, or data warehouses. The system distinguishes itself by transforming complex, nested cloud API responses into flat relational tables, enabling the use of standard SQL for asset querying and analysis. It employs a modular plugin system for data ex

CDK es un conjunto de herramientas especializado para la auditoría de seguridad de contenedores, explotación de escapes de contenedores y pruebas de penetración de infraestructura en la nube. Proporciona una colección de scripts y herramientas diseñadas para identificar y explotar vulnerabilidades en los runtimes de contenedores para salir de entornos aislados y ejecutar comandos en el sistema operativo host subyacente. El proyecto cuenta con una suite de explotación de runtime Docker dedicada para abusar de la API de Docker, procfs y cgroups para obtener acceso no autorizado a nivel de host. Incluye técnicas específicas para eludir el aislamiento mediante LXCFS, explotación de espacios de nombres de usuario y montaje de discos del host, así como capacidades para extraer metadatos de la nube y auditar permisos de cuentas de servicio para escalar privilegios en entornos de clúster. El kit de herramientas cubre una amplia gama de capacidades de auditoría de seguridad, incluyendo la auditoría de clústeres Kubernetes para la exfiltración de secretos y análisis de políticas, escaneo de archivos y servicios sensibles, y la detección de intercambio de red del host. También proporciona utilidades para establecer reverse shells, desplegar payloads en entornos restringidos e instalar herramientas de administración del sistema dentro de contenedores mínimos.

Este proyecto es una librería de integración de pandas con AWS y un framework de pipeline de datos diseñado para simplificar el movimiento y la transformación de datos entre la memoria local y los servicios de almacenamiento y análisis de AWS. Funciona como un toolkit de data lake en la nube y gestor de archivos de almacenamiento, permitiendo a los usuarios leer, escribir y transformar datos estructurados a través de varios entornos en la nube. La librería se distingue como un orquestador de cómputo distribuido capaz de gestionar clusters en entornos como EMR para procesar datasets que exceden los límites de memoria de una sola máquina. También proporciona capacidades especializadas para gestionar índices vectoriales y realizar búsquedas de similitud dentro de buckets de almacenamiento en la nube. Su superficie de capacidad más amplia cubre ETL de bases de datos en la nube para servicios como DynamoDB, RDS y Timestream, así como la gestión de catálogos de datos en la nube a través de AWS Glue. Admite análisis de datos sin servidor a través de Athena y Redshift, y proporciona utilidades para gestionar objetos S3, indexar documentos en OpenSearch y analizar registros de CloudWatch.

Cloudsploit is a cloud security posture management tool and multi-cloud security auditor. It audits cloud infrastructure for misconfigurations and compliance risks across multiple providers, specifically AWS and Azure, by evaluating resource configurations against a set of security plugins. The project functions as a cloud compliance scanner that maps infrastructure scan results to regulatory frameworks and security policy standards. It also serves as an automated cloud remediation tool, executing corrective actions to fix detected misconfigurations via SDK calls. The system covers resource