Awesome GitHub RepositoriesSource Metadata Retrievers

dbt-core is a command-line framework for transforming data within a warehouse using modular SQL and version control. It functions as a data transformation engine that enables users to define data structures and business logic through declarative configuration files, which the system then compiles into executable code. By managing complex data dependencies through a directed acyclic graph, it ensures that transformation tasks execute in the correct order while maintaining a manifest-driven state to track lineage and execution history. The project distinguishes itself through an adapter-based d

This project is a streaming data integration framework that captures real-time database changes and synchronizes them with downstream systems. It operates as a distributed streaming ETL and database synchronizer, reading database logs and snapshots to propagate row-level modifications to target sinks. The system supports declarative data integration, allowing users to define source-to-sink data flows using SQL or YAML configurations. It distinguishes itself by automating schema evolution to maintain synchronization when source structures change and ensuring exactly-once delivery and processin

Esta librería es un framework de procesamiento de datos para la JVM que proporciona un entorno con seguridad de tipos para manipular datos tabulares estructurados. Funciona como un conjunto de herramientas integral para realizar transformaciones de datos complejas, agregaciones y análisis estadístico, aprovechando la validación de esquemas en tiempo de compilación para garantizar la integridad estructural en los pipelines de datos. El proyecto se distingue por su profunda integración con entornos de notebooks interactivos y su uso de generación de código en tiempo de compilación. Al derivar y aplicar esquemas automáticamente a partir de entradas sin procesar, genera descriptores de acceso con seguridad de tipos que permiten el autocompletado en el IDE y la verificación estática de nombres de columnas. Esta arquitectura permite a los desarrolladores realizar procesamiento de pipelines funcional manteniendo una estricta seguridad de tipos, evitando eficazmente errores en tiempo de ejecución durante la manipulación de datos. La librería admite una amplia gama de flujos de trabajo de datos, incluyendo la importación y mapeo de esquemas de bases de datos relacionales, la realización de análisis geoespaciales y la ejecución de pivotes de datos complejos. Incluye amplias utilidades para la construcción, filtrado, ordenamiento y cálculo de estadísticas descriptivas de datos. Además, el framework proporciona capacidades robustas de visualización y generación de informes, permitiendo a los usuarios renderizar tablas HTML interactivas, componer documentos y generar gráficos directamente a partir de conjuntos de datos estructurados. La librería está diseñada para un uso fluido dentro de entornos de desarrollo Kotlin y Java, con soporte especializado para la gestión automatizada de dependencias e integración de kernels en notebooks interactivos.