2 repositorios
Specialized formats and schemas used to organize data during the initial extraction phase of a pipeline.
Explore 2 awesome GitHub repositories matching data & databases · Extraction Data Structures. Refine with filters or upvote what's useful.
Faceswap is a comprehensive framework for automated media manipulation and neural face synthesis. It provides a modular pipeline that manages the entire lifecycle of facial feature extraction, deep learning model training, and image conversion. By coordinating complex computer vision workflows, the system enables users to map facial identities between source and destination datasets while maintaining structural alignment and lighting consistency across video frames. The project distinguishes itself through a highly extensible plugin-based architecture that handles hardware-accelerated process
Structures batch data during extraction, including frame metadata, image arrays, and alignment status.
Mage AI es un orquestador de pipelines de datos basado en Python y un entorno de desarrollo integrado (IDE) de datos autohospedado. Está diseñado para construir, programar y monitorear flujos de trabajo de datos utilizando un diseño de pipeline basado en bloques y una interfaz de cuaderno interactiva. La plataforma se distingue por integrar capacidades de IA generativa, permitiendo a los usuarios conectar proveedores de grandes modelos de lenguaje mediante API para incorporar inteligencia artificial en flujos de datos automatizados. También funciona como un procesador de datos de Apache Spark, gestionando los kernels y la infraestructura necesarios para análisis de alto volumen y procesamiento de datos a gran escala. El sistema cubre una amplia gama de capacidades de ingeniería de datos, incluyendo la automatización de flujos de trabajo ETL, la gestión de modelos dbt y el descubrimiento de flujos de datos. Proporciona herramientas para la integración de control de versiones mediante Git, despliegue en contenedores y control de acceso basado en roles para gestionar pipelines en entornos de desarrollo y producción. El monitoreo se maneja a través de telemetría de rendimiento del sistema y depuración de ejecución de pipelines.
Retrieves structural metadata for selected data streams to define the format of all incoming information.