2 dépôts
Specialized formats and schemas used to organize data during the initial extraction phase of a pipeline.
Explore 2 awesome GitHub repositories matching data & databases · Extraction Data Structures. Refine with filters or upvote what's useful.
Faceswap is a comprehensive framework for automated media manipulation and neural face synthesis. It provides a modular pipeline that manages the entire lifecycle of facial feature extraction, deep learning model training, and image conversion. By coordinating complex computer vision workflows, the system enables users to map facial identities between source and destination datasets while maintaining structural alignment and lighting consistency across video frames. The project distinguishes itself through a highly extensible plugin-based architecture that handles hardware-accelerated process
Structures batch data during extraction, including frame metadata, image arrays, and alignment status.
Mage AI est un orchestrateur de pipelines de données basé sur Python et un environnement de développement intégré (IDE) de données auto-hébergé. Il est conçu pour construire, planifier et surveiller des workflows de données en utilisant une conception de pipeline par blocs et une interface de notebook interactive. La plateforme se distingue en intégrant des capacités d'IA générative, permettant aux utilisateurs de connecter des fournisseurs de grands modèles de langage via API pour incorporer l'intelligence artificielle dans des flux de données automatisés. Elle fonctionne également comme un processeur de données Apache Spark, gérant les kernels et l'infrastructure requis pour l'analytique à haut volume et le traitement de données à grande échelle. Le système couvre un large éventail de capacités d'ingénierie de données, incluant l'automatisation de workflows ETL, la gestion de modèles dbt et la découverte de flux de données. Il fournit des outils pour l'intégration du contrôle de version via Git, le déploiement conteneurisé et le contrôle d'accès basé sur les rôles pour gérer les pipelines dans les environnements de développement et de production. La surveillance est gérée via la télémétrie des performances système et le débogage de l'exécution des pipelines.
Retrieves structural metadata for selected data streams to define the format of all incoming information.