2 repository-uri
Specialized formats and schemas used to organize data during the initial extraction phase of a pipeline.
Explore 2 awesome GitHub repositories matching data & databases · Extraction Data Structures. Refine with filters or upvote what's useful.
Faceswap is a comprehensive framework for automated media manipulation and neural face synthesis. It provides a modular pipeline that manages the entire lifecycle of facial feature extraction, deep learning model training, and image conversion. By coordinating complex computer vision workflows, the system enables users to map facial identities between source and destination datasets while maintaining structural alignment and lighting consistency across video frames. The project distinguishes itself through a highly extensible plugin-based architecture that handles hardware-accelerated process
Structures batch data during extraction, including frame metadata, image arrays, and alignment status.
Mage AI este un orchestrator de pipeline-uri de date bazat pe Python și un mediu de dezvoltare integrat (IDE) pentru date, self-hosted. Este conceput pentru construirea, programarea și monitorizarea workflow-urilor de date folosind un design de pipeline bazat pe blocuri și o interfață de notebook interactivă. Platforma se distinge prin integrarea capabilităților de AI generativ, permițând utilizatorilor să conecteze furnizori de modele de limbaj mari (LLM) prin API pentru a încorpora inteligența artificială în fluxurile de date automatizate. De asemenea, funcționează ca un procesor de date Apache Spark, gestionând kernel-urile și infrastructura necesară pentru analize de mare volum și procesarea datelor la scară largă. Sistemul acoperă o gamă largă de capabilități de inginerie a datelor, inclusiv automatizarea workflow-urilor ETL, gestionarea modelelor dbt și descoperirea fluxurilor de date. Oferă instrumente pentru integrarea controlului versiunilor prin Git, deployment containerizat și controlul accesului bazat pe roluri pentru a gestiona pipeline-urile în medii de dezvoltare și producție. Monitorizarea este gestionată prin telemetria performanței sistemului și debugging-ul execuției pipeline-urilor.
Retrieves structural metadata for selected data streams to define the format of all incoming information.