1 repository
Awesome GitHub RepositoriesProduction Data Engineering
The practice of managing the lifecycle, versioning, and monitoring of data pipelines in production environments.
Distinct from Data Product Deployers: None of the candidates cover the holistic management of deployment, version control, and monitoring for production data pipelines.
Explore 1 awesome GitHub repository matching data & databases · Production Data Engineering. Refine with filters or upvote what's useful.
Awesome Production Data Engineering GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- mage-ai/mage-ai
mage-ai/mage-ai
8,759Vezi pe GitHubMage AI este un orchestrator de pipeline-uri de date bazat pe Python și un mediu de dezvoltare integrat (IDE) pentru date, self-hosted. Este conceput pentru construirea, programarea și monitorizarea workflow-urilor de date folosind un design de pipeline bazat pe blocuri și o interfață de notebook interactivă. Platforma se distinge prin integrarea capabilităților de AI generativ, permițând utilizatorilor să conecteze furnizori de modele de limbaj mari (LLM) prin API pentru a încorpora inteligența artificială în fluxurile de date automatizate. De asemenea, funcționează ca un procesor de date Apache Spark, gestionând kernel-urile și infrastructura necesară pentru analize de mare volum și procesarea datelor la scară largă. Sistemul acoperă o gamă largă de capabilități de inginerie a datelor, inclusiv automatizarea workflow-urilor ETL, gestionarea modelelor dbt și descoperirea fluxurilor de date. Oferă instrumente pentru integrarea controlului versiunilor prin Git, deployment containerizat și controlul accesului bazat pe roluri pentru a gestiona pipeline-urile în medii de dezvoltare și producție. Monitorizarea este gestionată prin telemetria performanței sistemului și debugging-ul execuției pipeline-urilor.
Manages the full lifecycle of data pipelines, including versioning and monitoring in production environments.
Python
