1 repository
Systems for cleaning, processing, and querying large datasets using distributed storage and SQL interfaces.
Distinct from Hive Metastore Services: Candidates focus on plugins, metadata services, or specific version retrieval, whereas this is a full analysis framework using Hive.
Explore 1 awesome GitHub repository matching data & databases · Distributed SQL Analysis Frameworks. Refine with filters or upvote what's useful.
Acest proiect este o colecție de framework-uri și pipeline-uri de big data, incluzând un framework de analiză Apache Hive, o platformă de analiză a datelor comportamentale, un motor de analiză predictivă și pipeline-uri de date în timp real. Oferă infrastructura necesară pentru construirea fluxurilor de lucru ETL (Extract, Transform, Load) pentru procesarea seturilor mari de date în vederea stocării distribuite și a analizei bazate pe SQL. Sistemul suportă implementări analitice diverse, cum ar fi un motor predictiv care utilizează regresia liniară pentru prognoza valorilor și o arhitectură în timp real care transmite datele prin message broker-e pentru raportare imediată. Include capabilități specializate pentru analiza comportamentului utilizatorilor, măsurarea performanței în e-commerce și analiza datelor de tranzit urban. Codul sursă acoperă o arie largă de inginerie și analiză a datelor, inclusiv curățarea și transformarea datelor, ingestia distribuită, procesarea fluxurilor bazată pe ferestre (window-based) și vizualizarea rezultatelor prin instrumente de business intelligence. De asemenea, permite calcularea unor metrici de business specifice, cum ar fi ratele de conversie, performanța monetizării și nivelurile de implicare a utilizatorilor.
Provides a comprehensive system for cleaning and querying large datasets using Hive for distributed storage.