Awesome GitHub RepositoriesHadoop

Apache Hive is a SQL-on-Hadoop data warehouse that enables querying and managing petabytes of data stored in distributed storage such as HDFS and cloud storage services. It provides a familiar SQL interface for batch analytics and reporting, supported by a core set of components including the HiveServer2 Thrift service for remote query execution, the Hive Metastore Service for central metadata management, the Hive ACID Transaction Engine for concurrent read-write operations, and the Hive LLAP Interactive Engine for low-latency analytical processing. The WebHCat REST API offers an HTTP interfac

JanusGraph is a distributed, elastically scalable graph database designed to store and query highly connected data across a cluster of machines. It supports the property graph data model with ACID consistency and integrates multi-model search capabilities including geo, numeric range, and full-text queries. The database also includes a Graph OLAP engine for running batch analytics and global graph computations on large datasets using the Hadoop framework. The project distinguishes itself through a masterless cluster architecture that eliminates single points of failure, allowing every node to

HBase ist ein verteilter, Wide-Column-NoSQL-Speicher und Big-Data-Speicher-Engine, die für spärliche Datensätze konzipiert ist. Sie fungiert als skalierbare spaltenorientierte Datenbank, die auf dem Hadoop Distributed File System aufbaut, um Echtzeit-Lese- und Schreibzugriffe auf massive Mengen strukturierter und unstrukturierter Daten zu ermöglichen. Das System agiert als sprachübergreifendes Datenbank-Gateway und bietet Konnektivität über native Remote Procedure Calls (RPC), REST- und Thrift-Schnittstellen. Es zeichnet sich durch ein Master-Worker-Koordinationsmodell aus, das horizontale Skalierung und Fehlertoleranz über einen Cluster hinweg ermöglicht. Das Projekt deckt ein breites Spektrum an Funktionen ab, einschließlich fein abgestimmter Zugriffskontrolle über Visibility-Labels auf Zellebene, plugbarer Datenkompression und serverseitiger Datenaggregation. Es unterstützt zudem Big-Data-Analytics-Workflows durch Map-Reduce-Integration und erlaubt die Ausführung benutzerdefinierter serverseitiger Logik. Die betriebliche Überwachung wird durch System-Metrik-Tracking und Plugin-basierten Metrik-Export bereitgestellt.

Kylin is a distributed OLAP engine designed for executing fast SQL queries on massive datasets. It utilizes multi-dimensional data cubes to pre-calculate data aggregates, enabling sub-second response times for large-scale analytical queries and big data analytics. The system focuses on large-scale data warehousing and multi-dimensional data modeling. It allows for the organization and querying of vast amounts of structured data to support business intelligence and reporting workflows through distributed SQL querying.