Awesome GitHub RepositoriesEnterprise Data Platforms

Refine is a React-based framework for building data-intensive internal tools, admin panels, and B2B applications. It functions as a data-driven UI library and a headless admin panel generator that connects frontends to external backend services using standardized logic for state management and network request handling. The project decouples business logic from the presentation layer, allowing any custom design system or interface library to be applied to the application. It includes a CRUD application generator that automatically creates user interfaces for managing records based on the struc

This project is a distributed, document-oriented database system designed to store information in flexible, hierarchical structures. It supports horizontal scaling through automated sharding and maintains high availability across global clusters using a multi-node replication protocol. By executing multi-document operations as atomic units, the system ensures data integrity and consistency across distributed environments. The platform distinguishes itself by integrating advanced vector-based indexing, which enables semantic similarity searches alongside traditional geospatial and lexical quer

This platform is a modular, metadata-driven framework designed for building custom business applications and data management systems without traditional coding. It functions as a low-code environment where data models, user interfaces, and business logic are defined through visual configurations rather than hardcoded views. The architecture supports multi-tenant isolation, allowing multiple independent applications to run within a single shared memory space while maintaining strict logical separation of data and configurations. What distinguishes this system is its deep integration of artific

Airbyte is a data integration platform designed to synchronize information between diverse applications, databases, and data warehouses. It functions as an extract, transform, and load orchestrator that manages automated data movement workflows across cloud, on-premise, and hybrid environments. The platform provides a standardized interface for connectors, enabling the movement of structured and unstructured data while maintaining stateful checkpoints for reliable incremental syncing. The platform distinguishes itself through a containerized architecture that isolates connectors to prevent de

Weaviate is a cloud-native vector database and distributed vector store designed to save high-dimensional vectors alongside structured data. It functions as a hybrid search engine that combines vector similarity, keyword matching, and structured metadata filtering within a single query. The system is optimized for retrieval-augmented generation, integrating vector search with generative AI and reranking to power question-and-answer workflows. It distinguishes itself through the ability to merge semantic search with traditional keyword queries and structured metadata filters to improve result

DataHub is a metadata management platform designed to unify technical, operational, and business context across diverse data ecosystems. By utilizing a graph-based metadata model and an event-driven ingestion architecture, it creates a centralized source of truth that maps complex data relationships, lineage, and ownership. This foundational framework enables organizations to maintain a synchronized view of their data landscape, supporting both human-led discovery and automated data operations. The platform distinguishes itself through its focus on grounding artificial intelligence and autono

Pachyderm is a containerized, versioned, and lineage-tracked data pipeline platform that runs natively on Kubernetes. It combines a distributed file system backend with immutable data versioning, so every commit to a data repository creates an auditable snapshot, and every pipeline step executes as an isolated container. The platform is defined by a data-centric pipeline model where pipelines are specified by their input and output data repositories rather than explicit task sequences, and provenance is recorded as a directed acyclic graph of commits linking output data to its input sources an

Fleet is an open-source device management platform that provides centralized control over computing devices running macOS, Linux, Windows, Chromebooks, iOS, and Android. It enables organizations to enroll devices, collect real-time telemetry, enforce security compliance policies, and manage software remotely from a single system. The platform can be deployed as a single binary, run locally for testing, or scaled horizontally across cloud infrastructure on AWS, Kubernetes, GCP, or Render, with support for high availability through database replication and load balancing. The platform distingui

Fluvio ist eine verteilte Event-Streaming-Plattform und eine Cloud-native Streaming-Engine, die für das Sammeln, Persistieren und Replizieren von Echtzeit-Datenströmen über einen verteilten Cluster hinweg entwickelt wurde. Sie fungiert als Echtzeit-Datenpipeline für den Aufbau zustandsbehafteter Workflows, die Daten zwischen externen Quellen und Senken aufnehmen, anreichern und exportieren. Die Plattform zeichnet sich durch die Verwendung von WebAssembly zur Ausführung kompilierter Module für In-Line-Datentransformationen und -filterung aus. Dies ermöglicht die Ausführung benutzerdefinierter Geschäftslogik, um Informationen während der Übertragung umzuformen, ohne den Cluster neu starten zu müssen. Das System deckt ein breites Spektrum an Funktionen ab, einschließlich connector-basierter Datenaufnahme aus externen Protokollen, log-strukturierter unveränderlicher Speicherung mit Zero-Copy-IO und horizontaler Clusterskalierung. Es unterstützt die Erstellung komplexer ereignisgesteuerter Pipelines, die zustandsbehaftete Verarbeitung, fensterbasierte Aggregationen und partitionierte Datenverteilung nutzen. Die Engine kann als leichtgewichtiges Binärprogramm auf diversen Systemarchitekturen bereitgestellt werden, einschließlich ARM64-IoT-Geräten für die Datenverarbeitung am Edge.

Scraperr ist eine selbstgehostete Plattform für Web-Scraping und Crawling, die für die Extraktion strukturierter Daten von Websites mittels XPath-Selektoren entwickelt wurde. Sie fungiert als containerisiertes System zur Verwaltung von Scraping-Jobs über eine Queue und zur Analyse der resultierenden Inhalte mittels künstlicher Intelligenz. Das Projekt zeichnet sich durch seine Kubernetes-native Architektur aus, die eine skalierbare Bereitstellung und Verwaltung über Paketmanager ermöglicht. Es enthält eine Crawling-Engine, die Domain-Level-Spidering unterstützt, um verlinkte Seiten zu entdecken, sowie einen Datenanalysator, der künstliche Intelligenz zur Abfrage extrahierter Webinhalte nutzt. Die Plattform deckt ein breites Spektrum an Funktionen ab, einschließlich automatisierter Datenextraktion, Bulk-Web-Crawling und Download von Mediendateien. Sie bietet Tools zur Visualisierung gescrapter Daten in Tabellen, zur Konfiguration benutzerdefinierter Request-Header zur Nachahmung von Browser-Identitäten und zum Export von Ergebnissen in CSV- oder Markdown-Formate. Die Anwendung unterstützt anpassbare Installationsparameter und Versions-Updates über Kubernetes-Deployment-Konfigurationen.

Briefer ist eine interaktive Daten-Notebook-Plattform und ein Business-Intelligence-Dashboard-Tool, das für kollaborative Datenanalyse und Berichterstattung verwendet wird. Es bietet eine containerisierte Umgebung zum Erstellen von Berichten, die SQL, Python und Markdown mit nativen Visualisierungen kombinieren. Die Plattform verfügt über einen integrierten Code-Assistenten, der Large Language Models verwendet, um SQL- und Python-Snippets aus natürlichsprachlichen Prompts zu generieren. Sie ist als Kubernetes-Datenanwendung konzipiert und wird über Helm-Charts bereitgestellt, um isolierte Rechenumgebungen zu verwalten und separate Ressourcen pro Seite durch Pod-basierte Isolierung sicherzustellen. Das System deckt ein breites Spektrum an Funktionen ab, einschließlich externer Datenbankkonnektivität, Echtzeit-Co-Editing und automatisierter Berichtszustellung via Scheduling. Es integriert sich mit OpenID Connect für die Identitätsbereitstellung und bietet rollenbasierte Zugriffskontrolle, sicheres Credential-Management und ergebnisbasiertes Query-Caching. Die Anwendung wird über Kubernetes-Cluster mittels verwalteter Helm-Charts bereitgestellt und skaliert.

Vald is a distributed, cloud-native search engine designed for high-dimensional vector data. It functions as an approximate nearest neighbor search platform, enabling the identification of similar data points across massive datasets through horizontal scaling and distributed indexing. The system is built for container orchestration environments, utilizing custom resource controllers to automate cluster lifecycle management and infrastructure state. It employs graph-based indexing to perform rapid similarity lookups and supports zero-downtime operations by decoupling index construction from qu

This project is an open-source, self-hosted platform designed for enterprise-grade data collection, survey building, and automated operational workflows. It provides a comprehensive environment for organizations to maintain full data sovereignty while managing interactive questionnaires, online exams, and complex information-gathering projects within their own private infrastructure. The platform distinguishes itself through a focus on high-concurrency, scalable deployment and granular organizational control. It features a dynamic drag-and-drop builder that supports logic-based branching and

Flow-like is a workflow orchestration engine designed for building and executing strictly typed automated processes. It provides a secure, sandboxed runtime environment that supports the integration of local artificial intelligence models, allowing for the processing of data entirely on host hardware without reliance on external cloud services. The platform distinguishes itself through its event-sourced execution tracing, which records every state change and data movement to enable full auditability and the replay of past processes. It combines this with a hybrid storage system that integrate