Awesome GitHub RepositoriesEnterprise Data Platforms

Refine is a React-based framework for building data-intensive internal tools, admin panels, and B2B applications. It functions as a data-driven UI library and a headless admin panel generator that connects frontends to external backend services using standardized logic for state management and network request handling. The project decouples business logic from the presentation layer, allowing any custom design system or interface library to be applied to the application. It includes a CRUD application generator that automatically creates user interfaces for managing records based on the struc

This project is a distributed, document-oriented database system designed to store information in flexible, hierarchical structures. It supports horizontal scaling through automated sharding and maintains high availability across global clusters using a multi-node replication protocol. By executing multi-document operations as atomic units, the system ensures data integrity and consistency across distributed environments. The platform distinguishes itself by integrating advanced vector-based indexing, which enables semantic similarity searches alongside traditional geospatial and lexical quer

This platform is a modular, metadata-driven framework designed for building custom business applications and data management systems without traditional coding. It functions as a low-code environment where data models, user interfaces, and business logic are defined through visual configurations rather than hardcoded views. The architecture supports multi-tenant isolation, allowing multiple independent applications to run within a single shared memory space while maintaining strict logical separation of data and configurations. What distinguishes this system is its deep integration of artific

Airbyte is a data integration platform designed to synchronize information between diverse applications, databases, and data warehouses. It functions as an extract, transform, and load orchestrator that manages automated data movement workflows across cloud, on-premise, and hybrid environments. The platform provides a standardized interface for connectors, enabling the movement of structured and unstructured data while maintaining stateful checkpoints for reliable incremental syncing. The platform distinguishes itself through a containerized architecture that isolates connectors to prevent de

Weaviate is a cloud-native vector database and distributed vector store designed to save high-dimensional vectors alongside structured data. It functions as a hybrid search engine that combines vector similarity, keyword matching, and structured metadata filtering within a single query. The system is optimized for retrieval-augmented generation, integrating vector search with generative AI and reranking to power question-and-answer workflows. It distinguishes itself through the ability to merge semantic search with traditional keyword queries and structured metadata filters to improve result

DataHub is a metadata management platform designed to unify technical, operational, and business context across diverse data ecosystems. By utilizing a graph-based metadata model and an event-driven ingestion architecture, it creates a centralized source of truth that maps complex data relationships, lineage, and ownership. This foundational framework enables organizations to maintain a synchronized view of their data landscape, supporting both human-led discovery and automated data operations. The platform distinguishes itself through its focus on grounding artificial intelligence and autono

Pachyderm is a containerized, versioned, and lineage-tracked data pipeline platform that runs natively on Kubernetes. It combines a distributed file system backend with immutable data versioning, so every commit to a data repository creates an auditable snapshot, and every pipeline step executes as an isolated container. The platform is defined by a data-centric pipeline model where pipelines are specified by their input and output data repositories rather than explicit task sequences, and provenance is recorded as a directed acyclic graph of commits linking output data to its input sources an

Fleet is an open-source device management platform that provides centralized control over computing devices running macOS, Linux, Windows, Chromebooks, iOS, and Android. It enables organizations to enroll devices, collect real-time telemetry, enforce security compliance policies, and manage software remotely from a single system. The platform can be deployed as a single binary, run locally for testing, or scaled horizontally across cloud infrastructure on AWS, Kubernetes, GCP, or Render, with support for high availability through database replication and load balancing. The platform distingui

Fluvio एक वितरित इवेंट स्ट्रीमिंग प्लेटफ़ॉर्म और क्लाउड-नेटिव स्ट्रीमिंग इंजन है जिसे वितरित क्लस्टर में रीयल-टाइम डेटा स्ट्रीम को एकत्र करने, बनाए रखने और दोहराने के लिए डिज़ाइन किया गया है। यह बाहरी स्रोतों और सिंक के बीच डेटा को इनजेस्ट, समृद्ध और निर्यात करने वाले स्टेटफ़ुल वर्कफ़्लो बनाने के लिए रीयल-टाइम डेटा पाइपलाइन के रूप में कार्य करता है। यह प्लेटफ़ॉर्म इन-लाइन डेटा परिवर्तनों और फ़िल्टरिंग के लिए संकलित मॉड्यूल को निष्पादित करने के लिए WebAssembly के उपयोग से प्रतिष्ठित है। यह क्लस्टर को पुनरारंभ करने की आवश्यकता के बिना जानकारी को फिर से आकार देने के लिए कस्टम व्यावसायिक तर्क के निष्पादन की अनुमति देता है। सिस्टम बाहरी प्रोटोकॉल से कनेक्टर-आधारित डेटा इंजेक्शन, ज़ीरो-कॉपी IO के साथ लॉग-स्ट्रक्चर्ड अपरिवर्तनीय भंडारण और क्षैतिज क्लस्टर स्केलिंग सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह जटिल इवेंट-संचालित पाइपलाइनों के निर्माण का समर्थन करता है जो स्टेटफ़ुल प्रोसेसिंग, विंडो-आधारित एकत्रीकरण और विभाजन-आधारित डेटा वितरण का उपयोग करते हैं। इंजन को एज डेटा प्रोसेसिंग के लिए ARM64 IoT उपकरणों सहित विविध सिस्टम आर्किटेक्चर पर एक हल्के बाइनरी के रूप में तैनात किया जा सकता है।

Scraperr एक सेल्फ-होस्टेड वेब स्क्रैपिंग और क्रॉलिंग प्लेटफॉर्म है जिसे XPath सिलेक्टर्स का उपयोग करके वेबसाइटों से स्ट्रक्चर्ड डेटा निकालने के लिए डिज़ाइन किया गया है। यह एक कतार (queue) के माध्यम से स्क्रैपिंग जॉब्स को प्रबंधित करने और आर्टिफिशियल इंटेलिजेंस का उपयोग करके परिणामी कंटेंट का विश्लेषण करने के लिए एक कंटेनराइज्ड सिस्टम के रूप में कार्य करता है। यह प्रोजेक्ट अपने Kubernetes-नेटिव आर्किटेक्चर के माध्यम से खुद को अलग करता है, जो पैकेज मैनेजर के माध्यम से स्केलेबल डिप्लॉयमेंट और प्रबंधन की अनुमति देता है। इसमें लिंक्ड पेजों को खोजने के लिए डोमेन-लेवल स्पाइडरिंग में सक्षम एक क्रॉलिंग इंजन और निकाले गए वेब कंटेंट को क्वेरी करने के लिए आर्टिफिशियल इंटेलिजेंस का उपयोग करने वाला एक डेटा एनालाइजर शामिल है। यह प्लेटफॉर्म ऑटोमेटेड डेटा एक्सट्रैक्शन, बल्क वेब क्रॉलिंग और मीडिया फाइल डाउनलोडिंग सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह स्क्रैप किए गए डेटा को टेबल में विज़ुअलाइज़ करने, ब्राउज़र पहचान की नकल करने के लिए कस्टम रिक्वेस्ट हेडर कॉन्फ़िगर करने और परिणामों को CSV या Markdown प्रारूपों में निर्यात करने के लिए टूल्स प्रदान करता है। एप्लिकेशन Kubernetes डिप्लॉयमेंट कॉन्फ़िगरेशन के माध्यम से अनुकूलन योग्य इंस्टॉलेशन पैरामीटर और वर्जन अपडेट का समर्थन करता है।

Briefer is an interactive data notebook platform and business intelligence dashboard tool used for collaborative data analysis and reporting. It provides a containerized environment for building reports that combine SQL, Python, and Markdown with native visualizations. The platform features an integrated code assistant that uses large language models to generate SQL and Python snippets from natural language prompts. It is designed as a Kubernetes data application, deploying via Helm charts to manage isolated compute environments and ensure separate resources per page through pod-based isolati

Vald is a distributed, cloud-native search engine designed for high-dimensional vector data. It functions as an approximate nearest neighbor search platform, enabling the identification of similar data points across massive datasets through horizontal scaling and distributed indexing. The system is built for container orchestration environments, utilizing custom resource controllers to automate cluster lifecycle management and infrastructure state. It employs graph-based indexing to perform rapid similarity lookups and supports zero-downtime operations by decoupling index construction from qu

यह प्रोजेक्ट एंटरप्राइज-ग्रेड डेटा संग्रह, सर्वेक्षण निर्माण और ऑटोमेटेड परिचालन वर्कफ़्लो के लिए डिज़ाइन किया गया एक ओपन-सोर्स, सेल्फ-होस्टेड प्लेटफॉर्म है। यह संगठनों को अपने स्वयं के निजी बुनियादी ढांचे के भीतर इंटरैक्टिव प्रश्नावली, ऑनलाइन परीक्षा और जटिल सूचना-एकत्रीकरण परियोजनाओं का प्रबंधन करते हुए पूर्ण डेटा संप्रभुता बनाए रखने के लिए एक व्यापक वातावरण प्रदान करता है। यह प्लेटफॉर्म उच्च-समवर्ती, स्केलेबल डिप्लॉयमेंट और दानेदार संगठनात्मक नियंत्रण पर ध्यान केंद्रित करके खुद को अलग करता है। इसमें एक डायनामिक ड्रैग-एंड-ड्रॉप बिल्डर है जो तर्क-आधारित ब्रांचिंग और AI-सहायता प्राप्त कंटेंट निर्माण का समर्थन करता है, जिससे ऐसे परिष्कृत फॉर्म बनाना संभव होता है जो उपयोगकर्ता इनपुट के अनुकूल होते हैं। साधारण डेटा प्रविष्टि से परे, सिस्टम बहु-चरणीय अनुमोदन वर्कफ़्लो, सुरक्षित भुगतान प्रसंस्करण और ऑटोमेटेड दस्तावेज़ निर्माण जैसी उन्नत व्यावसायिक क्षमताओं को इंटीग्रेट करता है, जो सभी एक केंद्रीकृत, भूमिका-आधारित एक्सेस कंट्रोल सिस्टम के माध्यम से प्रबंधित होते हैं। सिस्टम रीयल-टाइम डेटा प्रबंधन, बहु-प्लेटफ़ॉर्म वितरण और प्रतिभा मूल्यांकन और संसाधन शेड्यूलिंग के लिए विशेष टूल सहित एक व्यापक क्षमता सतह को कवर करता है। यह विविध स्टोरेज बैकएंड का समर्थन करता है और मजबूत सबमिशन ट्रैकिंग प्रदान करता है, यह सुनिश्चित करता है कि एकत्र की गई जानकारी सुरक्षित और विश्लेषण के लिए सुलभ रहे। एप्लिकेशन को कंटेनरीकृत डिप्लॉयमेंट के लिए डिज़ाइन किया गया है, जो निजी क्लाउड या ऑन-प्रिमाइसेस वातावरण के लिए सेटअप प्रक्रिया को सरल बनाता है।

Flow-like is a workflow orchestration engine designed for building and executing strictly typed automated processes. It provides a secure, sandboxed runtime environment that supports the integration of local artificial intelligence models, allowing for the processing of data entirely on host hardware without reliance on external cloud services. The platform distinguishes itself through its event-sourced execution tracing, which records every state change and data movement to enable full auditability and the replay of past processes. It combines this with a hybrid storage system that integrate