Awesome GitHub RepositoriesKubernetes-Native Data Platforms

Pachyderm is a containerized, versioned, and lineage-tracked data pipeline platform that runs natively on Kubernetes. It combines a distributed file system backend with immutable data versioning, so every commit to a data repository creates an auditable snapshot, and every pipeline step executes as an isolated container. The platform is defined by a data-centric pipeline model where pipelines are specified by their input and output data repositories rather than explicit task sequences, and provenance is recorded as a directed acyclic graph of commits linking output data to its input sources an

Scraperr एक सेल्फ-होस्टेड वेब स्क्रैपिंग और क्रॉलिंग प्लेटफॉर्म है जिसे XPath सिलेक्टर्स का उपयोग करके वेबसाइटों से स्ट्रक्चर्ड डेटा निकालने के लिए डिज़ाइन किया गया है। यह एक कतार (queue) के माध्यम से स्क्रैपिंग जॉब्स को प्रबंधित करने और आर्टिफिशियल इंटेलिजेंस का उपयोग करके परिणामी कंटेंट का विश्लेषण करने के लिए एक कंटेनराइज्ड सिस्टम के रूप में कार्य करता है। यह प्रोजेक्ट अपने Kubernetes-नेटिव आर्किटेक्चर के माध्यम से खुद को अलग करता है, जो पैकेज मैनेजर के माध्यम से स्केलेबल डिप्लॉयमेंट और प्रबंधन की अनुमति देता है। इसमें लिंक्ड पेजों को खोजने के लिए डोमेन-लेवल स्पाइडरिंग में सक्षम एक क्रॉलिंग इंजन और निकाले गए वेब कंटेंट को क्वेरी करने के लिए आर्टिफिशियल इंटेलिजेंस का उपयोग करने वाला एक डेटा एनालाइजर शामिल है। यह प्लेटफॉर्म ऑटोमेटेड डेटा एक्सट्रैक्शन, बल्क वेब क्रॉलिंग और मीडिया फाइल डाउनलोडिंग सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह स्क्रैप किए गए डेटा को टेबल में विज़ुअलाइज़ करने, ब्राउज़र पहचान की नकल करने के लिए कस्टम रिक्वेस्ट हेडर कॉन्फ़िगर करने और परिणामों को CSV या Markdown प्रारूपों में निर्यात करने के लिए टूल्स प्रदान करता है। एप्लिकेशन Kubernetes डिप्लॉयमेंट कॉन्फ़िगरेशन के माध्यम से अनुकूलन योग्य इंस्टॉलेशन पैरामीटर और वर्जन अपडेट का समर्थन करता है।

Briefer is an interactive data notebook platform and business intelligence dashboard tool used for collaborative data analysis and reporting. It provides a containerized environment for building reports that combine SQL, Python, and Markdown with native visualizations. The platform features an integrated code assistant that uses large language models to generate SQL and Python snippets from natural language prompts. It is designed as a Kubernetes data application, deploying via Helm charts to manage isolated compute environments and ensure separate resources per page through pod-based isolati

Vald is a distributed, cloud-native search engine designed for high-dimensional vector data. It functions as an approximate nearest neighbor search platform, enabling the identification of similar data points across massive datasets through horizontal scaling and distributed indexing. The system is built for container orchestration environments, utilizing custom resource controllers to automate cluster lifecycle management and infrastructure state. It employs graph-based indexing to perform rapid similarity lookups and supports zero-downtime operations by decoupling index construction from qu