Awesome GitHub RepositoriesService Scaling

This project is a comprehensive Java backend engineering guide and technical reference focused on high-concurrency design, distributed systems, and microservices architecture. It provides detailed strategies for decomposing monolithic applications, managing service discovery, and implementing the architectural patterns required for scalable backend environments. The repository distinguishes itself through an extensive collection of big data algorithmic references and database scaling strategies. It covers memory-efficient techniques for analyzing massive datasets, such as Top-K element extrac

Prefect is a workflow orchestration platform designed to define, schedule, and monitor complex data pipelines as Python code. It functions as a container-native engine that wraps individual tasks in isolated environments, ensuring consistent dependencies and resource allocation across diverse infrastructure. By utilizing a state-machine-based orchestration model, the system tracks execution progress through discrete transitions and persistent event logs to maintain reliable and observable task processing. The platform distinguishes itself through a decoupled worker-API architecture, which sep

Nango is an open-source platform that connects applications to external APIs by managing authentication, data synchronization, and custom function execution. It provides a managed runtime for TypeScript integration functions, handling OAuth flows, credential storage, and token refresh for hundreds of external APIs while keeping secrets isolated from application code. The platform distinguishes itself by exposing integration functions as discoverable tools for AI agents through an MCP server or API, with per-user credential isolation that keeps provider secrets out of the agent loop. It offers

यह प्रोजेक्ट Kubernetes पर प्लेटफॉर्म-एज-ए-सर्विस बनाने के लिए एक व्यापक आर्किटेक्चरल ब्लूप्रिंट और कार्यान्वयन सेट प्रदान करता है। यह कंटेनर ऑर्केस्ट्रेशन एनवायरनमेंट को तैनात करने, पूर्ण सॉफ्टवेयर डेवलपमेंट लाइफसाइकिल को मैनेज करने और एक पूर्ण DevOps टूलचेन को एकीकृत करने के लिए एक तकनीकी संसाधन के रूप में कार्य करता है। यह कार्यान्वयन बिल्ड और डिलीवरी पाइपलाइन्स, प्राइवेट कंटेनर रजिस्ट्रीज़ और वितरित कॉन्फ़िगरेशन सिस्टम के एकीकरण के माध्यम से ऑटोमेटेड सॉफ्टवेयर डिलीवरी पर जोर देता है। यह एक केंद्रीकृत कॉन्फ़िगरेशन मैनेजर के माध्यम से इमेजेस से एप्लिकेशन सेटिंग्स को अलग करने में सक्षम बनाता है, जिससे कंटेनरों को फिर से बनाए बिना एनवायरनमेंट-विशिष्ट अपडेट की अनुमति मिलती है। यह प्लेटफॉर्म कंटेनर नेटवर्किंग ऑर्केस्ट्रेशन, लेयर 4 और 7 ट्रैफिक मैनेजमेंट, और रोलिंग अपडेट रणनीतियों के साथ माइक्रोसर्विस ऑर्केस्ट्रेशन सहित क्लाउड-नेटिव क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। इसमें केंद्रीकृत लॉगिंग, वितरित ट्रेसिंग और टाइम-सीरीज मेट्रिक्स विज़ुअलाइज़ेशन के लिए एक पूर्ण ऑब्जर्वेबिलिटी स्टैक भी शामिल है। यह प्रोजेक्ट मुख्य रूप से ऑर्केस्ट्रेशन लेयर और इसकी सहायक सर्विसेज की तैनाती को ऑटोमेट करने के लिए शेल स्क्रिप्ट्स और कॉन्फ़िगरेशन फाइलों के संग्रह के रूप में कार्यान्वित है।

Unregistry is a decentralized container cluster orchestrator and Docker Compose manager. It allows for the deployment and scaling of containerized services across multiple remote hosts without the need for a centralized control plane. The project distinguishes itself by providing a registry-less deployment model, using SSH to transfer container image layers directly to remote servers. This capability enables deployments to air-gapped or private networks by bypassing external image registries entirely. The system covers a broad range of operational capabilities, including overlay mesh network

यह प्रोजेक्ट Go में स्केलेबल बैकएंड सिस्टम बनाने के लिए एक माइक्रोसर्विस फ्रेमवर्क है। यह सर्विस डिस्कवरी, लोड बैलेंसिंग, और फॉल्ट-टॉलरेंस तंत्र के लिए एकीकृत समर्थन के साथ वितरित सिस्टम के लिए एक आर्किटेक्चर प्रदान करता है। यह फ्रेमवर्क एक डोमेन-संचालित लेयर्ड आर्किटेक्चर और एक रिमोट-फर्स्ट कॉन्फ़िगरेशन सिस्टम के माध्यम से खुद को अलग करता है जो स्वचालित फ़ेलओवर के साथ रिमोट स्टोर्स और स्थानीय फ़ाइलों के बीच सेटिंग्स को सिंक्रनाइज़ करता है। यह यूनरी और स्ट्रीमिंग डेटा एक्सचेंज के लिए gRPC का उपयोग करके एक उच्च-प्रदर्शन संचार मॉडल लागू करता है, साथ ही लगातार क्लाइंट कनेक्शन प्रबंधित करने के लिए रीयल-टाइम अधिसूचना सिस्टम भी लागू करता है। यह सिस्टम वितरित क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है, जिसमें सर्किट ब्रेकिंग और रेट लिमिटिंग के माध्यम से ट्रैफ़िक प्रबंधन, और वितरित ट्रेसिंग, केंद्रीकृत लॉगिंग, और हेल्थ मॉनिटरिंग के माध्यम से ऑब्ज़र्वेबिलिटी शामिल है। इसमें प्रोबेबिलिस्टिक ब्लूम फ़िल्टर्स, वितरित लॉकिंग, और टोकन-आधारित सर्विस प्रमाणीकरण जैसे डेटा इंफ्रास्ट्रक्चर टूल भी शामिल हैं। इस प्रोजेक्ट में कंटेनरीकृत Elasticsearch और HBase वातावरण के लिए डिप्लॉयमेंट समर्थन शामिल है।

This project is a self-hosted AI monitoring stack that functions as an LLM observability platform, AI evaluation framework, and OpenTelemetry trace analyzer. It is designed to capture and analyze LLM traces, sessions, and telemetry to monitor AI agent performance. The platform distinguishes itself as a Model Context Protocol server, exposing workspace functions as tools for AI coding agents. It enables the conversion of failing production traces into test datasets for regression testing and utilizes semantic-based session clustering to discover emerging user behavior patterns. The system cov

SwanLab एक ओपन-सोर्स मशीन लर्निंग एक्सपेरिमेंट ट्रैकिंग प्लेटफ़ॉर्म और ऑब्जर्वेबिलिटी टूल है। यह AI मॉडल प्रशिक्षण रन की निगरानी और विश्लेषण करने के लिए प्रशिक्षण मेट्रिक्स, हाइपरपैरामीटर और हार्डवेयर प्रदर्शन को लॉग करने के लिए एक केंद्रीय डैशबोर्ड प्रदान करता है। यह प्लेटफ़ॉर्म अपने सेल्फ-होस्टेड इंफ्रास्ट्रक्चर पर ध्यान केंद्रित करने के लिए प्रतिष्ठित है, जो उपयोगकर्ताओं को सुरक्षित ऑन-प्रिमाइसेस डेटा नियंत्रण के लिए Docker या Kubernetes के माध्यम से निजी इंस्टेंस तैनात करने की अनुमति देता है। इसमें ऐतिहासिक प्रयोग लॉग को माइग्रेट करने और MLflow जैसे बाहरी टूल से रीयल-टाइम मेट्रिक्स को सिंक्रनाइज़ करने के लिए विशेष यूटिलिटीज भी शामिल हैं। यह सिस्टम 3D पॉइंट क्लाउड और ऑडियो-विज़ुअल एसेट्स के लिए मल्टी-मोडल मीडिया लॉगिंग, GPU और CPU के लिए रीयल-टाइम हार्डवेयर प्रदर्शन निगरानी, और साइड-बाय-साइड रन विज़ुअलाइज़ेशन के माध्यम से तुलनात्मक विश्लेषण सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह मल्टी-GPU क्लस्टर में वितरित प्रशिक्षण ट्रैकिंग का समर्थन करता है और PyTorch Lightning, Ray, XGBoost, और LightGBM जैसे फ्रेमवर्क के साथ एकीकृत होता है। प्रशासनिक प्रबंधन को वर्कस्पेस, प्रोजेक्ट्स और उपयोगकर्ता अनुमतियों को प्रबंधित करने के लिए वेब-आधारित डैशबोर्ड और कमांड-लाइन इंटरफ़ेस के संयोजन के माध्यम से संभाला जाता है।

Polis एक सेल्फ-होस्टेड आइडेंटिटी प्रोवाइडर है जिसे प्राइवेट इंफ्रास्ट्रक्चर के भीतर फेडरेटेड ऑथेंटिकेशन और यूज़र लाइफसाइकिल ऑपरेशन्स को प्रबंधित करने के लिए डिज़ाइन किया गया है। यह आइडेंटिटी मैनेजमेंट के लिए एक केंद्रीकृत हब के रूप में कार्य करता है, जो संगठनों को विभिन्न एनवायरनमेंट में सुरक्षा नीतियों को लागू करते हुए यूज़र डेटा पर नियंत्रण बनाए रखने में सक्षम बनाता है। यह प्लेटफॉर्म एक प्रोटोकॉल-ब्रिजिंग गेटवे के रूप में कार्य करके अलग है, जो जटिल एंटरप्राइज़ ऑथेंटिकेशन मानकों, जैसे SAML और OIDC, को एक एकीकृत OAuth 2.0 फ्लो में परिवर्तित करता है। यह SCIM 2.0 प्रोटोकॉल का उपयोग करके विभिन्न सिस्टम्स में यूज़र और ग्रुप जानकारी को सिंक्रोनाइज़ करके प्रशासनिक कार्यों को और अधिक स्वचालित करता है, जिससे अकाउंट्स का निरंतर प्रोविज़निंग और डी-प्रोविज़निंग सुनिश्चित होता है। कोर ऑथेंटिकेशन के अलावा, यह प्लेटफॉर्म मल्टी-फैक्टर सुरक्षा प्रवर्तन के लिए टूल्स प्रदान करता है, जिसमें पासकीज़ और बायोमेट्रिक सत्यापन के लिए सपोर्ट शामिल है। इसमें आइडेंटिटी प्रोवाइडर कनेक्शन्स को प्रबंधित करने, यूज़र-फेसिंग लॉगिन और रजिस्ट्रेशन पेजों को कस्टमाइज़ करने, और विस्तृत इवेंट ट्रेसिंग तथा प्रदर्शन मेट्रिक्स के माध्यम से सिस्टम हेल्थ की निगरानी करने के लिए प्रशासनिक इंटरफेस शामिल हैं। यह सर्विस कंटेनराइज़्ड डिप्लॉयमेंट के लिए बनाई गई है, जो हॉरिजॉन्टल स्केलिंग और पर्सिस्टेंट स्टोरेज के लिए विभिन्न रिलेशनल और NoSQL डेटाबेस बैकएंड के साथ एकीकरण का समर्थन करती है।