Awesome GitHub RepositoriesCross-Source Data Integration

Pentaho Kettle एक एंटरप्राइज़ ETL डेटा इंटीग्रेशन प्लेटफ़ॉर्म है जिसे अलग-अलग स्रोतों और टारगेट डेटाबेस के बीच डेटा को एक्सट्रैक्ट, ट्रांसफ़ॉर्म और लोड करने के लिए डिज़ाइन किया गया है। यह एक मेटाडेटा-संचालित ऑर्केस्ट्रेटर के रूप में कार्य करता है जो डेटा कार्यों और ट्रांसफ़ॉर्मेशन पाइपलाइन्स के जटिल अनुक्रमों को बनाने और प्रबंधित करने के लिए एक विज़ुअल वर्कफ़्लो डिज़ाइनर का उपयोग करता है। यह सिस्टम अपने वितरित डेटा प्रोसेसिंग इंजन द्वारा विशिष्ट है, जो थ्रूपुट बढ़ाने के लिए सर्वर नोड्स के क्लस्टर्स पर वर्कलोड निष्पादित करता है। यह प्लगइन-आधारित आर्किटेक्चर का उपयोग करता है, जिससे प्लेटफ़ॉर्म को विविध डेटाबेस और क्लाउड सर्विसेज से कनेक्टिविटी प्रदान करने के लिए बाहरी JAR फाइलों के माध्यम से विस्तारित किया जा सकता है। यह प्लेटफ़ॉर्म बल्क लोडिंग, रिमोट फाइल मैनेजमेंट और डेटा स्ट्रक्चर ट्रांसफ़ॉर्मेशन सहित डेटा इंटीग्रेशन क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह सर्वर हेल्थ और रीयल-टाइम निष्पादन स्थिति को ट्रैक करने के लिए मॉनिटरिंग यूटिलिटीज़ के साथ-साथ डेटा क्वालिटी वैलिडेशन, पाइपलाइन ऑटोमेशन और जॉब लाइफसाइकिल मैनेजमेंट के लिए टूल्स प्रदान करता है।

AlaSQL is a JavaScript SQL database engine that allows for the filtering, grouping, and joining of in-memory object arrays and JSON data. It functions as an in-memory SQL database and client-side data processor, enabling the execution of SQL statements against JavaScript arrays and external data sources in both browser and server environments. The project serves as a universal data query tool capable of performing relational joins across diverse sources, such as merging Google Spreadsheets, SQLite files, and remote APIs into a single result set. It also acts as an IndexedDB SQL wrapper, allow

Octosql is a federated SQL query engine, data transformer, and streaming SQL processor. It allows users to execute single SQL statements across multiple disparate data sources, including different database types and file formats, to merge and transform results into a unified set. The system distinguishes itself by treating CSV, JSONLines, and Parquet files as virtual tables and utilizing a plugin-based architecture to extend connectivity to external storage engines. It functions as a streaming processor for infinite data streams, using watermarks, retractions, and tumbling windows to maintain

यह प्रोजेक्ट pandas डेटा विश्लेषण का एक व्यापक ट्यूटोरियल और निर्देशिका है, जिसे डेटा मैनिपुलेशन और विश्लेषण सीखने के लिए डिज़ाइन किया गया है। यह टैबुलर डेटा प्रोसेसिंग गाइड और टाइम सीरीज़ विश्लेषण के लिए एक मैनुअल के रूप में कार्य करता है, जो डेटासेट को क्लीन, मर्ज और ट्रांसफॉर्म करने के लिए एक स्ट्रक्चर्ड दृष्टिकोण प्रदान करता है। यह रिपॉजिटरी एक डेटा फीचर इंजीनियरिंग कोर्स के रूप में काम करती है, जो मशीन लर्निंग मॉडल के प्रदर्शन को बेहतर बनाने के लिए डेटासेट फीचर्स के निर्माण और चयन पर ट्यूटोरियल प्रदान करती है। इसमें एलिमेंट-वाइज गणितीय गणनाओं और मैट्रिक्स मैनिपुलेशन के लिए एक वेक्टराइज्ड डेटा ऑपरेशन्स गाइड भी शामिल है। यह सामग्री डेटा क्लीनिंग वर्कफ़्लो, डेटा इंटीग्रेशन कार्यों और टैबुलर डेटा विश्लेषण सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करती है। यह टेक्स्ट संबंधी जानकारी को प्रोसेस करने, कैटेगोरिकल डेटा को संभालने और बड़े डेटासेट के लिए निष्पादन गति को अनुकूलित करने के लिए मार्गदर्शन प्रदान करती है। यह प्रोजेक्ट Jupyter Notebooks की एक श्रृंखला के रूप में है जिसमें व्यावहारिक अभ्यास और लक्षित अभ्यास समस्याएं शामिल हैं।

Calcite विभिन्न डेटा स्रोतों में निष्पादन के लिए SQL क्वेरी को पार्स, ऑप्टिमाइज़ और रिलेशनल बीजगणित (relational algebra) में अनुवाद करने के लिए एक फ्रेमवर्क है। यह एक क्रॉस-सोर्स क्वेरी इंजन, SQL पार्सिंग लाइब्रेरी और रिलेशनल बीजगणित ऑप्टिमाइज़र के रूप में कार्य करता है। यह प्रोजेक्ट एक लागत-आधारित ऑप्टिमाइज़ेशन इंजन प्रदान करता है जो प्लगेबल नियमों का उपयोग करके लॉजिकल क्वेरी प्लान को कुशल भौतिक निष्पादन योजनाओं में बदलता है। यह बाहरी डेटाबेस और मैसेजिंग सिस्टम के मूल स्वरूपों में मानक SQL अनुरोधों को बदलने के लिए अनुवाद एडेप्टर का उपयोग करता है, जिससे विषम स्टोरेज सिस्टम में डेटा फेडरेशन सक्षम होता है। यह सिस्टम पूर्ण क्वेरी जीवनचक्र को कवर करता है, जिसमें स्कीमा के खिलाफ SQL पार्सिंग और सत्यापन, अभिव्यक्तियों का बीजगणितीय ऑपरेटरों में अनुवाद और कुशल निष्पादन योजनाओं का चयन शामिल है। इसमें क्वेरी निष्पादित करने और डेटा स्रोतों के कनेक्शन प्रबंधित करने के लिए एक कमांड-लाइन इंटरफ़ेस भी शामिल है।

Davinci is a business intelligence and data visualization platform used for building interactive dashboards and reports. It functions as a SQL-based dashboard builder and multi-tenant analytics service that connects to databases via JDBC and CSV files to transform raw data into visual components. The platform is distinguished by its granular security model, which includes row-level and column-level permissions integrated with LDAP and OAuth2 authentication. It also provides an embedded visualization tool that allows secure, parameterized charts and dashboards to be inserted into external appl

esProc एक डिस्ट्रीब्यूटेड ETL फ्रेमवर्क और एम्बेडेड डेटा कंप्यूटेशन इंजन है। यह Java वर्चुअल मशीन के लिए एक स्ट्रक्चर्ड डेटा भाषा प्रदान करता है जिसे रिलेशनल क्वेरीज़, जटिल डेटा कंप्यूटेशन और स्ट्रक्चर्ड डेटा विश्लेषण के लिए डिज़ाइन किया गया है। इस सिस्टम में एक नेचुरल लैंग्वेज डेटा क्वेरी इंटरफेस है जो स्ट्रक्चर्ड डेटासेट के खिलाफ निष्पादन योग्य क्वेरीज़ में अनुरोधों का अनुवाद करने के लिए लार्ज लैंग्वेज मॉडल्स का लाभ उठाता है। यह टेबल संबंधों को स्थापित करने और जानकारी प्राप्त करने के लिए संक्षिप्त सिंटैक्स के साथ एक डोमेन-विशिष्ट क्वेरी भाषा का उपयोग करता है। यह प्लेटफॉर्म अलग-अलग रिलेशनल और NoSQL स्रोतों में डेटा एकीकरण को कवर करता है और फाइलों और डेटाबेस के बीच डेटा ले जाने के लिए ETL वर्कफ़्लो को मैनेज करता है। अतिरिक्त क्षमताओं में स्ट्रक्चर्ड डेटा रिपोर्ट जनरेशन, स्टेप-बाय-स्टेप निष्पादन विज़ुअलाइज़ेशन के लिए एक रीयल-टाइम ग्रिड इंटरफेस और कस्टम बाहरी साझा लाइब्रेरी को इंटीग्रेट करने की क्षमता शामिल है।

This project is a distributed machine learning platform and sparse deep learning framework designed for training and serving models with high-dimensional sparse data. It functions as an online model serving infrastructure and recommendation system engine, enabling real-time item retrieval and scoring using deep tree matching and neural networks. The system distinguishes itself through a multi-task learning framework that optimizes multiple objective functions within a shared representation space. It features a specialized online serving infrastructure that supports dynamic model hot-loading a

SimpleTransformers is a high-level framework for training and fine-tuning transformer models for diverse natural language processing tasks. It functions as a toolkit for developing text classification, named entity recognition, and question answering models, while also serving as a sequence-to-sequence tool and a text embedding generator. The library distinguishes itself by providing a multi-modal model trainer capable of processing and classifying data that combines both text and image inputs. It further supports specialized workflows for conversational AI training, language model generation

Chunjun एक डिस्ट्रीब्यूटेड डेटा एकीकरण फ्रेमवर्क और SQL-आधारित ETL पाइपलाइन है जिसे विषम स्रोतों के बीच डेटा को सिंक्रोनाइज़ करने के लिए डिज़ाइन किया गया है। यह एक चेंज डेटा कैप्चर टूल और एक विषम डेटा सिंक्रोनाइज़र के रूप में कार्य करता है, जो विभिन्न डेटाबेस प्रकारों में डेटा को स्थानांतरित और बदलने के लिए एक डिस्ट्रीब्यूटेड प्रोसेसिंग वातावरण का उपयोग करता है। सिस्टम अपने प्लगइन-आधारित कनेक्टर आर्किटेक्चर द्वारा प्रतिष्ठित है, जो असमर्थित डेटा सिस्टम के लिए कनेक्टिविटी का विस्तार करने के लिए कस्टम सोर्स और सिंक प्लगइन्स के विकास की अनुमति देता है। यह रिलेशनल डेटाबेस लॉग्स से वास्तविक समय चेंज डेटा कैप्चर का समर्थन करता है और सोर्स से डेस्टिनेशन टेबल्स तक संरचनात्मक परिवर्तनों को स्वचालित रूप से लागू करने के लिए स्कीमा इवोल्यूशन प्रोपेगेशन को लागू करता है। फ्रेमवर्क वृद्धिशील डेटा सिंक्रोनाइज़ेशन और SQL लॉजिक का उपयोग करके क्रॉस-सोर्स डेटा गणना के लिए क्षमताएं प्रदान करता है। विश्वसनीयता को चेकपॉइंट-आधारित टास्क रिकवरी के माध्यम से प्रबंधित किया जाता है ताकि बाधित ट्रांसफर को फिर से शुरू किया जा सके और खराब डेटा प्रबंधन के लिए डेड-लेटर क्यूज़ का उपयोग किया जा सके ताकि विकृत रिकॉर्ड्स का ऑडिट किया जा सके। एकीकरण कार्यों को Docker के माध्यम से कंटेनरीकृत डिप्लॉयमेंट के समर्थन के साथ स्टैंडअलोन क्लस्टर्स, Yarn या Kubernetes वातावरण में डिप्लॉय किया जा सकता है।