Awesome GitHub RepositoriesApache Arrow Processing

Perspective is a columnar data analytics engine and high-performance visualization component powered by WebAssembly. It provides a system for analyzing and visualizing large or streaming datasets through interactive data grids and charts, utilizing a compiled binary to achieve near-native performance within the browser. The project distinguishes itself through a WebSocket-based data streaming interface and deep Apache Arrow integration, which minimize memory overhead when synchronizing tables between servers and clients. It acts as a remote query proxy capable of translating visualization con

This project is an educational resource and a collection of instructional materials for performing data manipulation and statistical analysis using Python. It provides a comprehensive set of guides and code examples for using the Pandas, NumPy, and Matplotlib libraries to analyze structured data. The resource includes a dedicated guide for reshaping, cleaning, and aggregating tabular data and time series via Pandas, alongside a reference for high-performance vectorized operations and linear algebra using NumPy. It also features tutorials for creating publication-quality charts, distribution p

Apache DataFusion is an extensible, columnar SQL query engine that runs embedded within a host application without requiring a separate server process. It processes data in columnar batches using Apache Arrow for memory-efficient analytics, and can scale analytic workloads across multiple nodes for parallel execution. The engine supports both SQL and DataFrame queries through a modular, streaming architecture that allows custom operators, data sources, functions, and optimizer rules. The engine distinguishes itself through its modular extension framework, which enables building custom query e

Vaex is a high-performance Apache Arrow DataFrame library and out-of-core data processing engine designed to handle billion-row tabular datasets in Python. It functions as a lazy evaluation framework that defers computations and transformations until results are required, enabling the processing of datasets that exceed available system RAM by mapping files directly from disk. The project distinguishes itself as a tool for big data visualization and exploration, specifically integrated for use within interactive notebooks. It provides specialized capabilities for machine learning feature engin

Fireworks Tech Graph is a tool that generates SVG and PNG technical diagrams from natural language descriptions, supporting both English and Chinese input. It produces publication-quality diagrams for AI architectures, UML types, and other technical domains without requiring manual drawing or diagramming syntax. The tool distinguishes itself through a semantic shape vocabulary and arrow-based flow encoding that conveys component roles and data flow types through consistent geometric shapes, stroke widths, dash patterns, and colors rather than relying on textual labels. It renders the same dia

Feast is an open-source feature store for machine learning that provides a central platform for defining, storing, and serving features across both training and inference workflows. It operates as a declarative system where feature definitions are written as code in Python files, synchronized to a central registry, and made available for low-latency online retrieval or point-in-time correct historical joins for training datasets. The project abstracts storage behind a pluggable architecture, allowing offline and online backends to be swapped without changing retrieval logic, and coordinates ma

ScottPlot is a cross-platform, high-performance charting library for .NET that renders interactive plots across desktop and web GUI frameworks including Windows Forms, WPF, MAUI, Avalonia, Blazor, and WinUI. It provides an optimized rendering engine capable of displaying millions of data points with interactive pan, zoom, and live data streaming, while also supporting image export to formats like PNG and SVG for file output, cloud applications, and notebooks. The library distinguishes itself through a comprehensive set of chart types including scatter, line, bar, pie, heatmap, financial, rada

GreptimeDB is a distributed, open-source time-series database built for unified observability. It stores and queries metrics, logs, and traces together in a single columnar engine, supporting both SQL and PromQL for analysis. The database is designed as a Kubernetes-native operator with a decoupled compute and storage architecture, enabling horizontal scaling and multi-region deployment. What distinguishes GreptimeDB is its role as a multi-protocol ingestion gateway, accepting data through OpenTelemetry, Prometheus Remote Write, InfluxDB, Loki, Elasticsearch, Kafka, and MQTT protocols without

This is a grammar of graphics visualization library used to build charts by mapping tabular data to visual marks. It functions as an SVG data visualization tool and an exploratory data analysis API, allowing users to render complex visualizations and geographic maps. The library features a GeoJSON map renderer that projects spherical coordinates into two-dimensional pixel space and an Apache Arrow visualization interface for high-efficiency data processing. Its capability surface covers data transformation through binning and grouping, visual encoding via automatic scale inference and color

GluonTS, प्रोबेबिलिस्टिक टाइम सीरीज़ फोरकास्टिंग के लिए एक फ्रेमवर्क है, जिसे भविष्य के मूल्यों की भविष्यवाणी कॉन्फिडेंस इंटरवल्स के साथ प्रायिकता वितरण (probability distributions) के रूप में करने के लिए डिज़ाइन किया गया है। यह पारंपरिक मॉडल प्रशिक्षण और ज़ीरो-शॉट फोरकास्टिंग दोनों को सपोर्ट करता है, जहाँ प्रीट्रेन्ड मॉडल्स अतिरिक्त प्रशिक्षण के बिना नई सीरीज़ के लिए भविष्यवाणियां उत्पन्न करते हैं। प्रोजेक्ट विभिन्न प्रकार के फोरकास्टिंग दृष्टिकोणों को एक यूनिफाइड वर्कफ़्लो में इंटीग्रेट करके अलग है। इसमें रिकरेंट न्यूरल नेटवर्क्स और कैज़ुअल कन्वेल्शन्स जैसे डीप लर्निंग आर्किटेक्चर, साथ ही बाहरी सांख्यिकीय मॉडल्स, Prophet लाइब्रेरी और R पैकेजेस का इंटीग्रेशन शामिल है। टूलकिट टाइम सीरीज़ डेटा इंजीनियरिंग के लिए एक व्यापक सतह प्रदान करती है, जिसमें डेटासेट स्केलिंग, स्प्लिटिंग और रॉ टेम्पोरल डेटा को टेंसर्स में बदलना शामिल है। यह फोरकास्ट सटीकता और अनिश्चितता अंतराल को मापने के लिए मूल्यांकन टूल्स का एक सूट भी शामिल करती है।

GluonTS एक प्रोबेबिलिस्टिक टाइम सीरीज़ लाइब्रेरी और डीप लर्निंग फोरकास्टिंग फ्रेमवर्क है। यह न्यूरल नेटवर्क आर्किटेक्चर बनाने, प्रशिक्षित करने और मूल्यांकन करने के लिए एक टूलकिट प्रदान करता है, जो अनिश्चितता को मापने के लिए भविष्य के मूल्यों को प्रायिकता वितरण (probability distributions) के रूप में अनुमानित करते हैं। यह प्रोजेक्ट ज़ीरो-शॉट फोरकास्टिंग का समर्थन करके और डीप प्रोबेबिलिस्टिक न्यूरल नेटवर्क तथा Prophet और R forecast जैसी बाहरी सांख्यिकीय लाइब्रेरी के लिए रैपर सहित विविध मॉडलिंग दृष्टिकोणों को एकीकृत करके खुद को अलग करता है। यह सूचना रिसाव को रोकने और लेटेंट रिप्रेजेंटेशन को वैध प्रायिकता वितरण में मैप करने के लिए कैज़ुअल कन्वोल्यूशन और इनवर्टिबल रेसिड्यूअल नेटवर्क जैसे विशेष आर्किटेक्चरल प्रिमिटिव्स को लागू करता है। यह फ्रेमवर्क टाइम सीरीज़ स्केलिंग, बाइजेक्टिव ट्रांसफॉर्मेशन और पदानुक्रमित मॉडलिंग सहित एक व्यापक डेटा इंजीनियरिंग सतह को कवर करता है। यह उच्च-प्रदर्शन डेटासेट स्ट्रीमिंग और रैंडम-एक्सेस प्रबंधन के लिए Apache Arrow और Parquet का उपयोग करता है। मॉडल मूल्यांकन के लिए, इसमें क्वांटाइल लॉस और कंटीन्यूअस रैंक प्रोबेबिलिटी स्कोर जैसे मेट्रिक्स का उपयोग करके पूर्वानुमान सटीकता और प्रोबेबिलिस्टिक कवरेज को मापने के लिए एक मूल्यांकन सूट शामिल है। यह लाइब्रेरी Amazon SageMaker के साथ एकीकरण के माध्यम से मॉडल परिनियोजन (deployment) का समर्थन करती है।

यह C++ डेटा विज़ुअलाइज़ेशन लाइब्रेरी एक वैज्ञानिक प्लॉटिंग फ्रेमवर्क है जिसका उपयोग 2D और 3D चार्ट, नेटवर्क ग्राफ और भौगोलिक मानचित्र बनाने के लिए किया जाता है। यह एक मल्टी-बैकएंड ग्राफिक्स लाइब्रेरी के रूप में कार्य करती है, जो विभिन्न आउटपुट बैकएंड का समर्थन करने के लिए निम्न-स्तरीय रेंडरिंग इंजन से उच्च-स्तरीय प्लॉटिंग लॉजिक को अलग करती है। यह प्रोजेक्ट अपने दोहरे-इंटरफेस API के साथ खुद को अलग करता है, जो तेजी से प्रोटोटाइपिंग के लिए एक वैश्विक कार्यात्मक इंटरफेस और सटीक नियंत्रण के लिए एक ऑब्जेक्ट-ओरिएंटेड इंटरफेस दोनों प्रदान करता है। इसमें टाइल वाले ग्रिड और सबप्लॉट्स को प्रबंधित करने के लिए एक कंपोनेंट-आधारित लेआउट इंजन है, साथ ही एक लेयर्ड प्लॉट स्टेट है जो कुल्हाड़ियों (axes) को साफ किए बिना कई डेटा सीरीज़ को ओवरले करने की अनुमति देता है। यह लाइब्रेरी गणितीय फ़ंक्शन प्लॉटिंग, वेक्टर फील्ड्स और हीटमैप व समानांतर निर्देशांक के माध्यम से बहुआयामी डेटा विश्लेषण सहित विज़ुअलाइज़ेशन क्षमताओं की एक विस्तृत श्रृंखला को कवर करती है। इसमें भौगोलिक डेटा विज़ुअलाइज़ेशन के लिए विशेष टूल्स शामिल हैं, जैसे कि जियोबबल और जियोडेंसिटी प्लॉट्स, साथ ही निर्देशित और अनिर्देशित ग्राफ नेटवर्क को रेंडर करने के लिए टूल्स। सामान्य क्षमताओं में एक्सिस प्रबंधन, कलरमैप के साथ सौंदर्यपरक स्टाइलिंग और उच्च-गुणवत्ता वाले ग्राफिक्स का निर्यात शामिल है। यह प्रोजेक्ट विभिन्न ऑपरेटिंग सिस्टमों में इंस्टॉलेशन की सुविधा के लिए बिल्ड ऑटोमेशन और डिपेंडेंसी पुनर्प्राप्ति के लिए CMake का उपयोग करता है।

Fury एक मल्टी-लैंग्वेज बाइनरी सीरियलाइज़ेशन फ्रेमवर्क है जिसे क्रॉस-लैंग्वेज डेटा एक्सचेंज की सुविधा के लिए डोमेन ऑब्जेक्ट्स और जटिल ग्राफ़ को एनकोड करने के लिए डिज़ाइन किया गया है। इसमें एक इंटरफ़ेस परिभाषा भाषा कंपाइलर शामिल है जो स्कीमा परिभाषाओं को मुहावरेदार नेटिव टाइप्स और कई भाषाओं में सीरियलाइज़ेशन बॉयलरप्लेट में अनुवादित करता है। यह प्रोजेक्ट एक ज़ीरो-कॉपी बाइनरी रीडर के माध्यम से खुद को अलग करता है जो पूरे ऑब्जेक्ट को डीसीरियलाइज़ किए बिना विशिष्ट फ़ील्ड्स तक पहुंचने की अनुमति देता है, साथ ही एक ऑब्जेक्ट ग्राफ़ सीरियलाइज़र जो सर्कुलर रेफरेंस और रेफरेंशियल इंटीग्रिटी को संरक्षित करता है। इसमें एक डेटा कनवर्टर भी है जो विश्लेषणात्मक वर्कलोड के लिए पंक्ति-आधारित बाइनरी डेटा को कॉलम-आधारित Apache Arrow फॉर्मेट में बदलता है। यह फ्रेमवर्क व्यापक क्षमता क्षेत्रों को कवर करता है, जिसमें फॉरवर्ड और बैकवर्ड संगतता के लिए मेटाडेटा-संचालित स्कीमा विकास, रनटाइम रिफ्लेक्शन को खत्म करने के लिए बिल्ड-टाइम AOT संकलन प्रक्रिया और व्हाइटलिस्ट-आधारित प्रकार सत्यापन के माध्यम से सुरक्षित डीसीरियलाइज़ेशन शामिल है। यह gRPC के माध्यम से उच्च-प्रदर्शन रिमोट प्रोसीजर कॉल के लिए एकीकरण भी प्रदान करता है।

Uptrace is an OpenTelemetry-based observability platform designed to collect, store, and analyze distributed traces, metrics, and logs. It functions as a centralized logging backend, a distributed tracing system, and a metrics engine to monitor application performance and system health. The platform is distinguished by AI-powered operational capabilities, allowing users to query telemetry data and manage monitoring dashboards using natural language. It specifically includes specialized monitoring for generative AI pipelines, tracking token usage and response quality for LLM interactions and r