22 रिपॉजिटरी
Awesome GitHub RepositoriesMemory-Efficient Data Streaming
Techniques for processing large datasets in small chunks to prevent memory overload.
Distinct from Stream Processing: Distinct from general Stream Processing by focusing on local memory efficiency and chunking rather than real-time high-velocity data analysis.
Explore 22 awesome GitHub repositories matching data & databases · Memory-Efficient Data Streaming. Refine with filters or upvote what's useful.
Awesome Memory-Efficient Data Streaming GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- infrasys-ai/aisystem
Infrasys-AI/AISystem
17,017GitHub पर देखेंAISystem is a comprehensive AI full-stack infrastructure project covering the entire pipeline from AI chip architecture to high-level training frameworks. It encompasses the development of AI compiler frameworks, inference engines, and distributed training orchestrators designed to coordinate workloads across a heterogeneous compute stack of CPUs, GPUs, and NPUs. The project focuses on the deep integration of software and hardware, employing software-hardware co-design to align tensor layouts with physical memory structures. It provides specialized capabilities for accelerating Transformer mo
Divides large matrices into smaller blocks to balance memory bandwidth and maximize hardware compute utilization.
Jupyter Notebookaiaiinfraaisys - phpoffice/phpexcel
PHPOffice/PHPExcel
11,379GitHub पर देखेंPHPExcel is a PHP spreadsheet library used for programmatically reading and writing spreadsheet files in various formats. It utilizes an in-memory spreadsheet model that maps spreadsheet structures to a hierarchy of objects for programmatic manipulation. The library functions as an Office Open XML processor for generating and manipulating XLSX documents and serves as a reader for extracting data and structure from legacy binary XLS files. It also includes tools for CSV data integration and importing. The project provides capabilities for automated report generation and spreadsheet data extra
Implements chunk-based processing to minimize memory consumption when reading or writing large spreadsheet datasets.
PHP - maxogden/art-of-node
maxogden/art-of-node
9,873GitHub पर देखेंThis project is a structured Node.js programming course and educational guide designed to teach JavaScript backend development. It provides a sequence of workshops and interactive tutorials that focus on the fundamentals of the Node.js runtime and its core modules. The material emphasizes asynchronous programming, specifically covering non-blocking I/O, callback patterns, and event-driven architecture. It includes a practical exploration of the core API for managing network applications, file system operations, and binary data. The curriculum covers module management and dependency resolutio
Teaches how to process large datasets using streams to avoid loading entire files into memory.
JavaScript - thoughtbot/guides
thoughtbot/guides
9,556GitHub पर देखेंThis project is a software engineering style guide and a curated collection of architectural patterns and coding standards. It provides a multi-language coding standard to ensure maintainable software across Ruby, Python, JavaScript, and Swift. The project establishes a development workflow specification for version control, continuous integration, and peer review to maintain a linear project history. It also includes a web accessibility framework based on ARIA and WCAG standards, using design tokens and semantic HTML patterns to build inclusive interfaces. The guides cover a broad range of
Implements sequential chunk processing for infinite event streams to prevent memory overflows.
Ruby - virustotal/yara
VirusTotal/yara
9,420GitHub पर देखेंYARA is a pattern matching engine and binary analysis tool used to identify and classify malware samples. It functions as a malware research framework that allows for the definition of file descriptions and detection rules to find indicators of compromise within binaries. The system enables the creation of custom detection rules using strings, wildcards, and regular expressions. These rules use boolean logic to match textual or binary patterns, allowing for the classification of files into specific malware families and the automation of threat intelligence. The engine utilizes Aho-Corasick s
Processes large binaries in memory-efficient chunks to prevent system memory overload during scans.
Cyara - awslabs/llrt
awslabs/llrt
8,752GitHub पर देखेंllrt is a low-latency JavaScript runtime based on the QuickJS engine, specifically designed for executing asynchronous functions in serverless environments. It provides a lightweight execution layer optimized for fast startup times and minimal memory usage when running ES2023 workloads. The project differentiates itself by bundling natively optimized cloud service SDKs directly into the runtime binary to eliminate external dependency loading. To further reduce cold start latency, it implements parallel connection warming for TLS and network handshakes during the startup phase. The runtime co
Processes continuous data flows using buffers and stream interfaces for efficient memory management.
Rust - higress-group/higress
higress-group/higress
8,727GitHub पर देखेंHigress एक AI-नेटिव और क्लाउड-नेटिव API गेटवे है जो क्लाइंट्स और लार्ज लैंग्वेज मॉडल सेवाओं के बीच ट्रैफ़िक को रूट, सुरक्षित और ऑप्टिमाइज़ करता है। यह माइक्रोसर्विसेज के लिए एक केंद्रीय प्रवेश बिंदु के रूप में कार्य करता है, जो Kubernetes इनग्रेस कंट्रोलर और AI गेटवे ऑर्केस्ट्रेटर दोनों के रूप में कार्य करता है। यह प्रोजेक्ट एक एकीकृत प्रोटोकॉल का उपयोग करके कई AI प्रोवाइडर्स के बीच ट्रैफ़िक को प्रबंधित करके खुद को अलग बनाता है, जिसमें मॉडल इन्फरेंस को ऑप्टिमाइज़ करने के लिए टोकन-अवेयर रेट लिमिटिंग और रिस्पॉन्स कैशिंग शामिल है। यह वास्तविक समय का संदर्भ और डेटा प्रदान करने के लिए AI मॉडल्स और बाहरी टूल्स के बीच संचार को समन्वित करता है, साथ ही AI एजेंट्स के लिए सर्वर एंडपॉइंट्स को भी होस्ट करता है। व्यापक क्षमताओं में वेब एप्लिकेशन फ़ायरवॉल के माध्यम से API सुरक्षा प्रवर्तन, स्वचालित TLS सर्टिफिकेट मैनेजमेंट, और डायनामिक सर्विस डिस्कवरी शामिल है। गेटवे सैंडबॉक्स्ड WebAssembly प्लगइन्स के माध्यम से कस्टम रिक्वेस्ट प्रोसेसिंग को सपोर्ट करता है जो हॉट-रीलोडिंग के साथ ट्रैफ़िक रूपांतरण की अनुमति देते हैं। यह सिस्टम कंटेनराइज़्ड क्लस्टर्स के भीतर कम संसाधन ओवरहेड के साथ नेटवर्क रूटिंग को प्रबंधित करने के लिए स्टैंडर्डाइज़्ड इनग्रेस APIs को लागू करता है।
Processes request and response bodies as continuous data streams to minimize memory overhead for AI responses.
Go - jiangrui1994/cloudsaver
jiangrui1994/CloudSaver
8,542GitHub पर देखेंCloudSaver is a multi-cloud file transfer manager and storage aggregator designed to discover remote resources and save them directly to cloud drives. It functions as a cloud file downloader and management platform that enables the movement of data between different cloud storage providers without requiring files to be downloaded to a local device first. The system uses OAuth authentication to manage secure connections to third-party cloud drives, facilitating direct server-to-server data transfers. It incorporates asynchronous streaming to move data between remote sources and destinations, p
Uses memory-efficient data streaming to move large files between remote servers without loading them into RAM.
Vue - microsoft/cpprestsdk
microsoft/cpprestsdk
8,265GitHub पर देखेंThe C++ REST SDK is a library for asynchronous HTTP and RESTful communication in native C++ applications. It provides a non-blocking network client for sending requests and receiving responses, a JSON parser for serializing and deserializing data, and a WebSocket client library for real-time, full-duplex communication. The project includes a dedicated OAuth2 authentication client to manage access tokens and authorization flows for secure communication with protected cloud resources. It utilizes a task-based asynchronous model to coordinate background operations and keep application interfaces
Processes large network payloads in incremental chunks to maintain memory efficiency.
C++asyncasynchronous-taskscloud - taskrabbit/elasticsearch-dump
taskrabbit/elasticsearch-dump
7,930GitHub पर देखेंelasticsearch-dump is a command line tool for importing, exporting, and transferring data between Elasticsearch and OpenSearch instances. It functions as an index dump utility that saves documents, mappings, and analyzers to local files or standard output. The tool enables the movement of data between clusters using local files as an intermediary and can flatten nested JSON documents into CSV files for external analysis. It allows for the modification or anonymization of documents during the transfer process through the use of custom JavaScript functions. The utility covers data extraction a
Processes documents in sequential chunks to move data without overloading system memory.
JavaScript - chyingp/nodejs-learning-guide
chyingp/nodejs-learning-guide
6,874GitHub पर देखेंThis project is a learning guide and collection of study notes designed to teach Node.js backend development. It provides a comprehensive core API reference and practical demonstrations for implementing server-side logic, network programming, and system APIs. The guide specifically covers advanced technical domains including process management for scaling applications via clusters and child processes, as well as network programming for building TCP, UDP, and HTTP services. It also includes detailed instructional material on security implementation, focusing on cryptographic hashing and encryp
Processes large datasets incrementally in small chunks to maintain low memory overhead.
Rubycryptoexpressnodejs - dbgate/dbgate
dbgate/dbgate
6,769GitHub पर देखेंDbGate is a universal database management tool and SQL client that provides a unified interface for querying and administering multiple SQL and NoSQL databases. It functions as a multi-database administration GUI and SQL IDE, allowing users to write and execute scripts and manage database schemas. The project distinguishes itself by acting as an API client and explorer for REST, GraphQL, and OData services, enabling users to fetch and export data from these endpoints. It also serves as a data integration tool, facilitating the movement of records between diverse databases and file formats suc
Moves records between sources and destinations using a pipeline of readers and writers to handle large datasets efficiently.
Sveltecassandraclickhousecockroachdb - lightning-ai/lit-llama
Lightning-AI/lit-llama
6,081GitHub पर देखेंLit-llama is a PyTorch-based implementation framework for the LLaMA language model, providing a system for pre-training, fine-tuning, and high-performance inference. It includes a pre-training pipeline for creating foundational language models from scratch and tools for running pretrained weights to generate natural text and predict sequences. The project provides specialized toolkits for parameter-efficient fine-tuning using low-rank adaptation and lightweight adapters. It also includes a quantization library that reduces model memory footprints through four-bit and eight-bit precision to en
Processes massive datasets in small chunks from disk to prevent system memory overload during pre-training.
Python - balloonwj/cppguide
balloonwj/CppGuide
6,030GitHub पर देखेंCppGuide is a curated collection of educational resources and practical guides focused on C++ server development, Linux kernel internals, concurrent programming, network protocols, and security exploitation. It provides structured learning paths for backend developers, covering everything from interview preparation to building high-performance network servers and understanding operating system fundamentals. The guide distinguishes itself by offering in-depth, hands-on tutorials that walk through real-world implementations, including building a Redis-like server from scratch, designing custom
Streams results through worker pools and pipelines to handle high-volume data efficiently.
- lapwinglabs/x-ray
lapwinglabs/x-ray
5,904GitHub पर देखेंX-Ray एक वेब स्क्रैपिंग फ्रेमवर्क और एसिंक्रोनस वेब क्रॉलर है जिसे वेबसाइटों से स्ट्रक्चर्ड डेटा निकालने के लिए डिज़ाइन किया गया है। यह एक HTML डेटा एक्सट्रैक्टर के रूप में काम करता है जो CSS-स्टाइल सिलेक्टर्स का उपयोग करके रॉ पेज कंटेंट को एक परिभाषित स्कीमा में बदल देता है। यह प्रोजेक्ट एक हेडलेस ब्राउज़र क्रॉलर को लागू करता है जो डायनामिक कंटेंट को रेंडर करने के लिए JavaScript को एग्जीक्यूट करने में सक्षम है। यह ब्रेड्थ-फर्स्ट क्रॉलिंग रणनीति और मल्टी-पेज रिजल्ट सेट्स को पार करने के लिए स्वचालित पेजिनेशन डिस्कवरी के माध्यम से वेबसाइट कंटेंट डिस्कवरी को संभालता है। यह फ्रेमवर्क कॉनकरेंसी-लिमिटेड रिक्वेस्ट क्यू और आउटगोइंग नेटवर्क कॉल्स को विनियमित करने के लिए रिक्वेस्ट रेट कंट्रोल का उपयोग करके वेब डेटा पाइपलाइन्स को मैनेज करता है।
Writes extracted data to streams to process large datasets without overloading system memory.
JavaScript - adaltas/node-csv
adaltas/node-csv
4,268GitHub पर देखेंयह लाइब्रेरी स्ट्रक्चर्ड रिकॉर्ड्स को कॉमा-सेपरेटेड वैल्यू में बदलने के लिए एक CSV डेटा सीरियलाइज़र और स्ट्रिंगिफ़ायर है। यह सिंक्रोनस, कॉलबैक-आधारित, या स्ट्रीम-आधारित कार्यान्वयन के माध्यम से डेटा रिकॉर्ड को सादे टेक्स्ट में बदलने के लिए टूल प्रदान करती है। यह प्रोजेक्ट नेटिव Node.js Transform API के माध्यम से एक स्ट्रीमिंग कार्यान्वयन की पेशकश करके खुद को अलग करता है, जो सभी रिकॉर्ड्स को मेमोरी में लोड किए बिना बड़े डेटासेट को प्रोसेस करने की अनुमति देता है। इसमें विशिष्ट डेलिमिटर, कोट्स, एस्केप कैरेक्टर और हेडर कॉन्फ़िगरेशन को परिभाषित करने के लिए एक लचीली फॉर्मेटिंग सिस्टम भी शामिल है। यह टूलसेट डेटा निर्यात ऑटोमेशन और रिकॉर्ड-टू-स्ट्रिंग मैपिंग को कवर करता है, जो डेटाबेस रिकॉर्ड या API रिस्पॉन्स से फ़ाइलों के प्रोग्रामेटिक निर्माण को सक्षम बनाता है।
Utilizes a streaming pipeline to transform records into CSV format while minimizing memory usage.
JavaScript - erikrose/more-itertools
erikrose/more-itertools
4,074GitHub पर देखेंmore-itertools एक Python इटरेबल यूटिलिटी लाइब्रेरी है जो डेटा सीक्वेंस को मैनिपुलेट, फिल्टर और ट्रांसफॉर्म करने के लिए एडवांस्ड फंक्शन्स प्रदान करती है। यह डेटा स्ट्रीम प्रोसेसिंग टूलकिट और इटरेशन स्टेट मैनेजमेंट के लिए यूटिलिटीज का एक सेट है, जो स्टैंडर्ड Python itertools मॉड्यूल की क्षमताओं का विस्तार करता है। इस लाइब्रेरी में परम्यूटेशन, कॉम्बिनेशन और पावरसेट्स जनरेट करने के लिए एक कॉम्बिनेटरियल मैथ टूलकिट शामिल है, साथ ही नंबर थ्योरी कैलकुलेशन और मैट्रिक्स ऑपरेशंस के लिए रूटीन भी हैं। यह स्ट्रीम स्टेट मैनेजमेंट के लिए टूल्स भी प्रदान करती है, जिससे यूजर्स आने वाले एलिमेंट्स को देख सकते हैं या डेटा को कैसे कंज्यूम किया जाए, इसे नियंत्रित करने के लिए सीक्वेंस के भीतर सर्च कर सकते हैं। अतिरिक्त क्षमताओं में जटिल सीक्वेंस को चंकिंग, इंटरलीविंग और फ्लैटनिंग करने के लिए डेटा प्रोसेसिंग रूटीन शामिल हैं। इस टूलकिट में इटरेबल प्रॉपर्टीज का विश्लेषण करने और समवर्ती डेटा स्ट्रीम्स को सिंक्रोनाइज़ करने के लिए फंक्शन्स भी शामिल हैं।
Offers a toolkit for chunking, interleaving, and flattening sequences to process large datasets with minimal memory overhead.
Python - hitsz-ids/synthetic-data-generator
hitsz-ids/synthetic-data-generator
2,422GitHub पर देखेंThis project is a framework for generating synthetic tabular data that preserves the statistical properties and relational integrity of original source datasets. It functions as a metadata-driven engine, utilizing language models to synthesize information even when original training samples are restricted. The system is designed to maintain logical consistency across complex, multi-table structures while ensuring that generated outputs adhere to defined schema requirements. The platform distinguishes itself through a focus on privacy-preserving synthesis, integrating tools to quantify and mit
Processes large-scale datasets in memory-efficient chunks to maintain system stability during high-volume generation.
Pythonagentdata-generatordeep-learning - apple/swift-openapi-generator
apple/swift-openapi-generator
1,935GitHub पर देखेंSwift OpenAPI Generator एक बिल्ड-टाइम टूल है जो OpenAPI विनिर्देश दस्तावेज़ों से सीधे टाइप-सेफ Swift क्लाइंट और सर्वर कोड तैयार करता है। नेटिव प्लगइन्स के माध्यम से बिल्ड सिस्टम के साथ एकीकृत होकर, यह मजबूती से टाइप किए गए इंटरफेस और प्रोटोकॉल स्टब के निर्माण को स्वचालित करता है जो नेटवर्क संचालन को नेटिव मेथड्स के साथ मैप करते हैं, यह सुनिश्चित करते हुए कि एप्लिकेशन कोड परिभाषित डेटा स्कीमा के साथ सख्ती से सुसंगत रहे। प्रोजेक्ट एक प्रोटोकॉल-उन्मुख आर्किटेक्चर के माध्यम से खुद को अलग करता है जो व्यावसायिक लॉजिक को विशिष्ट ट्रांसपोर्ट कार्यान्वयन से अलग करता है। यह ऑथेंटिकेशन, लॉगिंग और मेट्रिक्स संग्रह जैसी क्रॉस-कटिंग चिंताओं को संभालने के लिए एक प्लगेबल ट्रांसपोर्ट लेयर और मिडलवेयर-आधारित अनुरोध इंटरसेप्शन का उपयोग करता है। यह डिज़ाइन डेवलपर्स को अंतर्निहित वेब फ्रेमवर्क या नेटवर्क ट्रांसमिशन विवरणों से अनभिज्ञ रहते हुए एक सुसंगत संचार लेयर बनाए रखने की अनुमति देता है। जनरेटर विभिन्न प्रारूपों के लिए स्कीमा-संचालित डेटा मैपिंग और कंटेंट नेगोशिएशन सहित क्षमताओं की एक विस्तृत श्रृंखला का समर्थन करता है। यह इंक्रीमेंटल स्ट्रीम प्रोसेसिंग के माध्यम से बड़े पेलोड की मेमोरी-कुशल हैंडलिंग प्रदान करता है, जो पूरी सामग्री को मेमोरी में लोड किए बिना जटिल डेटा के आदान-प्रदान की अनुमति देता है। टूलसेट में ऑटोमेटेड कॉन्ट्रैक्ट टेस्टिंग और एंडपॉइंट आवश्यकताओं को मान्य करने में सहायता के लिए इंटरैक्टिव दस्तावेज़ीकरण के निर्माण के लिए उपयोगिताएं भी शामिल हैं।
Handles large request and response payloads incrementally to maintain memory efficiency during network exchanges.
Swiftios-swiftopenapiplugin - kotlin/kotlinx-io
Kotlin/kotlinx-io
1,539GitHub पर देखेंKotlinx-io is a multiplatform library designed for input and output operations, providing a unified interface for streaming data, managing byte buffers, and interacting with local filesystems. It serves as a cross-platform abstraction layer that standardizes how applications handle data movement across different operating systems and hardware architectures. The library distinguishes itself by providing high-performance tools for both mutable and immutable byte sequences. It utilizes segmented memory pools and direct memory access to minimize allocation overhead and prevent unnecessary data co
Processes large datasets in continuous flows to minimize memory usage.
Kotliniokotlinkotlinx
