Awesome GitHub RepositoriesCommand-Line Data Processors

xsv is a suite of high-performance command-line utilities written in Rust for the analysis, manipulation, and statistical processing of large delimited datasets. It provides a toolkit for processing comma-separated value files through a command line interface. The project provides capabilities for statistical analysis, including the computation of column statistics, value frequencies, and descriptive metrics. It also includes data manipulation utilities for joining, slicing, sampling, and reformatting records. The toolkit covers a broad range of data operations including column selection, da

TextQL is a command line SQL query engine designed to execute relational queries directly against structured text files, such as CSV and TSV, without requiring a database import. It functions as a relational text file analyzer and a CSV processor that treats plain text files as virtual tables for filtering, joining, and aggregating data. The tool is built as a pipe-compatible data transformation utility, allowing it to process data from standard input and output formatted datasets. It enables relational joins across multiple files or directories within a single query to analyze relationships

This is an open-source educational website that translates and localizes MIT's Missing Semester course, teaching practical computing skills for computer science students. The curriculum covers developer tooling, shell scripting, version control, security fundamentals, and open-source collaboration, with a focus on core computing skills including data processing pipelines, workflow automation, secure remote access, shell productivity, Vim editing, and Git version control. The project distinguishes itself by teaching command-line mastery, shell scripting, and automation to boost daily developer

GDAL एक MIT-लाइसेंस प्राप्त ओपन सोर्स ट्रांसलेटर लाइब्रेरी है जो सैकड़ों फ़ाइल प्रारूपों में भू-स्थानिक रैस्टर और वेक्टर डेटा को पढ़ने और लिखने के लिए एक एकीकृत अमूर्त डेटा मॉडल प्रदान करती है। यह एक मूलभूत भू-स्थानिक डेटा अनुवाद लाइब्रेरी के रूप में कार्य करती है, जो एक एकल, सुसंगत इंटरफेस के माध्यम से विविध भू-स्थानिक डेटा प्रारूपों तक पहुंच को सक्षम बनाती है। लाइब्रेरी अपनी मुख्य कार्यक्षमता को कमांड-लाइन यूटिलिटीज के माध्यम से उजागर करती है जो उपयोगकर्ताओं को प्रारूपों के बीच भू-स्थानिक डेटा का अनुवाद, रूपांतरण और प्रसंस्करण करने की अनुमति देती है। एक कोऑर्डिनेट ट्रांसफॉर्मेशन इंजन स्थानिक संदर्भ प्रणालियों के बीच रूपांतरणों को संभालता है, जबकि एक प्रारूप ड्राइवर प्लगइन सिस्टम रनटाइम पर प्रारूप-विशिष्ट पढ़ने और लिखने के लॉजिक को लोड करता है। वर्चुअल फ़ाइल सिस्टम लेयर स्थानीय फ़ाइलों, HTTP, क्लाउड स्टोरेज और संपीड़ित अभिलेखागार में समान I/O एक्सेस प्रदान करती है, और एक रैस्टर ब्लॉक कैश I/O ऑपरेशंस को कम करने के लिए इन-मेमोरी टाइल कैशिंग का प्रबंधन करता है। GDAL रैस्टर और वेक्टर भू-स्थानिक डेटा दोनों को पढ़ने और लिखने का समर्थन करता है, वेक्टर फीचर इटरेशन के साथ जो पूरे डेटासेट को मेमोरी में लोड किए बिना व्यक्तिगत रूप से सुविधाओं को स्ट्रीम करता है। यह प्रोजेक्ट अपने व्यापक प्रारूप समर्थन के माध्यम से विभिन्न भू-स्थानिक सॉफ्टवेयर पारिस्थितिकी प्रणालियों के बीच डेटा विनिमय का समर्थन करके क्रॉस-प्रारूप भू-स्थानिक इंटरऑपरेबिलिटी को सक्षम बनाता है।

sc-im एक टेक्स्ट यूजर इंटरफेस स्प्रेडशीट कैलकुलेटर और डेटा मैनेजर है। यह कमांड लाइन इंटरफेस के भीतर गणितीय गणना करने और डेटा ग्रिड को प्रबंधित करने के लिए एक कीबोर्ड-ड्रिवन वातावरण प्रदान करता है। एप्लिकेशन स्क्रिप्ट करने योग्य है, जो कस्टम कार्यों, इवेंट-ड्रिवन ट्रिगर्स और गणना कार्यों को स्वचालित करने के लिए बाहरी स्क्रिप्ट के एकीकरण का समर्थन करता है। यह अपनी गणितीय क्षमताओं का विस्तार करने के लिए रनटाइम पर बाहरी संकलित मॉड्यूल को लोड करने की अनुमति देता है। सिस्टम पंक्ति सॉर्टिंग, फ़िल्टरिंग और उप-योग गणना के माध्यम से डेटा प्रबंधन को कवर करता है। यह CSV, TAB, Markdown और XLSX प्रारूपों के आयात और निर्यात के माध्यम से डेटा इंटरऑपरेबिलिटी का समर्थन करता है।

The Missing Semester is a free, open-source educational curriculum designed to bridge the gap between theoretical computer science and the practical tooling every software engineer needs. Organized as a structured course, it covers Unix shell mastery, version control with Git, software debugging and profiling, system administration fundamentals, and computer security practices — the skills often left out of traditional degree programs. The project is maintained as a collaborative set of lecture notes, exercises, and guides that function as both a professional development tools course and a Uni

YouPlot एक कमांड लाइन प्लॉटिंग यूटिलिटी और टर्मिनल डेटा विज़ुअलाइज़ेशन टूल है जिसका उपयोग यूनिकोड वर्णों का उपयोग करके सीधे टर्मिनल इंटरफ़ेस के भीतर सांख्यिकीय प्लॉट और चार्ट रेंडर करने के लिए किया जाता है। यह एक Unix पाइपलाइन प्लॉटर के रूप में कार्य करता है, जो यूज़र्स को शेल छोड़े बिना संख्यात्मक डेटा को विज़ुअलाइज़ करने की अनुमति देता है। प्रोजेक्ट एक रियल-टाइम डेटा विज़ुअलाइज़र के रूप में संचालित होता है, जो डेटा के सिस्टम में स्ट्रीम होते ही प्लॉट को क्रमिक रूप से खींचता है। यह रियल-टाइम स्ट्रीम मॉनिटरिंग और डेटा विश्लेषण प्रदान करने के लिए स्टैंडर्ड इनपुट से डेटा पढ़कर कमांड लाइन पाइपलाइनों में एकीकृत होता है। टूल लाइन चार्ट, स्कैटर प्लॉट, हिस्टोग्राम, बार प्लॉट, बॉक्स प्लॉट और डेंसिटी प्लॉट सहित विभिन्न रेंडरिंग क्षमताओं को कवर करता है। ये टर्मिनल आयामों को फिट करने के लिए डायनामिक एक्सिस स्केलिंग और कोऑर्डिनेट मैपिंग के लिए आंतरिक सिस्टम द्वारा समर्थित हैं।

Proselint is a prose linter and rule-based text analyzer designed to identify stylistic errors, clichés, and jargon in written text. It scans documents against a curated registry of linguistic and typographic rules to maintain professional editorial standards and improve writing quality. The project functions as a command line text processor, a programmable analysis library, and a git pre-commit hook. Its modular architecture allows the core engine to be embedded into other applications, exposed via a REST API, or integrated into text editors. The tool supports recursive directory traversal

Nali IP एड्रेस को भौगोलिक स्थानों में हल करने और ऑफलाइन डेटाबेस का उपयोग करके कंटेंट डिलीवरी नेटवर्क प्रदाताओं की पहचान करने के लिए कमांड-लाइन टूल का एक सुइट है। यह एक ऑफलाइन IP जियोलोकेशन टूल और डेटाबेस रिज़ॉल्वर के रूप में कार्य करता है जो सक्रिय इंटरनेट कनेक्शन की आवश्यकता के बिना पतों को भौतिक स्थानों और नेटवर्क मालिकों के लिए मैप करता है। यह प्रोजेक्ट नेटवर्क विश्लेषण के लिए एक ऑफलाइन-फर्स्ट दृष्टिकोण के माध्यम से खुद को अलग करता है, जो डेटा गोपनीयता और बाहरी API से स्वतंत्रता सुनिश्चित करने के लिए प्लगेबल डेटाबेस प्रदाताओं और स्थानीय फाइल मेटाडेटा कैशिंग का उपयोग करता है। इसमें कंटेंट डिलीवरी नेटवर्क प्रदाताओं की पहचान करने के लिए एक समर्पित यूटिलिटी और स्थानीय भौगोलिक डेटा फाइलों को प्रबंधित और अपडेट करने के लिए एक प्रणाली शामिल है। यह टूलसेट इंटरैक्टिव और स्वचालित वर्कफ़्लो दोनों का समर्थन करता है, जिसमें अनुक्रमिक मैन्युअल लुकअप के लिए एक रीड-इवल-प्रिंट लूप और एक मेटाडेटा प्रोसेसर शामिल है जो मानक इनपुट से IP एड्रेस स्ट्रीम पढ़ता है। यह शेल पाइपलाइनों में भौगोलिक और प्रदाता मेटाडेटा के एकीकरण की अनुमति देता है। डेटा स्टोर और कॉन्फ़िगरेशन फाइलों के लिए कॉन्फ़िगरेशन सिस्टम पर्यावरण वेरिएबल्स के माध्यम से प्रबंधित किया जाता है।

यह प्रोजेक्ट कमांड-लाइन टूल्स और स्क्रिप्ट्स का उपयोग करके डेटा साइंस के काम करने के लिए एक फ्रेमवर्क प्रदान करता है। यह सीधे टर्मिनल के भीतर टेक्स्ट और स्ट्रक्चर्ड डेटा की प्रोसेसिंग और एनालिसिस पर केंद्रित है। इसका मुख्य तरीका स्वतंत्र प्रोसेसेस के बीच डेटा स्ट्रीम करने के लिए Unix पाइप्स का उपयोग करना और बार-बार होने वाले डेटा साइंस वर्कफ़्लो को ऑटोमेट करने के लिए शेल स्क्रिप्टिंग का उपयोग करना है। यह विभिन्न यूटिलिटीज के बीच जानकारी साझा करने के लिए CSV जैसे प्लेन-टेक्स्ट फॉर्मेट का उपयोग करता है। इसकी क्षमताओं में टेक्स्ट-आधारित डेटा प्रोसेसिंग, कमांड-लाइन डेटा एनालिसिस और टर्मिनल-आधारित डेटा विज़ुअलाइज़ेशन शामिल हैं। इन्हें अलग-अलग एग्जीक्यूटेबल प्रोग्राम्स को लीनियर ट्रांसफॉर्मेशन पाइपलाइन्स में जोड़कर हासिल किया जाता है।

Xan is a command-line tool and data transformation engine for processing CSV, TSV, and JSONL datasets. It functions as a processor for compressed files, enabling random access and seeking within gzipped and Zstd files, and serves as a converter for specialized bioinformatics data formats. The tool handles large datasets without requiring full memory loads by utilizing stream-based processing. It provides capabilities for merging, sorting, and deduplicating massive files, as well as converting data between various tabular formats. The project covers a broad range of data wrangling and analysi