18 Repos
Tools for combining multiple files into a single dataset using glob patterns.
Distinguishing note: Focuses on batch file processing and aggregation.
Explore 18 awesome GitHub repositories matching data & databases · Multi-file Aggregators. Refine with filters or upvote what's useful.
Polars is a high-performance columnar data processing library designed for efficient analytical workflows. It functions as a structured data library that organizes information into typed columns, utilizing the Apache Arrow memory format to enable zero-copy data sharing and cache-friendly, vectorized operations. The engine is built to handle large-scale tabular datasets, providing both local and distributed analytical runtimes that scale from single-machine environments to multi-node clusters. The project distinguishes itself through a sophisticated lazy query engine that constructs abstract e
Reads and combines multiple files into a single data structure using glob patterns.
This project is a community-driven directory of developer portfolios designed to serve as a resource for professional identity development and design inspiration. It functions as a structured data repository that collects and organizes personal website metadata, enabling users to discover and share examples of professional online presence. The platform operates through a collaborative model where content is managed via version control workflows. By utilizing pull requests, the project facilitates community-driven growth, allowing contributors to submit and maintain portfolio entries within a
Aggregates distributed information from individual files into a single structured dataset.
Tolaria is a markdown knowledge base manager and bidirectional note linking system. It functions as an integrated environment for organizing notes and structured data, utilizing YAML frontmatter and wikilinks to establish relational mappings between documents. The project distinguishes itself by integrating language model capabilities directly into the editor for content generation and analysis. It further combines prose with structured data through a markdown spreadsheet editor that renders CSV-formatted files as interactive grids with formula support and cross-sheet referencing. The platfo
Connects different data tables using wikilinks to retrieve specific cell values from other sheets.
Dask ist ein Framework für paralleles Rechnen und ein verteilter Task-Scheduler, der darauf ausgelegt ist, Python-Data-Science-Workflows von einzelnen Maschinen auf große Cluster zu skalieren. Es fungiert als Cluster-Ressourcenmanager, der die Berechnungslogik orchestriert, indem Aufgaben und deren Abhängigkeiten als gerichtete azyklische Graphen dargestellt werden. Diese Architektur ermöglicht es dem System, die Verteilung von Workloads auf verfügbare Hardware zu automatisieren und gleichzeitig komplexe Ausführungsanforderungen zu verwalten. Das Projekt zeichnet sich durch eine Lazy-Evaluation-Engine aus, die Datenoperationen verzögert, bis sie explizit angefordert werden, was eine globale Graphoptimierung und effiziente Ressourcenzuweisung ermöglicht. Es integriert speicherbewusstes Data-Spilling, um Systemabstürze bei der Verarbeitung von Datensätzen zu verhindern, die den verfügbaren Speicher überschreiten, und nutzt Task-Graph-Fusion, um Sequenzen von Operationen in einzelne Ausführungsschritte zu kombinieren, wodurch Scheduling-Overhead und Inter-Node-Kommunikation minimiert werden. Die Plattform bietet eine umfassende Oberfläche für die Datenanalyse im großen Maßstab, einschließlich Unterstützung für verteiltes maschinelles Lernen, Integration in das Hochleistungsrechnen und parallele Datenverarbeitung. Sie bietet umfangreiche Werkzeuge für das Cluster-Lebenszyklusmanagement, Performance-Profiling und die Echtzeitüberwachung der Aufgabenausführung. Benutzer können diese Umgebungen über verschiedene Infrastrukturen hinweg bereitstellen, einschließlich lokaler Hardware, Cloud-Anbietern, containerisierten Systemen und Hochleistungsrechner-Clustern.
Combines small files within partitioned directories into larger, more efficient chunks to optimize read performance.
qrcp is a command-line file sharing utility that hosts a temporary local network server to facilitate wireless file exchanges between computers and mobile devices. It functions as a secure local file host, enabling the transfer of assets over a Wi-Fi network via a web browser. The tool distinguishes itself by using QR codes to automate device pairing, removing the need for manual IP entry. It ensures data privacy through certificate-based HTTPS encryption and simplifies the movement of directory structures by bundling multiple files into ephemeral zip archives. The system supports bidirectio
Groups multiple files or folders into temporary zip archives for single-operation movement.
jsZip is a JavaScript library for creating, reading, editing, and extracting ZIP archives within the browser or Node.js. It functions as an in-memory ZIP compressor and archive manager that generates compressed data streams and blobs from file collections without requiring a local filesystem. The library provides specific support for the ZIP64 extension, allowing it to handle archives and individual files that exceed the four gigabyte limit. It enables the dynamic modification of existing ZIP files to add, remove, or update internal folder structures and metadata. The project covers a broad
Packages multiple pieces of generated data into a single compressed file for efficient transfer.
Istanbul is a JavaScript code coverage tool and instrumentation engine that measures the execution of statements, lines, functions, and branches. It functions as a test coverage analysis tool capable of monitoring code across unit, functional, and browser tests to identify untested areas of a codebase. The project distinguishes itself through a transparent instrumentation engine that uses module loader hooks to inject tracking code without requiring manual source modifications. It supports distributed test reporting by aggregating fragmented coverage data from multiple concurrent processes in
Combines fragmented coverage data from multiple concurrent processes into a single unified dataset.
Tabulator is an interactive data table library and virtual DOM data grid used to create high-performance tables from JSON or arrays. It functions as a hierarchical data viewer and a spreadsheet interface component, capable of rendering thousands of records efficiently through viewport-based virtualization and progressive loading. The library distinguishes itself by providing a full spreadsheet interface mode with multi-sheet management, cell range selection, and bulk copy-paste capabilities. It supports complex data architectures, including nested data field mapping, expandable tree structure
Aggregates data from several different tables into a single multi-sheet spreadsheet file.
Magit is a complete Git interface that runs inside Emacs, providing a full-featured porcelain for version control operations without leaving the editor. It renders repository state as structured, collapsible sections within Emacs buffers, and manages Git command execution through a transactional process model with automatic buffer refresh and error handling. The interface exposes all configuration through Emacs' standard customization system and uses a transient command framework for context-sensitive menu-driven Git operations. What distinguishes Magit is its granular control over every stag
Creates Git bundle files from selected commits for transfer or backup.
This repository collects illustrated single-page cheat sheets that compress the core topics of Stanford's CS 230 deep learning course into visual reference summaries. The collection covers convolutional neural networks, recurrent neural networks, and practical training techniques, pairing schematic diagrams with mathematical notation to bridge intuition and formal understanding. The cheat sheets are organized by subject area and link related concepts across topics, such as connecting vanishing gradients to LSTM gates, to reinforce the full deep learning workflow. Practical training advice on
Links related deep learning concepts across cheat sheets to reinforce the full workflow.
Dieses Projekt ist ein umfassender Studienführer für Informatik-Prüfungen und eine Lehrplan-Ressource für die Vorbereitung auf Aufnahmeprüfungen für Postgraduierte. Es fungiert als digitale Wissensdatenbank und Repository, das kuratierte Notizen, Lehrbücher und Lernmaterialien zu Kernfächern wie Betriebssysteme, Computernetzwerke, Datenstrukturen und Rechnerarchitektur bereitstellt. Das System bietet eine Bibliothek für Coding-Patterns, die gängige Lösungen für Datenstrukturen und Implementierungstechniken standardisiert. Es enthält ein Framework zur Analyse von Prüfungstrends, das historische Testdaten und Lehrplanänderungen auswertet, um hochpriorisierte Themen durch frequenzbasierte Gewichtung zu identifizieren. Die Ressource bietet praktische Anwendungsmaterialien, einschließlich Multiple-Choice-Fragenkatalogen und umfassenden Aufgabensammlungen. Es nutzt ein Wissensmanagementsystem, das technische Informationen in einer hierarchischen Notizbuchstruktur organisiert und theoretische Zusammenfassungen direkt mit praktischen Übungen verknüpft.
Links theoretical textbook summaries directly to practical exercise sets for an integrated learning workflow.
nyc is a JavaScript code coverage tool and command-line interface that instruments source files to track the execution of lines, branches, and functions during test runs. It acts as a wrapper for Node.js test runners, intercepting the module loading process to collect coverage data. The tool functions as a coverage data merger and build gating tool, allowing users to combine results from multiple independent test runs or child processes into a single unified report. It can automatically fail the build process if code coverage percentages fall below defined minimum thresholds. The project sup
Combines raw coverage data from separate test suites or independent runs into a single consolidated report.
SimpleCov ist ein Ruby-Code-Coverage-Tool und eine Analyse-Engine, die dazu verwendet wird, nachzuverfolgen, welche Zeilen, Zweige und Methoden von Code während Tests ausgeführt werden. Es fungiert als Coverage-Threshold-Enforcer und Test-Suite-Aggregator und zeichnet Ausführungsdaten auf, um ungetestete Bereiche einer Anwendung zu identifizieren. Das Tool zeichnet sich durch die Fähigkeit aus, Coverage-Ergebnisse von parallelen Worker-Prozessen und Subprozessen in einem einzigen, vereinheitlichten Bericht zusammenzuführen. Es unterstützt den Baseline-Vergleich, um Coverage-Regressionen zu erkennen, und kann Daten aus Code sammeln, der über dynamische Evaluierungsmethoden ausgeführt wurde, wie sie in Templating-Engines verwendet werden. Seine breiteren Fähigkeiten umfassen die Generierung von Berichten in mehreren Formaten, Quellgruppierung und Dateifilterung unter Verwendung regulärer Ausdrücke. Das System bietet zudem eine Kommandozeilenschnittstelle zur Anzeige von Statistiken und zur Auflistung nicht abgedeckter Dateien.
Aggregates fragmented coverage reports from parallel worker processes and subprocesses into a single unified dataset.
Dieses Projekt ist ein serverloser Formular-Handler und Backend-Dienst, der HTML-Formularübermittlungen erfasst und die Daten direkt in Google Sheets schreibt. Es fungiert als Integrationstool, das Formulareingaben auf Tabellenkalkulations-Spaltenüberschriften mappt, um die Datenerfassung ohne dedizierte Backend-Datenbank zu automatisieren. Der Dienst enthält ein Routing-System, das Übermittlungen basierend auf versteckten Feldwerten an spezifische Tabellenblätter weiterleitet. Um die Datenintegrität zu wahren, implementiert er einen Schutz gegen Spreadsheet-Injection durch Bereinigung der Eingaben, um die Formelausführung zu verhindern, und verwendet Honeypot-Felder, um automatisierte Bot-Übermittlungen zu filtern. Zusätzliche Funktionen umfassen einen E-Mail-Benachrichtigungsdienst, der bei Erfolg oder Misserfolg einer Übermittlung automatisierte Warnungen versendet. Das System handhabt das Mapping von Eingabedaten auf Tabellenzeilen und bietet einen Mechanismus für Echtzeit-Lead-Erfassung und Informationsverfolgung.
Implements logic to route form submissions to specific spreadsheet tabs using hidden field values.
JaCoCo ist ein Java-Code-Coverage-Tool und Bytecode-Instrumentierer, der misst, welche Teile des Quellcodes während Tests ausgeführt werden. Er fungiert als Runtime-Agent zur Überwachung der Anwendungsausführung im laufenden Betrieb oder als Bibliothek für Offline-Bytecode-Instrumentierung, wodurch er Ausführungsdaten in Umgebungen erfassen kann, in denen Runtime-Agenten eingeschränkt sind. Das Projekt zeichnet sich dadurch aus, dass es sowohl dynamische als auch statische Instrumentierungspfade zur Verfolgung der Ausführung bietet. Es enthält einen Runtime-Agenten für die Überwachung im laufenden Betrieb und die Möglichkeit, kompilierte Klassendateien vor der Ausführung zu modifizieren. Es ermöglicht zudem das Abrufen von Ausführungsmetriken aus laufenden Prozessen über Remote-Netzwerkverbindungen, ohne die aktive Anwendung zu unterbrechen. Das System berechnet quantitative Coverage-Metriken über Anweisungen, Zweige, Zeilen, Methoden und Klassen hinweg, neben Messungen der zyklomatischen Komplexität. Es bietet Funktionen zum Zusammenführen von Daten aus mehreren Testläufen, zur Durchsetzung von Coverage-Schwellenwerten innerhalb von CI/CD-Quality-Gates und zur Generierung von Berichten, die ausgeführten Bytecode auf den Quellcode zurückführen. Eine visuelle Integration ist verfügbar, um diese Ergebnisse direkt in Code-Editoren anzuzeigen. Das Tool lässt sich in Build-Automatisierungssysteme und Befehlszeilenschnittstellen integrieren, um die Datenerfassung und Berichterstellung zu automatisieren.
Provides functionality to combine execution metrics from multiple separate test runs into a single unified dataset.
Spout is a spreadsheet file processing library and multi-format generator designed for reading and writing CSV, XLSX, and ODS files. It functions as a stream-based parser that processes large spreadsheet files incrementally to avoid loading entire documents into memory. The library provides capabilities for programmatic spreadsheet generation and data extraction. It supports custom content styling, allowing for the application of fonts, backgrounds, borders, and number formats to individual cells or rows. Beyond basic file input and output, the project covers workbook manipulation through se
Extracts data from a chosen sheet within a multi-sheet workbook to avoid processing the entire file.
Tabletop is a JavaScript library and data parser designed to retrieve data from public Google Sheets and convert it into structured JSON objects. It functions as a client-side tool for fetching remote spreadsheet data and transforming rows into lists of objects or arrays for use in web applications. The library enables the use of Google Sheets as a lightweight database, allowing for dynamic content management where application data can be updated by editing a spreadsheet. It supports selective worksheet retrieval to limit the amount of transferred data and provides programmatic interfaces for
Limits data retrieval to a specific list of worksheets to reduce the volume of transferred data.
Dieses Projekt ist ein Model Context Protocol-Server, der es KI-Assistenten ermöglicht, direkt mit Microsoft Excel-Dateien zu interagieren. Er fungiert als Brücke, über die externe Systeme Tabellendaten über eine standardisierte Schnittstelle lesen, schreiben und bearbeiten können. Durch die Unterstützung sowohl direkter Dateimanipulation als auch Headless-Automatisierung bietet der Server ein umfassendes Werkzeug für die programmatische Arbeitsmappenverwaltung. Der Server zeichnet sich durch die Kombination von Datenverarbeitungsfunktionen mit einer visuellen Rendering-Pipeline aus. Er kann Bild-Snapshots spezifischer Tabellenbereiche generieren und Screenshots der aktiven Anwendungsoberfläche erstellen, was visuellen Kontext für automatisierte Aufgaben und Berichte liefert. Diese Funktionen ermöglichen es Benutzern, strukturierte Daten zu extrahieren und gleichzeitig den Zustand komplexer Arbeitsmappen zu visualisieren und zu dokumentieren. Über grundlegende Datenoperationen hinaus unterstützt das Tool umfangreiche Workflows zur Umstrukturierung und Formatierung von Arbeitsmappen. Es ermöglicht das Erstellen, Duplizieren und Organisieren von Arbeitsblättern sowie die programmatische Anwendung von Zellstilen und Zahlenformaten. Um Stabilität bei groß angelegten Operationen zu gewährleisten, implementiert das System ein paginierungsbasiertes Daten-Streaming, das den Speicherverbrauch und die Datenübertragung bei umfangreichen Dateien optimiert.
Manages workbook layout by creating tables and organizing worksheets within spreadsheet files.