awesome-repositories.com
Blog
awesome-repositories.com

Entdecke die besten Open-Source-Repositories mit KI-gestützter Suche.

EntdeckenKuratierte SuchenOpen-Source-AlternativenSelf-hosted SoftwareBlogSitemap
ProjektÜber unsRanking-MethodikPresseMCP-Server
RechtlichesDatenschutzAGB
© 2026 Bringes Technology SRL·VAT RO45896025·hello@awesome-repositories.com
·

18 Repos

Awesome GitHub RepositoriesMulti-file Aggregators

Tools for combining multiple files into a single dataset using glob patterns.

Distinguishing note: Focuses on batch file processing and aggregation.

Explore 18 awesome GitHub repositories matching data & databases · Multi-file Aggregators. Refine with filters or upvote what's useful.

Awesome Multi-file Aggregators GitHub Repositories

Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
  • pola-rs/polarsAvatar von pola-rs

    pola-rs/polars

    38,855Auf GitHub ansehen↗

    Polars is a high-performance columnar data processing library designed for efficient analytical workflows. It functions as a structured data library that organizes information into typed columns, utilizing the Apache Arrow memory format to enable zero-copy data sharing and cache-friendly, vectorized operations. The engine is built to handle large-scale tabular datasets, providing both local and distributed analytical runtimes that scale from single-machine environments to multi-node clusters. The project distinguishes itself through a sophisticated lazy query engine that constructs abstract e

    Reads and combines multiple files into a single data structure using glob patterns.

    Rustarrowdataframedataframe-library
    Auf GitHub ansehen↗38,855
  • emmabostian/developer-portfoliosAvatar von emmabostian

    emmabostian/developer-portfolios

    20,754Auf GitHub ansehen↗

    This project is a community-driven directory of developer portfolios designed to serve as a resource for professional identity development and design inspiration. It functions as a structured data repository that collects and organizes personal website metadata, enabling users to discover and share examples of professional online presence. The platform operates through a collaborative model where content is managed via version control workflows. By utilizing pull requests, the project facilitates community-driven growth, allowing contributors to submit and maintain portfolio entries within a

    Aggregates distributed information from individual files into a single structured dataset.

    Python
    Auf GitHub ansehen↗20,754
  • refactoringhq/tolariaAvatar von refactoringhq

    refactoringhq/tolaria

    16,851Auf GitHub ansehen↗

    Tolaria is a markdown knowledge base manager and bidirectional note linking system. It functions as an integrated environment for organizing notes and structured data, utilizing YAML frontmatter and wikilinks to establish relational mappings between documents. The project distinguishes itself by integrating language model capabilities directly into the editor for content generation and analysis. It further combines prose with structured data through a markdown spreadsheet editor that renders CSV-formatted files as interactive grids with formula support and cross-sheet referencing. The platfo

    Connects different data tables using wikilinks to retrieve specific cell values from other sheets.

    TypeScript
    Auf GitHub ansehen↗16,851
  • dask/daskAvatar von dask

    dask/dask

    13,746Auf GitHub ansehen↗

    Dask ist ein Framework für paralleles Rechnen und ein verteilter Task-Scheduler, der darauf ausgelegt ist, Python-Data-Science-Workflows von einzelnen Maschinen auf große Cluster zu skalieren. Es fungiert als Cluster-Ressourcenmanager, der die Berechnungslogik orchestriert, indem Aufgaben und deren Abhängigkeiten als gerichtete azyklische Graphen dargestellt werden. Diese Architektur ermöglicht es dem System, die Verteilung von Workloads auf verfügbare Hardware zu automatisieren und gleichzeitig komplexe Ausführungsanforderungen zu verwalten. Das Projekt zeichnet sich durch eine Lazy-Evaluation-Engine aus, die Datenoperationen verzögert, bis sie explizit angefordert werden, was eine globale Graphoptimierung und effiziente Ressourcenzuweisung ermöglicht. Es integriert speicherbewusstes Data-Spilling, um Systemabstürze bei der Verarbeitung von Datensätzen zu verhindern, die den verfügbaren Speicher überschreiten, und nutzt Task-Graph-Fusion, um Sequenzen von Operationen in einzelne Ausführungsschritte zu kombinieren, wodurch Scheduling-Overhead und Inter-Node-Kommunikation minimiert werden. Die Plattform bietet eine umfassende Oberfläche für die Datenanalyse im großen Maßstab, einschließlich Unterstützung für verteiltes maschinelles Lernen, Integration in das Hochleistungsrechnen und parallele Datenverarbeitung. Sie bietet umfangreiche Werkzeuge für das Cluster-Lebenszyklusmanagement, Performance-Profiling und die Echtzeitüberwachung der Aufgabenausführung. Benutzer können diese Umgebungen über verschiedene Infrastrukturen hinweg bereitstellen, einschließlich lokaler Hardware, Cloud-Anbietern, containerisierten Systemen und Hochleistungsrechner-Clustern.

    Combines small files within partitioned directories into larger, more efficient chunks to optimize read performance.

    Pythondasknumpypandas
    Auf GitHub ansehen↗13,746
  • claudiodangelis/qrcpAvatar von claudiodangelis

    claudiodangelis/qrcp

    10,468Auf GitHub ansehen↗

    qrcp is a command-line file sharing utility that hosts a temporary local network server to facilitate wireless file exchanges between computers and mobile devices. It functions as a secure local file host, enabling the transfer of assets over a Wi-Fi network via a web browser. The tool distinguishes itself by using QR codes to automate device pairing, removing the need for manual IP entry. It ensures data privacy through certificate-based HTTPS encryption and simplifies the movement of directory structures by bundling multiple files into ephemeral zip archives. The system supports bidirectio

    Groups multiple files or folders into temporary zip archives for single-operation movement.

    Goclicommand-linegolang
    Auf GitHub ansehen↗10,468
  • stuk/jszipAvatar von Stuk

    Stuk/jszip

    10,300Auf GitHub ansehen↗

    jsZip is a JavaScript library for creating, reading, editing, and extracting ZIP archives within the browser or Node.js. It functions as an in-memory ZIP compressor and archive manager that generates compressed data streams and blobs from file collections without requiring a local filesystem. The library provides specific support for the ZIP64 extension, allowing it to handle archives and individual files that exceed the four gigabyte limit. It enables the dynamic modification of existing ZIP files to add, remove, or update internal folder structures and metadata. The project covers a broad

    Packages multiple pieces of generated data into a single compressed file for efficient transfer.

    JavaScriptjavascriptzip
    Auf GitHub ansehen↗10,300
  • gotwarlost/istanbulAvatar von gotwarlost

    gotwarlost/istanbul

    8,662Auf GitHub ansehen↗

    Istanbul is a JavaScript code coverage tool and instrumentation engine that measures the execution of statements, lines, functions, and branches. It functions as a test coverage analysis tool capable of monitoring code across unit, functional, and browser tests to identify untested areas of a codebase. The project distinguishes itself through a transparent instrumentation engine that uses module loader hooks to inject tracking code without requiring manual source modifications. It supports distributed test reporting by aggregating fragmented coverage data from multiple concurrent processes in

    Combines fragmented coverage data from multiple concurrent processes into a single unified dataset.

    JavaScript
    Auf GitHub ansehen↗8,662
  • olifolkerd/tabulatorAvatar von olifolkerd

    olifolkerd/tabulator

    7,550Auf GitHub ansehen↗

    Tabulator is an interactive data table library and virtual DOM data grid used to create high-performance tables from JSON or arrays. It functions as a hierarchical data viewer and a spreadsheet interface component, capable of rendering thousands of records efficiently through viewport-based virtualization and progressive loading. The library distinguishes itself by providing a full spreadsheet interface mode with multi-sheet management, cell range selection, and bulk copy-paste capabilities. It supports complex data architectures, including nested data field mapping, expandable tree structure

    Aggregates data from several different tables into a single multi-sheet spreadsheet file.

    JavaScriptajaxcdnjsdata
    Auf GitHub ansehen↗7,550
  • magit/magitAvatar von magit

    magit/magit

    7,138Auf GitHub ansehen↗

    Magit is a complete Git interface that runs inside Emacs, providing a full-featured porcelain for version control operations without leaving the editor. It renders repository state as structured, collapsible sections within Emacs buffers, and manages Git command execution through a transactional process model with automatic buffer refresh and error handling. The interface exposes all configuration through Emacs' standard customization system and uses a transient command framework for context-sensitive menu-driven Git operations. What distinguishes Magit is its granular control over every stag

    Creates Git bundle files from selected commits for transfer or backup.

    Emacs Lisp
    Auf GitHub ansehen↗7,138
  • afshinea/stanford-cs-230-deep-learningAvatar von afshinea

    afshinea/stanford-cs-230-deep-learning

    7,028Auf GitHub ansehen↗

    This repository collects illustrated single-page cheat sheets that compress the core topics of Stanford's CS 230 deep learning course into visual reference summaries. The collection covers convolutional neural networks, recurrent neural networks, and practical training techniques, pairing schematic diagrams with mathematical notation to bridge intuition and formal understanding. The cheat sheets are organized by subject area and link related concepts across topics, such as connecting vanishing gradients to LSTM gates, to reinforce the full deep learning workflow. Practical training advice on

    Links related deep learning concepts across cheat sheets to reinforce the full workflow.

    cheatsheetconvolutional-neural-networksdata-science
    Auf GitHub ansehen↗7,028
  • ddy-ddy/cs-408Avatar von ddy-ddy

    ddy-ddy/cs-408

    6,008Auf GitHub ansehen↗

    Dieses Projekt ist ein umfassender Studienführer für Informatik-Prüfungen und eine Lehrplan-Ressource für die Vorbereitung auf Aufnahmeprüfungen für Postgraduierte. Es fungiert als digitale Wissensdatenbank und Repository, das kuratierte Notizen, Lehrbücher und Lernmaterialien zu Kernfächern wie Betriebssysteme, Computernetzwerke, Datenstrukturen und Rechnerarchitektur bereitstellt. Das System bietet eine Bibliothek für Coding-Patterns, die gängige Lösungen für Datenstrukturen und Implementierungstechniken standardisiert. Es enthält ein Framework zur Analyse von Prüfungstrends, das historische Testdaten und Lehrplanänderungen auswertet, um hochpriorisierte Themen durch frequenzbasierte Gewichtung zu identifizieren. Die Ressource bietet praktische Anwendungsmaterialien, einschließlich Multiple-Choice-Fragenkatalogen und umfassenden Aufgabensammlungen. Es nutzt ein Wissensmanagementsystem, das technische Informationen in einer hierarchischen Notizbuchstruktur organisiert und theoretische Zusammenfassungen direkt mit praktischen Übungen verknüpft.

    Links theoretical textbook summaries directly to practical exercise sets for an integrated learning workflow.

    Auf GitHub ansehen↗6,008
  • istanbuljs/nycAvatar von istanbuljs

    istanbuljs/nyc

    5,746Auf GitHub ansehen↗

    nyc is a JavaScript code coverage tool and command-line interface that instruments source files to track the execution of lines, branches, and functions during test runs. It acts as a wrapper for Node.js test runners, intercepting the module loading process to collect coverage data. The tool functions as a coverage data merger and build gating tool, allowing users to combine results from multiple independent test runs or child processes into a single unified report. It can automatically fail the build process if code coverage percentages fall below defined minimum thresholds. The project sup

    Combines raw coverage data from separate test suites or independent runs into a single consolidated report.

    JavaScriptcode-coverageistanbuljavascript
    Auf GitHub ansehen↗5,746
  • colszowka/simplecovAvatar von colszowka

    colszowka/simplecov

    4,902Auf GitHub ansehen↗

    SimpleCov ist ein Ruby-Code-Coverage-Tool und eine Analyse-Engine, die dazu verwendet wird, nachzuverfolgen, welche Zeilen, Zweige und Methoden von Code während Tests ausgeführt werden. Es fungiert als Coverage-Threshold-Enforcer und Test-Suite-Aggregator und zeichnet Ausführungsdaten auf, um ungetestete Bereiche einer Anwendung zu identifizieren. Das Tool zeichnet sich durch die Fähigkeit aus, Coverage-Ergebnisse von parallelen Worker-Prozessen und Subprozessen in einem einzigen, vereinheitlichten Bericht zusammenzuführen. Es unterstützt den Baseline-Vergleich, um Coverage-Regressionen zu erkennen, und kann Daten aus Code sammeln, der über dynamische Evaluierungsmethoden ausgeführt wurde, wie sie in Templating-Engines verwendet werden. Seine breiteren Fähigkeiten umfassen die Generierung von Berichten in mehreren Formaten, Quellgruppierung und Dateifilterung unter Verwendung regulärer Ausdrücke. Das System bietet zudem eine Kommandozeilenschnittstelle zur Anzeige von Statistiken und zur Auflistung nicht abgedeckter Dateien.

    Aggregates fragmented coverage reports from parallel worker processes and subprocesses into a single unified dataset.

    Ruby
    Auf GitHub ansehen↗4,902
  • jamiewilson/form-to-google-sheetsAvatar von jamiewilson

    jamiewilson/form-to-google-sheets

    4,744Auf GitHub ansehen↗

    Dieses Projekt ist ein serverloser Formular-Handler und Backend-Dienst, der HTML-Formularübermittlungen erfasst und die Daten direkt in Google Sheets schreibt. Es fungiert als Integrationstool, das Formulareingaben auf Tabellenkalkulations-Spaltenüberschriften mappt, um die Datenerfassung ohne dedizierte Backend-Datenbank zu automatisieren. Der Dienst enthält ein Routing-System, das Übermittlungen basierend auf versteckten Feldwerten an spezifische Tabellenblätter weiterleitet. Um die Datenintegrität zu wahren, implementiert er einen Schutz gegen Spreadsheet-Injection durch Bereinigung der Eingaben, um die Formelausführung zu verhindern, und verwendet Honeypot-Felder, um automatisierte Bot-Übermittlungen zu filtern. Zusätzliche Funktionen umfassen einen E-Mail-Benachrichtigungsdienst, der bei Erfolg oder Misserfolg einer Übermittlung automatisierte Warnungen versendet. Das System handhabt das Mapping von Eingabedaten auf Tabellenzeilen und bietet einen Mechanismus für Echtzeit-Lead-Erfassung und Informationsverfolgung.

    Implements logic to route form submissions to specific spreadsheet tabs using hidden field values.

    JavaScriptfetch-apigoogle-sheetshtml-form
    Auf GitHub ansehen↗4,744
  • jacoco/jacocoAvatar von jacoco

    jacoco/jacoco

    4,580Auf GitHub ansehen↗

    JaCoCo ist ein Java-Code-Coverage-Tool und Bytecode-Instrumentierer, der misst, welche Teile des Quellcodes während Tests ausgeführt werden. Er fungiert als Runtime-Agent zur Überwachung der Anwendungsausführung im laufenden Betrieb oder als Bibliothek für Offline-Bytecode-Instrumentierung, wodurch er Ausführungsdaten in Umgebungen erfassen kann, in denen Runtime-Agenten eingeschränkt sind. Das Projekt zeichnet sich dadurch aus, dass es sowohl dynamische als auch statische Instrumentierungspfade zur Verfolgung der Ausführung bietet. Es enthält einen Runtime-Agenten für die Überwachung im laufenden Betrieb und die Möglichkeit, kompilierte Klassendateien vor der Ausführung zu modifizieren. Es ermöglicht zudem das Abrufen von Ausführungsmetriken aus laufenden Prozessen über Remote-Netzwerkverbindungen, ohne die aktive Anwendung zu unterbrechen. Das System berechnet quantitative Coverage-Metriken über Anweisungen, Zweige, Zeilen, Methoden und Klassen hinweg, neben Messungen der zyklomatischen Komplexität. Es bietet Funktionen zum Zusammenführen von Daten aus mehreren Testläufen, zur Durchsetzung von Coverage-Schwellenwerten innerhalb von CI/CD-Quality-Gates und zur Generierung von Berichten, die ausgeführten Bytecode auf den Quellcode zurückführen. Eine visuelle Integration ist verfügbar, um diese Ergebnisse direkt in Code-Editoren anzuzeigen. Das Tool lässt sich in Build-Automatisierungssysteme und Befehlszeilenschnittstellen integrieren, um die Datenerfassung und Berichterstellung zu automatisieren.

    Provides functionality to combine execution metrics from multiple separate test runs into a single unified dataset.

    Javabytecodecoveragegroovy
    Auf GitHub ansehen↗4,580
  • box/spoutAvatar von box

    box/spout

    4,229Auf GitHub ansehen↗

    Spout is a spreadsheet file processing library and multi-format generator designed for reading and writing CSV, XLSX, and ODS files. It functions as a stream-based parser that processes large spreadsheet files incrementally to avoid loading entire documents into memory. The library provides capabilities for programmatic spreadsheet generation and data extraction. It supports custom content styling, allowing for the application of fonts, backgrounds, borders, and number formats to individual cells or rows. Beyond basic file input and output, the project covers workbook manipulation through se

    Extracts data from a chosen sheet within a multi-sheet workbook to avoid processing the entire file.

    PHPcsvfastmemory-efficient
    Auf GitHub ansehen↗4,229
  • jsoma/tabletopAvatar von jsoma

    jsoma/tabletop

    3,771Auf GitHub ansehen↗

    Tabletop is a JavaScript library and data parser designed to retrieve data from public Google Sheets and convert it into structured JSON objects. It functions as a client-side tool for fetching remote spreadsheet data and transforming rows into lists of objects or arrays for use in web applications. The library enables the use of Google Sheets as a lightweight database, allowing for dynamic content management where application data can be updated by editing a spreadsheet. It supports selective worksheet retrieval to limit the amount of transferred data and provides programmatic interfaces for

    Limits data retrieval to a specific list of worksheets to reduce the volume of transferred data.

    JavaScript
    Auf GitHub ansehen↗3,771
  • negokaz/excel-mcp-serverAvatar von negokaz

    negokaz/excel-mcp-server

    973Auf GitHub ansehen↗

    Dieses Projekt ist ein Model Context Protocol-Server, der es KI-Assistenten ermöglicht, direkt mit Microsoft Excel-Dateien zu interagieren. Er fungiert als Brücke, über die externe Systeme Tabellendaten über eine standardisierte Schnittstelle lesen, schreiben und bearbeiten können. Durch die Unterstützung sowohl direkter Dateimanipulation als auch Headless-Automatisierung bietet der Server ein umfassendes Werkzeug für die programmatische Arbeitsmappenverwaltung. Der Server zeichnet sich durch die Kombination von Datenverarbeitungsfunktionen mit einer visuellen Rendering-Pipeline aus. Er kann Bild-Snapshots spezifischer Tabellenbereiche generieren und Screenshots der aktiven Anwendungsoberfläche erstellen, was visuellen Kontext für automatisierte Aufgaben und Berichte liefert. Diese Funktionen ermöglichen es Benutzern, strukturierte Daten zu extrahieren und gleichzeitig den Zustand komplexer Arbeitsmappen zu visualisieren und zu dokumentieren. Über grundlegende Datenoperationen hinaus unterstützt das Tool umfangreiche Workflows zur Umstrukturierung und Formatierung von Arbeitsmappen. Es ermöglicht das Erstellen, Duplizieren und Organisieren von Arbeitsblättern sowie die programmatische Anwendung von Zellstilen und Zahlenformaten. Um Stabilität bei groß angelegten Operationen zu gewährleisten, implementiert das System ein paginierungsbasiertes Daten-Streaming, das den Speicherverbrauch und die Datenübertragung bei umfangreichen Dateien optimiert.

    Manages workbook layout by creating tables and organizing worksheets within spreadsheet files.

    Go
    Auf GitHub ansehen↗973
  1. Home
  2. Data & Databases
  3. Multi-file Aggregators

Unter-Tags erkunden

  • Coverage Data AggregatorsSpecialized aggregators that combine fragmented coverage reports from multiple processes into a single dataset. **Distinct from Multi-file Aggregators:** Distinct from general file aggregation: specifically handles the merging logic of code coverage execution maps.
  • Cross-Sheet Linking1 Sub-TagConnecting distinct data tables via links to retrieve specific cell values. **Distinct from Multi-Sheet Spreadsheet Aggregation:** Distinct from aggregation; it establishes direct links between tables to pull specific data points.
  • Multi-Sheet Spreadsheet Aggregation2 Sub-TagsCombining data from multiple tables into a single multi-sheet file. **Distinct from Multi-file Aggregators:** Distinct from general file aggregation by focusing on multi-sheet spreadsheet structures.
  • Partitioned File AggregatorsTools for combining small files within partitioned directories into larger, more efficient chunks. **Distinct from Multi-file Aggregators:** Distinct from Multi-file Aggregators: focuses specifically on merging partitioned directory structures rather than general glob-based file aggregation.
  • Relational File JoinersTools that treat multiple flat files as relational tables to perform SQL-style joins. **Distinct from Multi-file Aggregators:** Distinct from Multi-file Aggregators: focuses on relational joining of files as tables rather than simple batch aggregation.
  • Transfer Bundling1 Sub-TagGrouping multiple files into archives specifically to facilitate a single transfer operation. **Distinct from Multi-file Aggregators:** Distinct from Multi-file Aggregators: focuses on bundling for transport rather than data set aggregation.