awesome-repositories.com
Blog
awesome-repositories.com

Entdecke die besten Open-Source-Repositories mit KI-gestützter Suche.

EntdeckenKuratierte SuchenOpen-Source-AlternativenSelf-hosted SoftwareBlogSitemap
ProjektÜber unsRanking-MethodikPresseMCP-Server
RechtlichesDatenschutzAGB
© 2026 Bringes Technology SRL·VAT RO45896025·hello@awesome-repositories.com
·

218 Repos

Awesome GitHub RepositoriesData Handling and Throughput

Methods for optimizing the ingestion, transfer, and memory management of large datasets.

Explore 218 awesome GitHub repositories matching software engineering & architecture · Data Handling and Throughput. Refine with filters or upvote what's useful.

Awesome Data Handling and Throughput GitHub Repositories

Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
  • kamranahmedse/developer-roadmapAvatar von kamranahmedse

    kamranahmedse/developer-roadmap

    357,434Auf GitHub ansehen↗

    Developer Roadmap ist eine Community-gesteuerte Plattform, die strukturierte, graphbasierte Lernpfade für das Software-Engineering bietet. Sie dient als umfassendes Wissens-Repository, in dem technische Bereiche in visuellen Sequenzen organisiert sind, um den Erwerb beruflicher Fähigkeiten und das Karrierewachstum zu steuern. Das Projekt zeichnet sich durch ein kollaboratives Ökosystem aus, das es Nutzern ermöglicht, Roadmaps beizusteuern, bewährte Branchenpraktiken zu kuratieren und berufliche Profile zu pflegen. Es integriert diagnostische Bewertungs-Frameworks, um die technische Kompetenz zu evaluieren, und hilft Entwicklern dabei, Wissenslücken zu identifizieren und sich durch gezielte Lernsequenzen auf professionelle Vorstellungsgespräche vorzubereiten. Über seine Kern-Mapping-Funktionen hinaus bietet die Plattform praktische Projektideen und interaktives Tutoring, um Engineering-Konzepte zu festigen. Sie bietet einen zentralen Raum für die Community, um Ressourcen zu teilen, den fortschreitenden Kompetenzaufbau zu verfolgen und durch komplexe technische Landschaften zu navigieren.

    Manages object duplication for roadmap state and configuration.

    TypeScriptangular-roadmapbackend-roadmapblockchain-roadmap
    Auf GitHub ansehen↗357,434
  • facebook/reactAvatar von facebook

    facebook/react

    245,669Auf GitHub ansehen↗

    React ist eine JavaScript-Bibliothek für den Aufbau von Benutzeroberflächen, basierend auf einer komponentenorientierten Architektur und unidirektionalem Datenfluss.

    Updates object state by creating new copies with overridden fields using spread syntax.

    JavaScriptjavascriptuifrontend
    Auf GitHub ansehen↗245,669
  • vuejs/vueAvatar von vuejs

    vuejs/vue

    209,900Auf GitHub ansehen↗

    Vue ist ein progressives, komponentenbasiertes JavaScript-Framework, das für den Aufbau reaktiver Benutzeroberflächen und Single-Page-Anwendungen entwickelt wurde. Es konzentriert sich auf ein deklaratives Vorlagensystem, das HTML in effiziente Render-Funktionen umwandelt und es Entwicklern ermöglicht, komplexe Schnittstellen in isolierte, wiederverwendbare Einheiten zu organisieren, die automatisch mit dem Anwendungszustand synchronisieren. Das Framework zeichnet sich durch ein reaktivitätsbasiertes Abhängigkeitsverfolgungssystem aus, das den Datenzugriff während des Renderns überwacht, um präzise Updates auszulösen. Es bietet eine flexible Architektur, die sowohl die inkrementelle Einführung als auch die Entwicklung von Anwendungen in vollem Umfang unterstützt. Entwickler können ein robustes, Plugin-basiertes Erweiterbarkeitsmodell nutzen, um globale Logik zu injizieren, während die virtuelle DOM-Abgleichung des Frameworks effiziente Schnittstellen-Updates durch die Berechnung minimaler Mutationen sicherstellt. Über seine Kern-Rendering-Fähigkeiten hinaus enthält das Projekt eine umfassende Suite von Tools zur Verwaltung des Anwendungszustands, URL-basiertem Routing und serverseitigem Rendering. Es bietet umfassende Unterstützung für Komponentenkomposition, Inhaltsverteilung und Animationsmanagement, neben integrierten Sicherheitsmaßnahmen wie automatischem Content-Escaping, um häufige Schwachstellen zu verhindern. Das Framework wird mit offiziellen Typdeklarationen vertrieben, um die statische Analyse zu unterstützen, und kann über Standard-Paketmanager installiert oder direkt über Skript-Tags in Browserumgebungen integriert werden.

    Optimizes performance by rendering static content only once and skipping future updates.

    TypeScriptframeworkfrontendjavascript
    Auf GitHub ansehen↗209,900
  • yt-dlp/yt-dlpAvatar von yt-dlp

    yt-dlp/yt-dlp

    170,963Auf GitHub ansehen↗

    This project is a command-line media downloader designed for the systematic retrieval and organization of digital content from diverse online platforms. It functions as an extensible extraction engine that utilizes a declarative format-selection pipeline to automate the identification, merging, and downloading of specific audio and video streams based on user-defined criteria. The system distinguishes itself through a modular architecture that supports custom plugins and site-specific scripts, allowing for the bypass of platform restrictions and the handling of complex authentication challeng

    Controls concurrent fragment downloads, rate limits, and automated retry policies to optimize resource usage during network operations.

    Pythonclidownloaderpython
    Auf GitHub ansehen↗170,963
  • chalarangelo/30-seconds-of-codeAvatar von Chalarangelo

    Chalarangelo/30-seconds-of-code

    128,121Auf GitHub ansehen↗

    30-seconds-of-code is a comprehensive knowledge base and programming snippet library designed to support software engineering education and professional development. It provides a curated collection of reusable code units and technical guides that help developers master core language mechanics, design patterns, and architectural philosophies. The project distinguishes itself by offering a wide-ranging library of algorithmic solutions and web development patterns that are organized into modular, independently testable units. It emphasizes functional programming paradigms and declarative logic,

    Provides utility functions for creating deep, independent copies of complex data structures.

    JavaScriptastroawesome-listcss
    Auf GitHub ansehen↗128,121
  • syncthing/syncthingAvatar von syncthing

    syncthing/syncthing

    85,400Auf GitHub ansehen↗

    Syncthing ist eine dezentrale Dateisynchronisierungs-Engine, die konsistente Datenzustände über mehrere Geräte hinweg durch Peer-to-Peer-Mesh-Netzwerke aufrechterhält. Es arbeitet als Hintergrund-Daemon, der Dateierstellungen, -änderungen und -löschungen automatisch zwischen vertrauenswürdigen Knoten repliziert, ohne dass zentrale Server erforderlich sind. Durch die Verwendung von inhaltsadressierbarer Blockindizierung und Block-Level-Delta-Synchronisation identifiziert und überträgt das System nur die geänderten Segmente von Dateien, was eine effiziente Datenverbreitung in heterogenen Umgebungen gewährleistet. Das Projekt zeichnet sich durch eine sicherheitsorientierte Architektur aus, die auf gegenseitiger TLS-Authentifizierung basiert, um die Geräteidentität zu verifizieren und sicherzustellen, dass alle Verbindungen kryptografisch an vertrauenswürdige Zertifikats-Fingerabdrücke gebunden sind. Es unterstützt flexible Synchronisationsmodi, einschließlich bidirektionaler Replikation, unidirektionaler Spiegelung für Backups und referenzbasierter Durchsetzung. Für zusätzliche Privatsphäre bietet das System eine ordnerbasierte Verschlüsselung für nicht vertrauenswürdige Geräte und ermöglicht eine granulare Kontrolle über den Netzwerkverkehr, einschließlich der Möglichkeit, Vorgänge auf lokale Netzwerke zu beschränken oder Relay-Infrastruktur für NAT-Traversal zu nutzen. Über die Kernfunktionen der Replikation hinaus bietet die Plattform umfassende Verwaltungstools, darunter ein webbasiertes Dashboard zur Überwachung von Verbindungsstatus und Durchsatz sowie eine Befehlszeilenschnittstelle für fortgeschrittene Konfigurationen. Es enthält robuste Versionierungsstrategien zum Schutz vor Datenverlust und unterstützt komplexe Bereitstellungsszenarien durch native Service-Integration und Observability-Metriken. Die Software ist für plattformübergreifende Kompatibilität ausgelegt und kann über Standard-Paketmanager oder containerisierte Umgebungen installiert werden.

    Optimizes network performance by adjusting concurrency limits and resource usage based on environmental capacity.

    Gogop2ppeer-to-peer
    Auf GitHub ansehen↗85,400
  • infiniflow/ragflowAvatar von infiniflow

    infiniflow/ragflow

    82,922Auf GitHub ansehen↗

    This project is a comprehensive retrieval-augmented generation platform designed for building, managing, and deploying knowledge-based AI applications. It provides a unified environment for organizing datasets, configuring conversational chat assistants, and developing autonomous agents that execute multi-step reasoning workflows. By integrating document intelligence with advanced retrieval pipelines, the platform enables the creation of grounded, verifiable responses supported by traceable citations. The platform distinguishes itself through deep document understanding and sophisticated know

    Tunes batch processing, OCR engines, and parsing services to minimize latency in retrieval-augmented generation pipelines.

    Pythonagentagenticagentic-ai
    Auf GitHub ansehen↗82,922
  • base/nodeAvatar von base

    base/node

    68,511Auf GitHub ansehen↗

    This project is a containerized implementation of a blockchain node for the Base network. It manages the execution and consensus processes of an Ethereum Virtual Machine node within an isolated environment to maintain the network and process blockchain data. The infrastructure includes a specialized interface for processing pending blocks via websockets to reduce latency. It also provides a state synchronization tool that uses pre-computed snapshots to accelerate the process of reaching the current block height. The system covers network identity configuration for mainnet and testnet environ

    Offers controls for data pruning, logging levels, and metric exports to optimize node performance and storage.

    Shell
    Auf GitHub ansehen↗68,511
  • chartjs/chart.jsAvatar von chartjs

    chartjs/Chart.js

    67,526Auf GitHub ansehen↗

    Chart.js is a declarative data visualization framework that renders interactive, responsive charts directly onto an HTML5 canvas element. It functions as a configuration-driven engine, transforming structured datasets into complex graphical representations by merging user-defined settings with global defaults. The library utilizes a high-performance rendering pipeline that executes drawing commands during each animation frame to maintain smooth visual feedback. The project distinguishes itself through a modular, extensible architecture that allows developers to register custom scales, control

    Filters or samples large datasets to reduce computational overhead before passing them to the rendering engine.

    JavaScriptcanvaschartgraph
    Auf GitHub ansehen↗67,526
  • ffmpeg/ffmpegAvatar von FFmpeg

    FFmpeg/FFmpeg

    61,176Auf GitHub ansehen↗

    FFmpeg is a cross-platform multimedia framework designed for the recording, conversion, and streaming of audio and video content. It functions as a comprehensive toolkit that provides both a command-line utility for direct media manipulation and a collection of low-level libraries for integration into custom applications. At its core, the project utilizes a packet-based stream engine and a format-agnostic abstraction layer to handle diverse media standards, containers, and network protocols. The framework distinguishes itself through a modular, graph-based filter execution model that allows f

    Transfers audio and video packets between containers without decoding or re-encoding to ensure high-speed processing with zero quality loss.

    Caudiocffmpeg
    Auf GitHub ansehen↗61,176
  • addyosmani/agent-skillsAvatar von addyosmani

    addyosmani/agent-skills

    60,849Auf GitHub ansehen↗

    Agent-skills is a collection of structured instructions and behavioral personas designed to standardize how AI coding agents perform engineering tasks. It functions as a workflow orchestrator that maps natural language intent to repeatable technical sequences and verification checklists. The project distinguishes itself through the use of specialized markdown-defined roles, such as security auditors or test engineers, to apply targeted domain expertise. It employs an evidence-based verification model that requires runtime data or passing tests as mandatory exit criteria to ensure AI-generated

    Applies a measure-first approach and bundle analysis to identify performance regressions and improve stability.

    Shellagent-skillsantigravityantigravity-ide
    Auf GitHub ansehen↗60,849
  • xingshaocheng/architect-awesomeAvatar von xingshaocheng

    xingshaocheng/architect-awesome

    60,821Auf GitHub ansehen↗

    This project serves as a comprehensive knowledge base and reference for distributed systems engineering and enterprise software architecture. It provides a structured collection of technical resources, design patterns, and methodologies intended to assist in the design, maintenance, and scaling of complex, high-performance software environments. The repository distinguishes itself by offering deep dives into core architectural concepts such as actor-based concurrency, aspect-oriented interception, and inversion-of-control containers. It emphasizes the practical application of distributed syst

    Optimize high-throughput operations by transferring data directly between memory buffers to reduce CPU cycles.

    Auf GitHub ansehen↗60,821
  • vuejs/coreAvatar von vuejs

    vuejs/core

    53,861Auf GitHub ansehen↗

    Vue is a progressive JavaScript framework designed for building modular, reactive user interfaces. It utilizes a component-based architecture that allows developers to encapsulate logic, templates, and styles into reusable units. At its core, the framework employs a virtual DOM renderer and a proxy-based reactivity system to synchronize application state with the document object model efficiently. What distinguishes this framework is its focus on developer experience and flexibility. It supports a single-file component format that colocalizes related concerns, alongside a powerful composition

    Optimizes rendering performance for massive datasets by employing list virtualization and bypassing deep reactivity for immutable data structures.

    TypeScript
    Auf GitHub ansehen↗53,861
  • etcd-io/etcdAvatar von etcd-io

    etcd-io/etcd

    51,838Auf GitHub ansehen↗

    etcd is a distributed, strongly consistent key-value store designed to provide reliable storage for critical system metadata and coordination primitives. It functions as a distributed consensus engine, utilizing a replicated log and leader-based state machine to ensure that all nodes in a cluster maintain a synchronized view of data. By providing atomic operations and linearizable reads and writes, it serves as a foundational component for distributed systems requiring high availability and fault tolerance. The system distinguishes itself through its multi-version concurrency control, which e

    Analysis of latency and throughput metrics identifies performance bottlenecks to optimize storage engine behavior for high-demand applications.

    Gocncfconsensusdatabase
    Auf GitHub ansehen↗51,838
  • cwida/duckdbAvatar von cwida

    cwida/duckdb

    38,822Auf GitHub ansehen↗

    DuckDB ist eine eingebettete, In-Process analytische SQL-Datenbank und ein OLAP-Datenbankmanagementsystem. Es fungiert als Daten-Engine für Parquet- und CSV-Dateien und ermöglicht es Benutzern, komplexe SQL-Abfragen auf großen Datensätzen auszuführen, ohne einen separaten Serverprozess zu benötigen. Das System ist für lokale analytische Verarbeitung und eingebettete Data-Science-Workflows konzipiert. Es ermöglicht das direkte Abfragen und Analysieren von Parquet- und CSV-Dateien von der Festplatte, wodurch das Laden von Daten in eine permanente Datenbank entfällt. Die Engine bietet eine leistungsstarke analytische SQL-Ausführung, einschließlich Unterstützung für Fensterfunktionen und verschachtelte Unterabfragen. Sie verwendet ein spaltenbasiertes Speicherlayout und vektorisierte Abfrageausführung, um umfangreiche Datenmanipulationen und -analysen zu bewältigen. Die Datenbank ist über eine eigenständige Befehlszeilenschnittstelle sowie sprachspezifische Bindings für Python, R, Java und Wasm zugänglich.

    Optimizes the processing of massive structured datasets using high-performance SQL queries and window functions.

    C++
    Auf GitHub ansehen↗38,822
  • aobingjava/javafamilyAvatar von AobingJava

    AobingJava/JavaFamily

    36,959Auf GitHub ansehen↗

    JavaFamily is a curated set of learning paths and reference guides for backend engineering, distributed systems, and virtual machine internals. It provides a structured curriculum covering the Java language, operating system concepts, and network protocols. The project features detailed study guides for the Java virtual machine architecture, including memory management and garbage collection. It also includes a comprehensive reference for distributed systems, covering microservices, remote procedure call frameworks, and scalable system design. The collection covers a broad range of technical

    Explains zero-copy techniques for transferring data between buffers to increase I/O processing speeds.

    interviewjavajava8
    Auf GitHub ansehen↗36,959
  • facebook/immutable-jsAvatar von facebook

    facebook/immutable-js

    33,060Auf GitHub ansehen↗

    This is a persistent data structure library for JavaScript that provides collections which prevent the direct mutation of objects and arrays. It serves as an immutable state management tool and functional programming utility, ensuring that data remains unchanged after creation to simplify change detection and state tracking. The library enables the maintenance of application state by producing new versions of data structures during updates. It focuses on efficient data comparison by checking actual content instead of memory references and supports a functional programming workflow to prevent

    Optimizes the processing of large datasets through lazy sequence evaluation and batched mutations.

    TypeScript
    Auf GitHub ansehen↗33,060
  • sillytavern/sillytavernAvatar von SillyTavern

    SillyTavern/SillyTavern

    29,463Auf GitHub ansehen↗

    SillyTavern is a comprehensive interface and orchestration platform designed for immersive AI roleplay and interactive chat experiences. It functions as a unified gateway that connects users to a wide array of local and cloud-based large language models, providing a centralized environment to manage complex character personas, narrative context, and model-driven interactions. The platform distinguishes itself through its advanced prompt engineering and automation capabilities. It utilizes a sophisticated macro-based templating engine and vector-database retrieval to dynamically inject lore, c

    Improves responsiveness by caching character data, compressing payloads, and generating media thumbnails.

    JavaScriptaichatllm
    Auf GitHub ansehen↗29,463
  • projectdiscovery/nucleiAvatar von projectdiscovery

    projectdiscovery/nuclei

    29,189Auf GitHub ansehen↗

    Nuclei is a modular security scanning framework designed for automated vulnerability detection and infrastructure reconnaissance. It functions as a template-driven engine that executes security checks across diverse network protocols, allowing users to define custom detection logic to identify vulnerabilities, misconfigurations, and exposed assets. The platform distinguishes itself through its highly extensible architecture, which supports distributed scanning, headless browser automation for dynamic web content, and out-of-band interaction monitoring to detect blind vulnerabilities. It integ

    Controls the speed and intensity of requests using concurrency, parallelism, and rate-limiting settings to avoid triggering security blocks.

    Goattack-surfacecve-scannerdast
    Auf GitHub ansehen↗29,189
  • ajaxorg/aceAvatar von ajaxorg

    ajaxorg/ace

    27,133Auf GitHub ansehen↗

    Ace is a high-performance, browser-based code editor and JavaScript text editor component designed to be embedded into web applications. It functions as a feature-rich alternative to standard text areas, providing a syntax highlighting engine and support for multiple programming and markup languages. The editor is distinguished by its ability to handle large documents containing millions of lines while maintaining stable performance. It supports multi-cursor editing, allowing simultaneous modifications at multiple selection points across a document. The project covers a broad range of develo

    Optimizes browser performance to allow stable editing of text files containing millions of lines.

    JavaScript
    Auf GitHub ansehen↗27,133
Vorherige123456…11Nächste
  1. Home
  2. Software Engineering & Architecture
  3. Performance and Reliability
  4. Performance Optimization
  5. Data Handling and Throughput

Unter-Tags erkunden

  • Data Decimation StrategiesTechniques that reduce computational load by filtering or sampling large datasets before rendering or processing.
  • Download Throughput ControlsControls that manage data transfer rates, concurrency limits, and resource usage during network download operations.
  • Large Dataset Optimizations22 Sub-TagsOptimization strategies that improve performance when processing or rendering large volumes of data.
  • RAG Pipeline OptimizersConfigurations and tools for tuning document parsing and retrieval latency in RAG systems.
  • System Performance Optimization4 Sub-TagsPractices for analyzing system metrics to identify and resolve performance bottlenecks in throughput and latency.
  • Zero-Copy Mechanisms3 Sub-TagsTechniques for transferring data between memory buffers without redundant copying to minimize CPU overhead.