awesome-repositories.com
Blog
awesome-repositories.com

Descoperă cele mai bune repository-uri open source cu căutare AI.

ExploreazăCăutări recomandateAlternative open-sourceSoftware self-hostedBlogHartă site
ProiectDespreCum realizăm clasamentulPresăServer MCP
LegalConfidențialitateTermeni
© 2026 Bringes Technology SRL·VAT RO45896025·hello@awesome-repositories.com
·

218 repository-uri

Awesome GitHub RepositoriesData Handling and Throughput

Methods for optimizing the ingestion, transfer, and memory management of large datasets.

Explore 218 awesome GitHub repositories matching software engineering & architecture · Data Handling and Throughput. Refine with filters or upvote what's useful.

Awesome Data Handling and Throughput GitHub Repositories

Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
  • kamranahmedse/developer-roadmapAvatar kamranahmedse

    kamranahmedse/developer-roadmap

    357,434Vezi pe GitHub↗

    Developer Roadmap este o platformă condusă de comunitate care oferă căi de învățare structurate, bazate pe grafuri, pentru ingineria software. Servește drept repository cuprinzător de cunoștințe unde domeniile tehnice sunt organizate în secvențe vizuale pentru a ghida dobândirea competențelor profesionale și creșterea în carieră. Proiectul se distinge printr-un ecosistem colaborativ care permite utilizatorilor să contribuie cu roadmap-uri, să cureție cele mai bune practici din industrie și să mențină profiluri profesionale. Acesta integrează framework-uri de evaluare diagnostică pentru a evalua competența tehnică, ajutând dezvoltatorii să identifice lacunele de cunoștințe și să se pregătească pentru interviurile profesionale prin secvențe de învățare țintite. Dincolo de capabilitățile sale de bază de mapare, platforma oferă idei practice de proiecte și tutorat interactiv pentru a consolida conceptele de inginerie. Oferă un spațiu centralizat pentru ca comunitatea să partajeze resurse, să urmărească dezvoltarea progresivă a competențelor și să navigheze prin peisaje tehnice complexe.

    Manages object duplication for roadmap state and configuration.

    TypeScriptangular-roadmapbackend-roadmapblockchain-roadmap
    Vezi pe GitHub↗357,434
  • facebook/reactAvatar facebook

    facebook/react

    245,669Vezi pe GitHub↗

    React este o bibliotecă JavaScript pentru construirea de interfețe utilizator bazată pe o arhitectură orientată pe componente și flux de date unidirecțional.

    Updates object state by creating new copies with overridden fields using spread syntax.

    JavaScriptjavascriptuifrontend
    Vezi pe GitHub↗245,669
  • vuejs/vueAvatar vuejs

    vuejs/vue

    209,900Vezi pe GitHub↗

    Vue este un framework JavaScript progresiv, bazat pe componente, conceput pentru construirea de interfețe utilizator reactive și aplicații single-page. Se concentrează pe un sistem de template-uri declarativ care transformă HTML-ul în funcții de randare eficiente, permițând dezvoltatorilor să organizeze interfețe complexe în unități izolate, reutilizabile, care se sincronizează automat cu starea aplicației. Framework-ul se distinge printr-un sistem de reactivitate bazat pe urmărirea dependențelor care monitorizează accesul la date în timpul randării pentru a declanșa actualizări precise. Oferă o arhitectură flexibilă care suportă atât adoptarea incrementală ca bibliotecă ușoară, cât și dezvoltarea de aplicații la scară largă. Dezvoltatorii pot utiliza un model de extensibilitate robust, bazat pe plugin-uri, pentru a injecta logică globală, în timp ce reconcilierea virtuală a DOM-ului framework-ului asigură actualizări eficiente ale interfeței prin calcularea mutațiilor minime. Dincolo de capabilitățile sale de randare de bază, proiectul include o suită cuprinzătoare de instrumente pentru gestionarea stării aplicației, rutarea bazată pe URL și randarea pe partea de server. Oferă suport extins pentru compunerea componentelor, distribuția conținutului și gestionarea animațiilor, alături de măsuri de securitate încorporate, cum ar fi escaparea automată a conținutului pentru a preveni vulnerabilitățile comune. Framework-ul este distribuit cu declarații oficiale de tip pentru a susține analiza statică și poate fi instalat prin manageri de pachete standard sau integrat direct în mediile de browser prin tag-uri script.

    Optimizes performance by rendering static content only once and skipping future updates.

    TypeScriptframeworkfrontendjavascript
    Vezi pe GitHub↗209,900
  • yt-dlp/yt-dlpAvatar yt-dlp

    yt-dlp/yt-dlp

    170,963Vezi pe GitHub↗

    This project is a command-line media downloader designed for the systematic retrieval and organization of digital content from diverse online platforms. It functions as an extensible extraction engine that utilizes a declarative format-selection pipeline to automate the identification, merging, and downloading of specific audio and video streams based on user-defined criteria. The system distinguishes itself through a modular architecture that supports custom plugins and site-specific scripts, allowing for the bypass of platform restrictions and the handling of complex authentication challeng

    Controls concurrent fragment downloads, rate limits, and automated retry policies to optimize resource usage during network operations.

    Pythonclidownloaderpython
    Vezi pe GitHub↗170,963
  • chalarangelo/30-seconds-of-codeAvatar Chalarangelo

    Chalarangelo/30-seconds-of-code

    128,121Vezi pe GitHub↗

    30-seconds-of-code is a comprehensive knowledge base and programming snippet library designed to support software engineering education and professional development. It provides a curated collection of reusable code units and technical guides that help developers master core language mechanics, design patterns, and architectural philosophies. The project distinguishes itself by offering a wide-ranging library of algorithmic solutions and web development patterns that are organized into modular, independently testable units. It emphasizes functional programming paradigms and declarative logic,

    Provides utility functions for creating deep, independent copies of complex data structures.

    JavaScriptastroawesome-listcss
    Vezi pe GitHub↗128,121
  • syncthing/syncthingAvatar syncthing

    syncthing/syncthing

    85,400Vezi pe GitHub↗

    Syncthing este un motor de sincronizare a fișierelor descentralizat care menține stări de date consistente pe mai multe dispozitive prin rețele mesh peer-to-peer. Acesta funcționează ca un daemon de fundal care replică automat creările, modificările și ștergerile de fișiere între noduri de încredere, fără a necesita servere centrale. Utilizând indexarea blocurilor adresabile prin conținut și sincronizarea delta la nivel de bloc, sistemul identifică și transferă doar segmentele modificate ale fișierelor, asigurând o propagare eficientă a datelor în medii eterogene. Proiectul se distinge printr-o arhitectură axată pe securitate care se bazează pe autentificarea mutuală TLS pentru a verifica identitatea dispozitivului, asigurându-se că toate conexiunile sunt legate criptografic de amprentele certificatelor de încredere. Acesta acceptă moduri de sincronizare flexibile, inclusiv replicare bidirecțională, oglindire unidirecțională pentru backup-uri și aplicare bazată pe referință. Pentru o confidențialitate sporită, sistemul oferă criptare la nivel de folder pentru dispozitivele neîncrezătoare și permite un control granular asupra traficului de rețea, inclusiv capacitatea de a restricționa operațiunile la rețelele locale sau de a utiliza infrastructura de releu pentru traversarea NAT. Dincolo de capacitățile sale de replicare de bază, platforma oferă instrumente de gestionare cuprinzătoare, inclusiv un tablou de bord bazat pe web pentru monitorizarea stării conexiunii și a debitului, precum și o interfață de linie de comandă pentru configurare avansată. Include strategii robuste de versionare pentru a proteja împotriva pierderii datelor și acceptă scenarii complexe de implementare prin integrarea nativă a serviciilor și metrici de observabilitate. Software-ul este conceput pentru compatibilitate cross-platform și poate fi instalat prin manageri de pachete standard sau medii containerizate.

    Optimizes network performance by adjusting concurrency limits and resource usage based on environmental capacity.

    Gogop2ppeer-to-peer
    Vezi pe GitHub↗85,400
  • infiniflow/ragflowAvatar infiniflow

    infiniflow/ragflow

    82,922Vezi pe GitHub↗

    This project is a comprehensive retrieval-augmented generation platform designed for building, managing, and deploying knowledge-based AI applications. It provides a unified environment for organizing datasets, configuring conversational chat assistants, and developing autonomous agents that execute multi-step reasoning workflows. By integrating document intelligence with advanced retrieval pipelines, the platform enables the creation of grounded, verifiable responses supported by traceable citations. The platform distinguishes itself through deep document understanding and sophisticated know

    Tunes batch processing, OCR engines, and parsing services to minimize latency in retrieval-augmented generation pipelines.

    Pythonagentagenticagentic-ai
    Vezi pe GitHub↗82,922
  • base/nodeAvatar base

    base/node

    68,511Vezi pe GitHub↗

    This project is a containerized implementation of a blockchain node for the Base network. It manages the execution and consensus processes of an Ethereum Virtual Machine node within an isolated environment to maintain the network and process blockchain data. The infrastructure includes a specialized interface for processing pending blocks via websockets to reduce latency. It also provides a state synchronization tool that uses pre-computed snapshots to accelerate the process of reaching the current block height. The system covers network identity configuration for mainnet and testnet environ

    Offers controls for data pruning, logging levels, and metric exports to optimize node performance and storage.

    Shell
    Vezi pe GitHub↗68,511
  • chartjs/chart.jsAvatar chartjs

    chartjs/Chart.js

    67,526Vezi pe GitHub↗

    Chart.js is a declarative data visualization framework that renders interactive, responsive charts directly onto an HTML5 canvas element. It functions as a configuration-driven engine, transforming structured datasets into complex graphical representations by merging user-defined settings with global defaults. The library utilizes a high-performance rendering pipeline that executes drawing commands during each animation frame to maintain smooth visual feedback. The project distinguishes itself through a modular, extensible architecture that allows developers to register custom scales, control

    Filters or samples large datasets to reduce computational overhead before passing them to the rendering engine.

    JavaScriptcanvaschartgraph
    Vezi pe GitHub↗67,526
  • ffmpeg/ffmpegAvatar FFmpeg

    FFmpeg/FFmpeg

    61,176Vezi pe GitHub↗

    FFmpeg is a cross-platform multimedia framework designed for the recording, conversion, and streaming of audio and video content. It functions as a comprehensive toolkit that provides both a command-line utility for direct media manipulation and a collection of low-level libraries for integration into custom applications. At its core, the project utilizes a packet-based stream engine and a format-agnostic abstraction layer to handle diverse media standards, containers, and network protocols. The framework distinguishes itself through a modular, graph-based filter execution model that allows f

    Transfers audio and video packets between containers without decoding or re-encoding to ensure high-speed processing with zero quality loss.

    Caudiocffmpeg
    Vezi pe GitHub↗61,176
  • addyosmani/agent-skillsAvatar addyosmani

    addyosmani/agent-skills

    60,849Vezi pe GitHub↗

    Agent-skills is a collection of structured instructions and behavioral personas designed to standardize how AI coding agents perform engineering tasks. It functions as a workflow orchestrator that maps natural language intent to repeatable technical sequences and verification checklists. The project distinguishes itself through the use of specialized markdown-defined roles, such as security auditors or test engineers, to apply targeted domain expertise. It employs an evidence-based verification model that requires runtime data or passing tests as mandatory exit criteria to ensure AI-generated

    Applies a measure-first approach and bundle analysis to identify performance regressions and improve stability.

    Shellagent-skillsantigravityantigravity-ide
    Vezi pe GitHub↗60,849
  • xingshaocheng/architect-awesomeAvatar xingshaocheng

    xingshaocheng/architect-awesome

    60,821Vezi pe GitHub↗

    This project serves as a comprehensive knowledge base and reference for distributed systems engineering and enterprise software architecture. It provides a structured collection of technical resources, design patterns, and methodologies intended to assist in the design, maintenance, and scaling of complex, high-performance software environments. The repository distinguishes itself by offering deep dives into core architectural concepts such as actor-based concurrency, aspect-oriented interception, and inversion-of-control containers. It emphasizes the practical application of distributed syst

    Optimize high-throughput operations by transferring data directly between memory buffers to reduce CPU cycles.

    Vezi pe GitHub↗60,821
  • vuejs/coreAvatar vuejs

    vuejs/core

    53,861Vezi pe GitHub↗

    Vue is a progressive JavaScript framework designed for building modular, reactive user interfaces. It utilizes a component-based architecture that allows developers to encapsulate logic, templates, and styles into reusable units. At its core, the framework employs a virtual DOM renderer and a proxy-based reactivity system to synchronize application state with the document object model efficiently. What distinguishes this framework is its focus on developer experience and flexibility. It supports a single-file component format that colocalizes related concerns, alongside a powerful composition

    Optimizes rendering performance for massive datasets by employing list virtualization and bypassing deep reactivity for immutable data structures.

    TypeScript
    Vezi pe GitHub↗53,861
  • etcd-io/etcdAvatar etcd-io

    etcd-io/etcd

    51,838Vezi pe GitHub↗

    etcd is a distributed, strongly consistent key-value store designed to provide reliable storage for critical system metadata and coordination primitives. It functions as a distributed consensus engine, utilizing a replicated log and leader-based state machine to ensure that all nodes in a cluster maintain a synchronized view of data. By providing atomic operations and linearizable reads and writes, it serves as a foundational component for distributed systems requiring high availability and fault tolerance. The system distinguishes itself through its multi-version concurrency control, which e

    Analysis of latency and throughput metrics identifies performance bottlenecks to optimize storage engine behavior for high-demand applications.

    Gocncfconsensusdatabase
    Vezi pe GitHub↗51,838
  • cwida/duckdbAvatar cwida

    cwida/duckdb

    38,822Vezi pe GitHub↗

    DuckDB este o bază de date SQL analitică încorporată, în proces, și un sistem de gestionare a bazelor de date OLAP. Funcționează ca un motor de date pentru fișiere Parquet și CSV, permițând utilizatorilor să execute interogări SQL complexe pe seturi de date mari fără a necesita un proces de server separat. Sistemul este conceput pentru procesare analitică locală și fluxuri de lucru de știință a datelor încorporate. Acesta permite interogarea și analiza directă a fișierelor Parquet și CSV de pe disc, evitând necesitatea de a încărca datele într-o bază de date permanentă. Motorul oferă execuție SQL analitică de înaltă performanță, inclusiv suport pentru funcții de fereastră și subinterogări imbricate. Acesta încorporează un layout de stocare pe coloane și execuție vectorială a interogărilor pentru a gestiona manipularea și explorarea datelor la scară largă. Baza de date este accesibilă printr-o interfață de linie de comandă autonomă și binding-uri specifice limbajelor pentru Python, R, Java și Wasm.

    Optimizes the processing of massive structured datasets using high-performance SQL queries and window functions.

    C++
    Vezi pe GitHub↗38,822
  • aobingjava/javafamilyAvatar AobingJava

    AobingJava/JavaFamily

    36,959Vezi pe GitHub↗

    JavaFamily is a curated set of learning paths and reference guides for backend engineering, distributed systems, and virtual machine internals. It provides a structured curriculum covering the Java language, operating system concepts, and network protocols. The project features detailed study guides for the Java virtual machine architecture, including memory management and garbage collection. It also includes a comprehensive reference for distributed systems, covering microservices, remote procedure call frameworks, and scalable system design. The collection covers a broad range of technical

    Explains zero-copy techniques for transferring data between buffers to increase I/O processing speeds.

    interviewjavajava8
    Vezi pe GitHub↗36,959
  • facebook/immutable-jsAvatar facebook

    facebook/immutable-js

    33,060Vezi pe GitHub↗

    This is a persistent data structure library for JavaScript that provides collections which prevent the direct mutation of objects and arrays. It serves as an immutable state management tool and functional programming utility, ensuring that data remains unchanged after creation to simplify change detection and state tracking. The library enables the maintenance of application state by producing new versions of data structures during updates. It focuses on efficient data comparison by checking actual content instead of memory references and supports a functional programming workflow to prevent

    Optimizes the processing of large datasets through lazy sequence evaluation and batched mutations.

    TypeScript
    Vezi pe GitHub↗33,060
  • sillytavern/sillytavernAvatar SillyTavern

    SillyTavern/SillyTavern

    29,463Vezi pe GitHub↗

    SillyTavern is a comprehensive interface and orchestration platform designed for immersive AI roleplay and interactive chat experiences. It functions as a unified gateway that connects users to a wide array of local and cloud-based large language models, providing a centralized environment to manage complex character personas, narrative context, and model-driven interactions. The platform distinguishes itself through its advanced prompt engineering and automation capabilities. It utilizes a sophisticated macro-based templating engine and vector-database retrieval to dynamically inject lore, c

    Improves responsiveness by caching character data, compressing payloads, and generating media thumbnails.

    JavaScriptaichatllm
    Vezi pe GitHub↗29,463
  • projectdiscovery/nucleiAvatar projectdiscovery

    projectdiscovery/nuclei

    29,189Vezi pe GitHub↗

    Nuclei is a modular security scanning framework designed for automated vulnerability detection and infrastructure reconnaissance. It functions as a template-driven engine that executes security checks across diverse network protocols, allowing users to define custom detection logic to identify vulnerabilities, misconfigurations, and exposed assets. The platform distinguishes itself through its highly extensible architecture, which supports distributed scanning, headless browser automation for dynamic web content, and out-of-band interaction monitoring to detect blind vulnerabilities. It integ

    Controls the speed and intensity of requests using concurrency, parallelism, and rate-limiting settings to avoid triggering security blocks.

    Goattack-surfacecve-scannerdast
    Vezi pe GitHub↗29,189
  • ajaxorg/aceAvatar ajaxorg

    ajaxorg/ace

    27,133Vezi pe GitHub↗

    Ace is a high-performance, browser-based code editor and JavaScript text editor component designed to be embedded into web applications. It functions as a feature-rich alternative to standard text areas, providing a syntax highlighting engine and support for multiple programming and markup languages. The editor is distinguished by its ability to handle large documents containing millions of lines while maintaining stable performance. It supports multi-cursor editing, allowing simultaneous modifications at multiple selection points across a document. The project covers a broad range of develo

    Optimizes browser performance to allow stable editing of text files containing millions of lines.

    JavaScript
    Vezi pe GitHub↗27,133
Înapoi123456…11Înainte
  1. Home
  2. Software Engineering & Architecture
  3. Performance and Reliability
  4. Performance Optimization
  5. Data Handling and Throughput

Explorează sub-etichetele

  • Data Decimation StrategiesTechniques that reduce computational load by filtering or sampling large datasets before rendering or processing.
  • Download Throughput ControlsControls that manage data transfer rates, concurrency limits, and resource usage during network download operations.
  • Large Dataset Optimizations22 sub-tag-uriOptimization strategies that improve performance when processing or rendering large volumes of data.
  • RAG Pipeline OptimizersConfigurations and tools for tuning document parsing and retrieval latency in RAG systems.
  • System Performance Optimization4 sub-tag-uriPractices for analyzing system metrics to identify and resolve performance bottlenecks in throughput and latency.
  • Zero-Copy Mechanisms3 sub-tag-uriTechniques for transferring data between memory buffers without redundant copying to minimize CPU overhead.