14 repository-uri
Techniques for managing request bodies by combining in-memory storage with temporary file overflows.
Distinct from Request Payloads: Focuses on preventing memory exhaustion during uploads, whereas Request Payloads is broader regarding construction and transmission.
Explore 14 awesome GitHub repositories matching networking & communication · Memory-Efficient Payload Buffering. Refine with filters or upvote what's useful.
Swift NIO is a low-level, event-driven network framework for the Swift language. It serves as an asynchronous network protocol stack and I/O library designed to build high-performance network servers and clients that handle thousands of simultaneous connections. The framework functions as a high-concurrency network engine that dispatches events across multiple CPU cores. It enables the implementation of custom network protocols by processing raw bytes through a sequence of reusable data transformation handlers. The system provides capabilities for non-blocking I/O multiplexing, asynchronous
Implements buffer-based memory management to reduce copying and improve raw network data processing speed.
Autocannon is a Node.js HTTP load tester and benchmarking utility used to measure server throughput and latency. It functions as a high-performance request generator designed for stress testing web servers and APIs to analyze request-per-second capacity. The tool operates as a distributed HTTP load generator capable of aggregating results from multiple machines. It also functions as a HAR file replay tool, allowing users to reproduce specific network traffic patterns by replaying recorded HTTP archive files. The project covers broad capability areas including HTTP traffic simulation through
Uses raw buffers for request bodies and response headers to minimize memory allocation and garbage collection overhead.
AndroidAsync is a non-blocking networking library for Android that provides asynchronous sockets, HTTP clients, and servers based on Java NIO. It serves as a toolkit for managing raw TCP socket connections and bidirectional data streams using an asynchronous input and output architecture. The library includes a dedicated WebSocket framework for establishing persistent full-duplex communication channels between Android clients and servers. It also enables the hosting of a lightweight asynchronous HTTP server directly on an Android device to handle incoming network traffic. Its broader capabil
Provides raw binary buffers to manage network traffic and minimize memory copying for high-performance I/O.
NanoHTTPD is a lightweight, embeddable HTTP server for Java applications. It allows developers to integrate web server capabilities directly into a Java project to handle incoming requests without requiring a standalone installation. The project provides specialized implementations for an HTTPS web server, a WebSocket server for bidirectional real-time communication, and a static file web server. These capabilities enable secure network traffic through SSL certificates and the delivery of local files with automatic MIME type detection. The server includes systems for request routing and hand
Stores small request payloads in memory and overflows larger uploads to temporary files to prevent memory exhaustion.
EyeWitness este un instrument de mapare a infrastructurii web și de recunoaștere conceput pentru a automatiza maparea vizuală a serviciilor web expuse. Funcționează ca un screenshotter de browser headless și utilitar de recunoaștere HTTP care capturează dovezi vizuale și extrage headerele de server din liste de ținte web. Sistemul identifică tehnologiile serverului și auditează pentru credențiale administrative implicite comune pentru a mapa suprafața de atac externă a unei organizații. Generează rapoarte de securitate HTML căutabile care combină screenshot-uri, codul sursă al paginii și rezultate de analiză categorisite pentru evaluarea vulnerabilităților. Instrumentul include capabilități pentru recunoașterea serverelor web și maparea suprafeței de atac, utilizând procesarea țintelor multithreaded și gestionarea resurselor bazată pe buffer pentru a gestiona scanarea de volum mare. Suportă importarea listelor de ținte din formate text și XML.
Implements memory-efficient raw binary buffers to prevent system crashes during high-volume screenshot capture.
body-parser este un parser de cereri HTTP pentru Node.js care convertește body-urile cererilor primite în obiecte JavaScript structurate. Oferă utilitare pentru a extrage și procesa JSON, date binare brute, text simplu și payload-uri URL-encoded pentru utilizare în serverele web. Proiectul utilizează un tipar de middleware pentru a augmenta obiectele de cerere, atașând datele parsate direct cererii pentru utilizare în route handler-ele ulterioare. Utilizează dispatching bazat pe content-type pentru a selecta logica de parsare adecvată pe baza header-elor cererii. Instrumentul gestionează fluxurile de date prin consumarea payload-urilor în bucăți și acumularea bufferelor binare. Suportă decodarea șirurilor de caractere conștientă de encodare pentru a gestiona diverse seturi de caractere înainte de a transforma datele acumulate într-un format utilizabil.
Uses raw binary buffers to accumulate request data for efficient memory management and deferred parsing.
nghttp2 este o suită de biblioteci C de nivel scăzut și instrumente concepute pentru implementarea protocolului HTTP/2. Oferă o implementare eficientă din punct de vedere al memoriei a logicii de bază a protocolului, inclusiv framing, multiplexarea fluxurilor și controlul fluxului. Proiectul include o bibliotecă dedicată pentru compresia și decompresia header-elor HPACK pentru a reduce lățimea de bandă a rețelei. Oferă, de asemenea, un set de instrumente pentru analizarea traficului de rețea și benchmarking-ul performanței serverului, inclusiv măsurători de debit și latență. Capabilitățile sale mai largi acoperă implementarea protocolului și gestionarea traficului, inclusiv negocierea conexiunii ALPN, prioritizarea cererilor și validarea componentelor header-ului. Biblioteca suportă extensii de protocol personalizate printr-un sistem de evenimente bazat pe callback și include utilitare pentru gestionarea memoriei și traducerea codurilor de eroare. Proiectul include suport pentru build și scripturi de configurare pentru cross-compilarea binarilor pentru platforma Android.
nghttp2 determines if a buffer is statically allocated to prevent unnecessary string duplication during memory management.
easyjson is a high-performance JSON serializer and memory-optimized parser for Go. It provides a reflectionless code generator that creates static Go methods for marshaling and unmarshaling data, eliminating the need for runtime reflection to improve execution speed. The library reduces CPU and memory overhead through several optimization strategies. It employs a system of reusable memory buffer pools to minimize heap allocations and garbage collection pressure. Additionally, it utilizes string interning to deduplicate repeated values and zero-copy string referencing to point to existing buff
Uses raw binary buffers to handle JSON data for high-performance memory efficiency and reduced GC.
StreamSaver.js este o bibliotecă de fluxuri inscriptibile (writable streams) pentru browser și un instrument de salvare a fișierelor client-side. Oferă un mecanism pentru a scrie fluxuri de date direct în sistemul de fișiere local, ocolind abordarea standard de salvare bazată pe blob-uri pentru a evita epuizarea memoriei browserului. Biblioteca convertește fluxurile din browser în fișiere descărcabile, permițând exportul seturilor de date de mare volum și al fișierelor mari fără a stoca întregul payload în RAM. Suportă scrierea capturilor audio și video în timp real direct pe disc pentru a preveni depășirea memoriei în timpul sesiunilor lungi de înregistrare.
Passes data chunks through the browser pipeline immediately to avoid heap overflow during large file saves.
goflyway is an encrypted traffic relay and HTTP TCP tunneling proxy. It encapsulates TCP traffic within HTTP POST or WebSocket requests to bypass restrictive firewalls and network proxies. The system provides a SOCKS5 proxy server that routes traffic via a WebSocket relay and includes a UDP over TCP tunnel to enable transport across networks that block UDP traffic. It also functions as a TCP traffic interceptor for capturing and inspecting data passing through relayed connections. Capabilities cover network tunneling and traffic proxying through various transport protocols, including HTTP PO
Provides memory-capped buffers for clients and servers to prevent system exhaustion during asynchronous relays.
Finamp este un client de muzică mobil conceput pentru streaming-ul și gestionarea bibliotecilor muzicale găzduite pe un server media Jellyfin. Acesta servește drept interfață portabilă pentru navigarea și redarea fișierelor audio de pe un server la distanță. Aplicația funcționează ca un streamer de muzică la distanță, conectându-se la un depozit media central pentru a transmite audio prin transcodare de rețea. Permite navigarea și redarea colecțiilor audio private de pe un server de acasă pe un dispozitiv mobil. Proiectul acoperă redarea media și gestionarea audio la distanță, suportând diverse formate audio prin suport nativ al serverului sau transcodare. Utilizează un API bazat pe REST pentru metadatele bibliotecii și streaming-ul media.
Implements client-side caching of audio segments to prevent playback interruptions during network fluctuations.
Swifter este un motor de server HTTP ușor și o bibliotecă de rețelistică pentru limbajul de programare Swift. Oferă un strat de rețelistică minimal conceput pentru găzduirea serviciilor web interne, construirea de aplicații server-side și implementarea de servere HTTP personalizate. Proiectul permite crearea de servicii web încorporate pentru control de la distanță sau monitorizarea stării și suportă găzduirea web ușoară cu o amprentă minimală. Capabilitățile sale acoperă gestionarea conexiunilor TCP brute și a socket-urilor de rețea, utilizând un ciclu cerere-răspuns pentru a parsa datele primite în cereri HTTP și a le mapa către funcții handler.
Uses raw binary buffers to manage request and response data for high-performance memory efficiency.
evpp is a C++ network library and framework designed for building high-performance network services using TCP, UDP, and HTTP protocols. It provides an asynchronous event loop to manage nonblocking I/O operations and concurrent network connections across multiple threads. The framework includes specialized tools for asynchronous DNS resolution and a system for asynchronous task scheduling using a managed thread pool. It also features a nonblocking HTTP server and client with integrated connection pooling. The project covers low-level transport layer connectivity for TCP and UDP, as well as hi
Uses specialized raw binary buffers to manage network I/O and reduce memory allocation overhead.
This project is a cross-platform mobile audio player and native audio playback engine for React Native. It functions as a media session manager that integrates audio controls into device lock screens, system notifications, and external Bluetooth headsets. The library features a dedicated mobile audio caching engine that preloads and stores content on disk to enable offline playback and gapless transitions. It also includes an automotive media interface that exposes audio content and playback controls to vehicle head units and car dashboards through hierarchical media browsing. The system cov
Implements caching, preloading, and buffering strategies to ensure seamless, gapless transitions between audio tracks.