5 repository-uri
Techniques for fetching large datasets with minimal memory overhead through streaming and optimized mapping.
Distinct from High-Performance Data Infrastructures: Distinct from High-Performance Data Infrastructures: focuses on client-side memory efficiency during retrieval rather than server-side infrastructure
Explore 5 awesome GitHub repositories matching data & databases · Memory-Optimized Data Retrieval. Refine with filters or upvote what's useful.
Dapper is a high-performance micro-ORM and SQL object mapper for .NET. It functions as an ADO.NET extension library that adds data mapping capabilities directly to database connections, allowing SQL query results to be transformed into typed objects. The project prioritizes execution speed and low memory overhead by using intermediate language generation to map database columns to object properties. It further optimizes performance through the use of concurrent caching for mapping functions and literal value injection to improve database execution plans. The library covers a broad range of d
Fetches large datasets from a database with minimal memory overhead using row streaming and optimized mapping.
asyncpg is an asynchronous database driver and binary protocol client for PostgreSQL. It provides a non-blocking interface for executing SQL statements, streaming result sets, and managing data transfer between an application and a PostgreSQL database. The driver implements the PostgreSQL binary protocol directly to facilitate efficient data transfer and type conversion. It includes a connection pool to maintain and reuse open database connections, reducing the latency associated with repeated handshakes. The project covers a broad range of database integration capabilities, including atomic
Implements cursor-based result streaming to retrieve large datasets while minimizing application memory overhead.
This is a collection of classical algorithms and data structures implemented as a header-only C++ library. It provides a suite of tools for general algorithm implementation, including data structure management, graph theory analysis, and string processing. The library is distinguished by its specialized toolkits for cryptographic hashing and encoding, featuring implementations of MD5, SHA-1, and Base64. It also includes advanced capabilities for high-performance string processing via suffix trees and arrays, as well as computational number theory for primality testing and arbitrary-precision
Uses specialized filters like Bloom filters to optimize data membership lookups.
Zend Framework este un set cuprinzător de componente decuplate pentru construirea de aplicații web modulare, bazate pe evenimente. Acesta implementează o arhitectură MVC pentru a separa logica de business de interfața utilizator și oferă un sistem structurat de gestionare a cererilor printr-un pipeline secvențial de middleware. Proiectul dispune de un container de injecție a dependențelor bazat pe fabrici pentru a automatiza instanțierea obiectelor și a gestiona ciclurile de viață ale claselor. Include, de asemenea, o suită cuprinzătoare de securitate pentru verificarea identității utilizatorilor și restricționarea accesului la resurse folosind liste de control al accesului (ACL) și adaptoare de control al accesului bazat pe roluri (RBAC). Framework-ul acoperă o gamă largă de capabilități, inclusiv abstractizarea bazei de date prin table și row gateways, implementări de apeluri de proceduri la distanță (RPC) pentru SOAP și JSON-RPC și un framework de aplicații consolă pentru interfețe în linie de comandă. Suprafața suplimentară include serializarea datelor, validarea input-ului, gestionarea sesiunilor și instrumente pentru livrarea de email-uri și internaționalizarea conținutului.
Employs techniques for fetching large datasets with minimal memory overhead to prevent crashes in constrained environments.
Acest proiect este un instrument de analiză statică și un linter pentru Ruby on Rails conceput pentru a identifica mirosurile arhitecturale și încălcările bunelor practici. Servește ca linter de calitate a codului, auditor arhitectural, scaner de securitate și analizor de performanță pentru aplicațiile Rails. Instrumentul evaluează separarea responsabilităților între controllere, modele și template-uri de view pentru a reduce datoria tehnică. Identifică tiparele de cod suboptimale și impune consistența stilistică, scanând în mod specific pentru vulnerabilități de securitate, cum ar fi mass assignment neprotejat în modele. Suprafața de analiză acoperă detectarea interogărilor de bază de date ineficiente și a tiparelor de preluare a datelor care consumă multă memorie. De asemenea, auditează designul rutelor, validează persistența înregistrărilor și identifică gestionarea necorespunzătoare a erorilor și configurările greșite ale fusului orar. Utilizatorii pot gestiona analiza definind ce verificări de cod să activeze sau să dezactiveze printr-un fișier de configurare.
Optimizes data retrieval for large datasets using streaming and batched finders to minimize memory overhead.