836 repository-uri
Technologies and architectures dedicated to the durable storage and long-term management of digital information.
Explore 836 awesome GitHub repositories matching data & databases · Data Persistence and Storage. Refine with filters or upvote what's useful.
Acest proiect este o resursă educațională cuprinzătoare și un ghid de studiu axat pe arhitectura sistemelor distribuite și designul infrastructurii backend. Oferă un curriculum structurat pentru stăpânirea principiilor de scalabilitate, fiabilitate și performanță necesare pentru a proiecta sisteme software complexe. Repository-ul se distinge prin oferirea unei abordări metodice pentru pregătirea interviurilor tehnice, încorporând tipare de design, compromisuri arhitecturale și instrumente de repetiție spațiată pentru a ajuta utilizatorii să rețină concepte complexe. Pune accent pe analiza bazată pe constrângeri, învățând utilizatorii cum să evalueze cerințele concurente precum latența, consistența și disponibilitatea atunci când schițează design-uri arhitecturale. Conținutul acoperă un spectru larg de capabilități de design de sistem, inclusiv strategii pentru scalarea bazelor de date, gestionarea traficului și optimizarea infrastructurii. Detaliază tehnici pentru scalarea orizontală, caching-ul pe mai multe niveluri, comunicarea asincronă și descoperirea serviciilor, oferind în același timp framework-uri pentru efectuarea estimărilor de resurse și planificarea capacității. Documentația este organizată ca un ghid de studiu, oferind o cale sistematică prin fundamentele ingineriei backend și designul sistemelor la scară largă.
Details mechanisms for storing frequently accessed data in memory to reduce latency and backend processing requirements.
Acest proiect este un director cuprinzător, curatoriat de comunitate, care organizează un peisaj vast de biblioteci, framework-uri și instrumente software Python. Servește drept bază de cunoștințe centralizată concepută pentru a facilita navigarea în ecosistem și a accelera descoperirea de către dezvoltatori pe parcursul întregului ciclu de viață al dezvoltării software. Directorul se distinge prin furnizarea unui index structurat de resurse categorisite pe domeniu tehnic, variind de la utilitare fundamentale de dezvoltare la domenii de inginerie specializate. Acoperă capabilități de nivel înalt, inclusiv inteligență artificială, știința datelor, dezvoltare web și gestionarea infrastructurii, permițând dezvoltatorilor să identifice soluții verificate pentru provocări tehnice specifice. Proiectul cuprinde o suprafață largă de capabilități, inclusiv instrumente pentru gestionarea dependențelor, analiza statică a codului și testarea automatizată. De asemenea, cataloghează resurse pentru stocarea persistentă a datelor, orchestrarea infrastructurii cloud și dezvoltarea interfețelor, oferind o referință unificată pentru construirea și menținerea sistemelor software complexe.
Boost system performance by memoizing frequently accessed data within memory-efficient storage structures.
Kernel-ul Linux este un nucleu de sistem de operare monolitic care gestionează resursele hardware, memoria și programarea proceselor pe diverse arhitecturi de calcul. Oferă un mediu standardizat, compatibil POSIX, pentru execuția aplicațiilor, menținând în același timp un framework modular de drivere care permite încărcarea și eliminarea dinamică a interfețelor hardware. Proiectul se distinge prin setul său de instrumente de concurență de înaltă performanță, care utilizează primitive de sincronizare fără blocare și mecanisme de tip read-copy-update pentru a gestiona accesul la date partajate în medii multi-core. Încorporează o suită cuprinzătoare de urmărire și instrumentare a kernel-ului care permite monitorizarea neintruzivă a evenimentelor de sistem, execuția funcțiilor și metricile de latență. Mai mult, kernel-ul impune garanții stricte de stabilitate a interfeței și urmărirea ciclului de viață pentru a asigura compatibilitatea inversă pentru aplicațiile dependente. Dincolo de identitatea sa de bază, sistemul include capabilități extinse pentru abstractizarea hardware, implementarea protocoalelor de rețea și aplicarea politicilor de securitate. Suportă cerințe de inginerie specializate prin gestionarea stării de alimentare, optimizări pentru sisteme embedded și procese de boot bazate pe firmware. Arhitectura dispune, de asemenea, de framework-uri de diagnosticare robuste pentru analiza memoriei, verificarea execuției sistemului și validarea modelelor de programare concurentă. Repository-ul sursă oferă un sistem complet de build pentru transformarea codului în imagini binare executabile, incluzând instrumente pentru selectarea funcționalităților kernel-ului și optimizarea configurației pentru a adapta output-ul la cerințe hardware specifice.
Manages filesystem operations to provide consistent data access and storage organization across physical media.
Acest proiect servește drept repository centralizat, condus de comunitate, de cunoștințe tehnice și resurse administrative. Oferă o taxonomie structurată care agregă informații disparate într-un framework căutabil, susținând învățarea continuă și rezolvarea rapidă a problemelor pentru administratorii de sistem și practicienii în securitate cibernetică. Prin maparea resurselor pe securitate ofensivă, gestionarea infrastructurii și dezvoltarea software, oferă o cale unificată pentru dobândirea de competențe și referințe profesionale. Proiectul este definit de o filozofie de design bazată pe linia de comandă, prioritizând utilitarele bazate pe terminal și interfețele scriptabile pentru a facilita administrarea eficientă a sistemului și fluxurile de lucru de securitate repetabile. Se distinge printr-o abordare agnostică față de platformă, menținând documentație și ghiduri operaționale care rămân aplicabile în diverse medii de tip Unix și bazate pe cloud. Această integrare modulară a setului de instrumente permite utilizatorilor să compună medii personalizate adaptate sarcinilor administrative sau de securitate specifice. Repository-ul acoperă o suprafață largă de capabilități, inclusiv seturi de instrumente cuprinzătoare pentru auditarea sistemului, gestionarea rețelei și întărirea infrastructurii. Oferă căi de învățare structurate pentru dezvoltarea competențelor în securitate cibernetică, variind de la laboratoare de hacking etic și standarde de testare a penetrării până la evaluarea vulnerabilităților și cele mai bune practici de configurare a sistemului. Colecția cuprinde, de asemenea, o gamă largă de instrumente de productivitate, utilitare de diagnosticare și materiale educaționale concepute pentru a eficientiza mentenanța de rutină și a îmbunătăți postura generală de securitate.
Navigate and manage file systems through terminal-based interfaces that simplify directory operations.
ECC este un framework de orchestrare a agenților LLM și o suită de instrumente AI cross-platform concepută pentru a coordona fluxuri de lucru cu mai multe modele. Oferă un sistem pentru gestionarea rolurilor specializate ale agenților, abilităților reutilizabile și planificării structurate pentru a executa sarcini complexe de dezvoltare software în diferite editoare de cod bazate pe AI. Proiectul se distinge ca un manager de protocol de context al modelului (Model Context Protocol), oferind un strat de configurare pentru a integra servere externe și a audita execuția instrumentelor. Implementează, de asemenea, un sandbox de securitate agentic care restricționează accesul la fișiere sensibile și scanează pentru scurgeri de secrete pentru a securiza fluxurile de lucru autonome. Framework-ul acoperă domenii largi de capabilități, inclusiv automatizarea fluxului de lucru de codare AI cu bariere de protecție pentru dezvoltarea bazată pe teste (TDD), optimizarea costurilor modelului prin rutare inteligentă și gestionarea memoriei izolate de stare. Include, de asemenea, instrumente pentru impunerea standardelor de codare specifice limbajului și gestionarea comportamentelor agenților în diverse medii de dezvoltare integrate. Sistemul este gestionat printr-o interfață de linie de comandă care se ocupă de instalarea instrumentelor, repararea configurației și implementarea presetărilor de instrumente.
Manages the persistent storage of session summaries and learned skills under configurable root directories.
AutoGPT is an orchestration platform designed for building, managing, and deploying autonomous agents. It provides a visual canvas-based environment where users can assemble agents by connecting modular blocks that represent actions, data flows, and conditional logic. The platform supports the entire agent lifecycle, including task scheduling, execution monitoring, and configuration management, while offering a marketplace for discovering and sharing community-built workflows. The project includes a legacy framework for command-line agent execution and an extensible component system for devel
Enables persistent file system interactions including directory navigation, reading, and writing with configurable storage paths.
LangChain is an orchestration framework designed for building, managing, and deploying applications powered by large language models. It provides a unified integration layer that normalizes disparate model provider APIs into a consistent set of primitives, enabling developers to build complex, multi-step AI workflows that manage state, memory, and tool execution. The project distinguishes itself through a durable execution runtime that maintains persistent state across long-running processes by checkpointing progress to external storage. It models agent workflows as directed graphs, allowing
Organize directory hierarchies to manage machine-specific state and persistent application data effectively.
30-seconds-of-code is a comprehensive knowledge base and programming snippet library designed to support software engineering education and professional development. It provides a curated collection of reusable code units and technical guides that help developers master core language mechanics, design patterns, and architectural philosophies. The project distinguishes itself by offering a wide-ranging library of algorithmic solutions and web development patterns that are organized into modular, independently testable units. It emphasizes functional programming paradigms and declarative logic,
Provides tools for serializing and persisting data to the local file system.
This project is a virtual whiteboard component and vector graphics editor designed for creating diagrams with a hand-drawn aesthetic. It provides a canvas-based drawing engine that can be embedded directly into web applications, allowing users to manipulate shapes, upload images, and export visual data into standard formats like PNG, SVG, or JSON. The platform distinguishes itself through a real-time synchronization layer that supports multi-user collaboration across distributed environments. This engine utilizes end-to-end encryption to secure shared sessions and employs a local-first data p
Leverages browser-based storage to maintain application state locally, ensuring data availability and persistence even during offline operation.
Kubernetes is a distributed container orchestration platform that automates the deployment, scaling, and management of containerized applications across clusters of computing nodes. It functions as a declarative infrastructure controller, utilizing a control loop architecture that continuously monitors the current system state against user-defined configurations to ensure desired operational outcomes. The system relies on a centralized API-driven interface and a replicated key-value store to maintain a consistent source of truth for all cluster objects. The platform distinguishes itself throu
Maintains a consistent, replicated data store that serves as the reliable source of truth for distributed system states.
Immich is a self-hosted media management platform designed to provide a centralized, private repository for photos and videos. It functions as a comprehensive system for organizing, backing up, and viewing personal media collections across mobile devices, web browsers, and external storage locations. By maintaining full control over data ownership and storage infrastructure, the platform ensures that users retain sovereignty over their digital assets. The system distinguishes itself through a distributed architecture that coordinates background media synchronization, real-time filesystem moni
Mounts external storage volumes to provide containerized services with the necessary filesystem access for indexing media libraries.
PyTorch is a machine learning framework centered on a GPU-ready tensor library that supports multi-dimensional array operations across both CPU and accelerator hardware. It provides a foundational infrastructure for mathematical computation and dynamic neural network construction, utilizing a tape-based automatic differentiation system that allows for flexible, non-static graph execution. The framework is designed for deep integration with Python, enabling natural usage alongside standard scientific computing ecosystems. It distinguishes itself through a comprehensive distributed training sui
Persists tensors and complex data structures to disk through native loading and saving mechanisms.
NextChat is a self-hosted web application that provides a unified interface for interacting with multiple large language models. It functions as a conversational platform where users can manage and switch between diverse AI providers through configurable API backends, maintaining full control over their data and infrastructure. The platform features a persistent session layer designed to handle long-running dialogues by managing message history and context. It distinguishes itself through a structured prompt engineering environment that allows for the development and application of templates
Utilizes browser-based storage to maintain chat logs and user preferences for offline access.
This project is an enterprise-grade Java framework designed for building scalable, full-stack e-commerce applications. It provides a comprehensive foundation for microservice-based distributed architectures, enabling the development of complex retail platforms that include product management, order processing, and secure user authentication. By leveraging modular service patterns and centralized API gateways, the framework supports the construction of resilient systems that decompose monolithic business logic into independent, manageable services. The platform distinguishes itself through a r
Executes administrative tasks for object storage buckets, file transfers, and policy configurations directly through a terminal interface.
Netdata is a real-time infrastructure monitoring tool and multi-node observability platform. It functions as a high-resolution monitoring agent, log and metric aggregator, and time-series database designed to provide full-stack visibility into server health. The system is distinguished by its per-second metric sampling and zero-configuration auto-discovery, which allows for immediate infrastructure tracking upon installation. It utilizes edge-based machine learning and unsupervised models to detect system anomalies and abnormal metric patterns locally on each node. For distributed environment
Provides an efficient time-series database optimized for rapid retrieval and analysis of collected metrics.
Netdata is a distributed observability platform designed for real-time infrastructure monitoring and performance tracking. It functions as a high-frequency agent that collects system, container, and application metrics with per-second precision, providing both local visualization and centralized aggregation across complex, multi-cloud environments. The platform distinguishes itself through edge-based intelligence, utilizing local machine learning models to automatically detect performance anomalies without requiring manual configuration or external query engines. Its architecture prioritizes
Persists high-resolution telemetry data directly on the host filesystem to ensure continuous availability during network outages.
This project is a comprehensive Java backend engineering guide and technical reference focused on high-concurrency design, distributed systems, and microservices architecture. It provides detailed strategies for decomposing monolithic applications, managing service discovery, and implementing the architectural patterns required for scalable backend environments. The repository distinguishes itself through an extensive collection of big data algorithmic references and database scaling strategies. It covers memory-efficient techniques for analyzing massive datasets, such as Top-K element extrac
Implements inverted index engines to map keywords to document identifiers for rapid distributed full-text search.
OpenHands is an autonomous agent framework designed for software engineering workflows. It provides a modular platform for orchestrating AI agents that reason, plan, and execute tasks within isolated, containerized development environments. By integrating with standard version control and development tools, the system enables agents to autonomously navigate codebases, implement features, and resolve issues through iterative reasoning and tool execution. The platform distinguishes itself through a model-agnostic orchestrator that connects diverse language models to a unified tool registry. It
Store conversation history in structured directory formats with sequentially indexed event files for granular data access.
Elasticsearch is a distributed search engine and document store designed for the high-performance indexing and retrieval of massive volumes of unstructured data. It functions as a centralized analytics platform, providing a schema-flexible architecture that organizes information into searchable indices while maintaining global cluster state through a distributed consensus mechanism. The platform distinguishes itself through its integrated approach to observability, security, and advanced analytics. It combines full-text, vector, and hybrid search capabilities with machine learning-driven insi
Organizes schema-flexible data into searchable documents across distributed storage environments.
This project is a community-maintained, open-access directory of high-quality public datasets. It serves as a centralized reference point for researchers, developers, and data scientists to locate reliable information sources across a wide spectrum of industries and scientific fields. By providing a structured index, the repository facilitates the discovery of data necessary for exploratory analysis, machine learning model training, and the development of data-intensive applications. The directory distinguishes itself through a lightweight, platform-agnostic approach to resource indexing that
Presents datasets related to global transportation systems, including traffic, logistics, and transit data.