10 Repos
Mechanisms for saving in-memory data to non-volatile storage for recovery and capacity management.
Distinct from Disk Persistence: Candidates focus on specific data structures or cache eviction; a general persistence capability is needed.
Explore 10 awesome GitHub repositories matching data & databases · Disk Persistence. Refine with filters or upvote what's useful.
This project is a comprehensive collection of Python programming education materials, including tutorials, exercises, and curated code samples. It serves as a learning curriculum and software engineering toolkit, utilizing Jupyter Notebooks to combine executable code with descriptive educational text. The repository provides practical implementation guides for building large language model applications, such as retrieval-augmented generation systems, stateful AI agents, and machine learning workflows. It distinguishes itself by offering a structured approach to agentic coding workflows, cover
Ships mechanisms to save project plans and agent memories into persistent files for use across different sessions.
Ignite ist eine verteilte In-Memory-Daten-Grid- und Rechenplattform. Es fungiert als verteilte SQL-Datenbank und Speicher-Engine, die entwickelt wurde, um große Datensätze im RAM zu speichern und zu verarbeiten, um Latenzzeiten zu minimieren und die Berechnungsgeschwindigkeit zu erhöhen. Das System zeichnet sich durch eine mehrstufige Speicher-Engine aus, die die Datenplatzierung über Speicher und Festplatte verwaltet, um Hochgeschwindigkeitszugriff mit großer Kapazität in Einklang zu bringen. Es verfügt über ein verteiltes Rechen-Grid, das benutzerdefinierte Logik direkt auf den Knoten ausführt, auf denen sich die Daten befinden, um den Netzwerkverkehr zu reduzieren. Die Plattform bietet ein breites Spektrum an Funktionen, einschließlich ACID-Transaktionsmanagement, Standard-SQL-Abfragen und Key-Value-Operationen. Sie unterstützt die Aufnahme großer Datenmengen über reaktive Streams und bietet Integration durch mehrere Programmiersprachen, Standard-Datenbanktreiber und eine REST-API. Das System kann als verteilter Cluster mithilfe von Containern bereitgestellt oder über Kubernetes orchestriert werden. Das Projekt ist in Java geschrieben und kann über Binärarchive installiert werden.
Saves data to a distributed disk store to ensure recovery and handle datasets exceeding physical memory.
Chronos ist ein LLM-Software-Engineering-Agent und ein Repository-skalierbares Debugging-Modell, das für die autonome Fehlerbehebung entwickelt wurde. Das System fungiert als automatisiertes Fehlerbehebungssystem, das Defekte lokalisiert, Ursachen analysiert und validierte Multi-File-Patches implementiert. Das Projekt zeichnet sich durch eine graphgesteuerte Abruf-Engine aus, die einen persistenten Speichergraph verwendet, um Aufrufbeziehungen und Datenflüsse über große Repositories hinweg zu navigieren. Es verwendet einen persistenten Debugging-Workflow, der eine Historie von Commits und Protokollen indiziert, um Muster zu erkennen und das Wiederholen früherer Fehler über iterative Debugging-Zyklen hinweg zu vermeiden. Das System deckt die Ursachenanalyse durch kausale Trace-Lokalisierung und logikbasiertes Fehler-Tracing über mehrere Dateien hinweg ab. Es bietet zudem eine autonome Code-Reparatur durch das Synthetisieren von Patches und deren Validierung innerhalb einer iterativen Sandbox-Umgebung. Die Repository-Intelligenz wird über kontextuellen Multi-Hop-Abruf und die Multi-Source-Aufnahme von Protokollen und Traces gehandhabt. Das System bietet Transparenz bei den Argumentationsschritten und generiert automatisierte Debug-Dokumentationen, einschließlich Risikobewertungen und Begründungen für jede angewendete Korrektur.
Maintains a graph-indexed history of commits and logs to retain lessons learned and avoid repeating mistakes.
notion-py is a Python library that serves as an unofficial API client for interacting with Notion pages and databases. It functions as an object-relational mapper that translates Notion database tables and blocks into Python classes for structured data management. The project features a reactive synchronization layer that uses long-polling and callbacks to keep local Python objects updated with remote changes. It includes a thread-safe local data cache with disk persistence to reduce network requests and a converter for transforming Markdown text into formatted Notion content blocks and rich
Provides a thread-safe local data cache with disk persistence to reduce network requests and improve access speed.
Kvrocks is a distributed key-value store and Redis-compatible NoSQL database. It utilizes a RocksDB storage engine to provide disk-based persistence, allowing for high-capacity data storage with reduced memory costs compared to in-memory systems. The system functions as a vector database and full-text search engine, supporting nearest-neighbor searches on vector embeddings and complex document queries via text matching. It employs a proxyless cluster architecture with slot-based routing to distribute data and scale capacity across multiple nodes. The platform covers a wide range of data mana
Implements disk-based persistence to allow high-capacity data storage beyond the limits of physical memory.
Docker-Proxy ist ein selbstgehosteter Dienst für das Caching und Spiegeln von Container-Images. Er fungiert als Registry-bewusster Reverse-Proxy, der Anfragen an Remote-Registries abfängt und Image-Layer auf lokalen Festplatten speichert, um die Abrufgeschwindigkeit zu erhöhen und die Abhängigkeit von der Stabilität externer Netzwerke zu verringern. Der Dienst umfasst eine webbasierte Verwaltungsoberfläche zum Suchen gespiegelter Images und zur Überwachung des Servicestatus. Er unterstützt eine anmeldebasierte Authentifizierung, um auf private Images zuzugreifen und die von Remote-Anbietern auferlegten Ratenbegrenzungen für anonyme Pulls zu umgehen. Der Proxy verwaltet den Traffic durch Domain-Mapping und Sicherheitszertifikate und bietet gleichzeitig Kontrollen für Cache-Eviction und IP-Zugriffsbeschränkungen. Der Speicher kann so konfiguriert werden, dass er auf dem lokalen Dateisystem persistiert oder im flüchtigen Speicher verbleibt. Das Projekt unterstützt containerisiertes Deployment für ein optimiertes Self-Hosting.
Provides local disk persistence for storing mirrored container image layers.
OpenSquilla ist ein LLM-Agent-Orchestration-Framework zur Koordination mehrstufiger KI-Workflows und Tool-Ausführungen mittels gerichteter azyklischer Graphen. Es fungiert als zentrales System zur Verwaltung spezialisierter Skill-Pakete und zur Ausführung komplexer Reasoning-Sequenzen. Das Projekt zeichnet sich durch ein Routing-Gateway aus, das Aufgaben basierend auf Komplexität, Kosten und Performance an verschiedene KI-Anbieter weiterleitet. Es nutzt ein mehrstufiges KI-Gedächtnissystem, das Arbeits-, episodisches und semantisches Wissen mittels lokaler Embeddings und SQLite organisiert, sowie eine sichere Ausführungsumgebung (Sandbox), die Agent-generierten Code über risikobasierte Berechtigungsprofile isoliert. Die Plattform deckt ein breites Spektrum an Funktionen ab, einschließlich Multi-Channel-Deployment für Web- und Messaging-Plattformen, automatisierter Aufgabenplanung via Cron und einer Model Context Protocol-Bridge zur Anbindung externer Tools. Zudem bietet sie umfassende Monitoring- und Observability-Tools zur Verfolgung von Token-Kosten, zum Auditing von Laufzeitentscheidungen und zur Verwaltung eines Katalogs wiederverwendbarer Skills. Das System enthält CLI-Utilities für die Workspace-Initialisierung und das Skill-Lifecycle-Management.
Saves and retrieves agent state and project memories to non-volatile storage for cross-session continuity.
Dieses Projekt ist ein Multi-Channel-KI-Agent- und Chatbot-Framework, das es ermöglicht, eine einzige KI-Intelligenz über verschiedene Messaging-Plattformen, Web-Interfaces und E-Mail-Konten hinweg bereitzustellen. Es fungiert als Cross-Model-KI-Gateway und bietet ein einheitliches Interface, um Requests zwischen verschiedenen Large-Language-Model-Anbietern weiterzuleiten. Das System zeichnet sich durch seine autonomen Aufgabenplanungs- und Wissensmanagementfunktionen aus. Es kann komplexe Ziele in sequentielle Ausführungsschritte unter Verwendung externer Tools und eines Headless-Browsers zerlegen, während es gleichzeitig Informationen aus Konversationen extrahiert, um eine strukturierte Wissensdatenbank mit visuellen Beziehungsdiagrammen aufzubauen. Die Plattform enthält ein mehrstufiges Gedächtnissystem für den Langzeit-Kontextabruf, eine dynamische Skill-Plugin-Engine zur Erweiterung der Funktionalität und die Fähigkeit, Remote-Systembefehle auszuführen. Sie unterstützt zudem multimodale Workflows, die den Austausch von Bildern, Sprachnachrichten und Dateien über verschiedene Kommunikationskanäle hinweg ermöglichen. Die Instanz kann über eine Web-Konsole, ein Terminal-basiertes Befehlsinterface oder via In-Chat-Slash-Befehle verwaltet werden.
Uses keyword and vector retrieval to persist important information and ensure context continuity.
Kùzu is an embedded property graph database engine designed for high-performance analytical queries and local data management. It operates as a library within the host application process, utilizing a columnar-based storage architecture and just-in-time query compilation to execute complex graph traversals and pattern matching efficiently. By mapping database files directly into system memory, it ensures data durability and high-speed access while maintaining ACID-compliant transactional integrity. The engine distinguishes itself by integrating vector similarity search and full-text search di
Maintains graph data on disk to ensure modifications are saved and accessible after session termination.
Godis is a Redis-compatible in-memory database and distributed key-value store. It functions as a replicated data store and distributed message broker, implementing the Redis protocol to manage complex data structures in memory. The system provides a geospatial indexing engine for proximity-based queries and distance calculations. It ensures high availability and data durability through master-slave replication and write-ahead logging. The project covers a wide range of capabilities including the management of strings, hash maps, lists, and sorted sets. It supports distributed data clusterin
Persists in-memory data to non-volatile disk storage using append-only files and snapshots.