10 个仓库
Mechanisms for saving in-memory data to non-volatile storage for recovery and capacity management.
Distinct from Disk Persistence: Candidates focus on specific data structures or cache eviction; a general persistence capability is needed.
Explore 10 awesome GitHub repositories matching data & databases · Disk Persistence. Refine with filters or upvote what's useful.
本项目是一个全面的 Python 编程教育材料合集,包括教程、练习与精选代码示例。它作为一个学习课程与软件工程工具包,利用 Jupyter Notebooks 将可执行代码与描述性教育文本相结合。 该仓库提供了构建大语言模型应用的实践指南,例如检索增强生成(RAG)系统、有状态 AI 代理与机器学习工作流。它通过提供结构化的代理编码工作流脱颖而出,涵盖了上下文窗口蒸馏、与提供商无关的模型路由以及模式强制的结构化输出。 这些材料涵盖了广泛的软件工程能力,包括使用分布式任务队列的异步编程、使用 REST API 的 Web 应用开发以及数据分析工作流。它还包括用于掌握面向对象设计、实现 CI/CD 流水线以及应用专业 Linting 与格式化标准的资源。
Ships mechanisms to save project plans and agent memories into persistent files for use across different sessions.
Ignite 是一个分布式内存数据网格和计算平台。它作为一个分布式 SQL 数据库和存储引擎,旨在将大数据集存储和处理在 RAM 中,以最大限度地减少延迟并提高计算速度。 该系统以其多层存储引擎而著称,该引擎管理跨内存和磁盘的数据放置,以平衡高速访问与大容量存储。它具有一个分布式计算网格,可直接在数据所在的节点上执行自定义逻辑,从而减少网络流量。 该平台提供了一套广泛的功能,包括 ACID 事务管理、标准 SQL 查询和键值操作。它支持通过响应式流进行大容量数据摄取,并提供通过多种编程语言、标准数据库驱动程序和 REST API 的集成。该系统可以作为分布式集群部署在容器中,或通过 Kubernetes 进行编排。 该项目使用 Java 编写,可通过二进制归档文件安装。
Saves data to a distributed disk store to ensure recovery and handle datasets exceeding physical memory.
Chronos 是一个基于 LLM 的软件工程智能体和仓库级调试模型,专为自动修复 Bug 而设计。该系统作为自动化 Bug 修复系统,能够定位缺陷、分析根本原因并实施经过验证的多文件补丁。 该项目的特点是采用图引导检索引擎,利用持久化内存图来导航大型仓库中的调用关系和数据流。它采用持久化调试工作流,索引提交历史和日志以识别模式,从而在迭代调试周期中避免重复犯错。 该系统通过因果追踪定位和跨文件逻辑 Bug 追踪来涵盖根本原因分析。它进一步通过合成补丁并在迭代沙箱环境中进行验证,提供自动代码修复功能。仓库智能通过多跳上下文检索以及日志和追踪的多源摄取来处理。 该系统提供推理步骤透明度,并生成自动调试文档,包括风险评估和对每个已应用修复的理由说明。
Maintains a graph-indexed history of commits and logs to retain lessons learned and avoid repeating mistakes.
notion-py 是一个 Python 库,作为与 Notion 页面和数据库交互的非官方 API 客户端。它作为一个对象关系映射器,将 Notion 数据库表和块转换为 Python 类,以进行结构化数据管理。 该项目具有一个响应式同步层,使用长轮询和回调使本地 Python 对象与远程更改保持更新。它包括一个具有磁盘持久性的线程安全本地数据缓存,以减少网络请求,以及一个用于将 Markdown 文本转换为格式化的 Notion 内容块和富文本结构的转换器。 该库涵盖了广泛的功能,包括内容块的程序化管理、带有过滤和排序的数据库查询以及用户身份管理。它还支持将富文本序列化为 CommonMark Markdown,同时保留 LaTeX 和样式属性。
Provides a thread-safe local data cache with disk persistence to reduce network requests and improve access speed.
Kvrocks 是一个分布式键值存储和 Redis 兼容的 NoSQL 数据库。它利用 RocksDB 存储引擎提供基于磁盘的持久化,与内存系统相比,允许以更低的内存成本进行大容量数据存储。 该系统作为向量数据库和全文搜索引擎,支持对向量嵌入进行近邻搜索,并通过文本匹配进行复杂的文档查询。它采用无代理(proxyless)集群架构,通过基于槽位的路由来分发数据并在多个节点间扩展容量。 该平台涵盖了广泛的数据管理能力,包括 JSON 文档管理、时序数据和实时流处理。它通过地理空间查询、二级索引和查询计划分析提供高级搜索和索引功能,同时提供用于内存高效的基数和成员估计的概率数据草图。 其他操作特性包括原子事务、发布/订阅消息传递以及用于多租户环境的命名空间数据隔离。
Implements disk-based persistence to allow high-capacity data storage beyond the limits of physical memory.
Docker-Proxy 是一个自托管的容器镜像缓存和镜像服务。它充当注册表感知反向代理,拦截对远程注册表的请求,将镜像层存储在本地磁盘上,以加快检索速度并减少对外部网络稳定性的依赖。 该服务包含一个基于 Web 的管理界面,用于搜索镜像和监控服务状态。它支持基于凭据的认证以访问私有镜像,并绕过远程服务商施加的匿名拉取速率限制。 该代理通过域名映射和安全证书管理流量,同时提供缓存驱逐和 IP 访问限制的控制。存储可配置为持久化在本地文件系统上或保留在易失性内存中。 该项目支持容器化部署,以实现简化的自托管。
Provides local disk persistence for storing mirrored container image layers.
OpenSquilla 是一个 LLM 智能体编排框架,旨在利用有向无环图协调多步 AI 工作流和工具执行。它作为一个集中式系统,用于管理专门的技能包并执行复杂的推理序列。 该项目通过一个路由网关脱颖而出,该网关根据复杂性、成本和性能将任务定向到不同的 AI 提供商。它利用多层 AI 记忆系统,通过本地嵌入和 SQLite 组织工作、情景和语义知识,并配有一个安全执行沙盒,通过基于风险的权限配置文件隔离智能体生成的代码。 该平台涵盖了广泛的功能,包括多渠道部署到 Web 和消息平台、通过 cron 进行自动任务调度,以及用于连接外部工具的 Model Context Protocol 网桥。它还提供全面的监控和可观测性工具,用于跟踪 Token 成本、审计运行时决策以及管理可重用技能目录。 该系统包括用于工作区初始化和技能生命周期管理的命令行工具。
Saves and retrieves agent state and project memories to non-volatile storage for cross-session continuity.
本项目是一个多渠道 AI 代理和聊天机器人框架,允许将单一 AI 智能部署到各种消息平台、Web 界面和电子邮件账户中。它作为一个跨模型 AI 网关,提供统一的接口来路由不同大语言模型提供商之间的请求。 该系统以其自主任务规划和知识管理能力而著称。它可以使用外部工具和无头浏览器将复杂目标分解为顺序执行步骤,同时从对话中提取信息以构建带有可视化关系图的结构化知识库。 该平台包含用于长期上下文检索的分层记忆系统、用于扩展功能的动态技能插件引擎,以及执行远程系统命令的能力。它还支持多模态工作流,能够在不同通信渠道之间交换图像、语音消息和文件。 该实例可以通过 Web 控制台、基于终端的命令行界面或聊天中的斜杠命令进行管理。
Uses keyword and vector retrieval to persist important information and ensure context continuity.
Kùzu is an embedded property graph database engine designed for high-performance analytical queries and local data management. It operates as a library within the host application process, utilizing a columnar-based storage architecture and just-in-time query compilation to execute complex graph traversals and pattern matching efficiently. By mapping database files directly into system memory, it ensures data durability and high-speed access while maintaining ACID-compliant transactional integrity. The engine distinguishes itself by integrating vector similarity search and full-text search di
Maintains graph data on disk to ensure modifications are saved and accessible after session termination.
Godis is a Redis-compatible in-memory database and distributed key-value store. It functions as a replicated data store and distributed message broker, implementing the Redis protocol to manage complex data structures in memory. The system provides a geospatial indexing engine for proximity-based queries and distance calculations. It ensures high availability and data durability through master-slave replication and write-ahead logging. The project covers a wide range of capabilities including the management of strings, hash maps, lists, and sorted sets. It supports distributed data clusterin
Persists in-memory data to non-volatile disk storage using append-only files and snapshots.