1 个仓库
Generates SQL statements in chunks to optimize memory and avoid database packet size limits.
Distinct from Batch Statement Execution: Distinct from Batch Statement Execution: focuses on the generation of the batch rather than the sequential execution of an existing string.
Explore 1 awesome GitHub repository matching data & databases · Batch Statement Generation. Refine with filters or upvote what's useful.
ActiveRecord Import 是一个用于通过单条或批量查询将大型数据集插入数据库的库。它作为一个批量数据导入器和 SQL 批量插入工具,旨在最大限度地减少查询开销并提高写入性能。 该项目包含一个 Upsert 引擎,通过更新现有记录或忽略重复项来处理唯一约束冲突。它还具有递归关联导入器,允许在单次操作中插入父记录及其嵌套的子关联。 该库提供了一个预插入验证层,用于在提交数据前验证记录有效性并报告失败。它通过将数据集拆分为批次来管理大规模数据迁移,以控制内存使用并避免数据库包大小限制。 该工具提供包含成功计数和记录标识符的结果摘要,以及用于数据批次的进度跟踪。
Chunks large datasets into smaller groups to prevent database packet size errors and manage memory usage.