14 Repos
Processes for converting data between different underlying database engines.
Distinct from Database Type Support: Focuses on migrating between different database engines (e.g., SQLite to PostgreSQL) rather than handling internal column types.
Explore 14 awesome GitHub repositories matching data & databases · Database Engine Migrations. Refine with filters or upvote what's useful.
all-in-one is a containerized deployment system designed to install and manage a complete suite of productivity and collaboration services. It functions as a cloud suite deployer that orchestrates the installation of a self-hosted content platform, incorporating necessary dependencies via Docker or Kubernetes. The project distinguishes itself by providing a web-based dashboard for orchestrating, updating, and monitoring the lifecycle of service containers. It also serves as a local AI inference server, enabling the execution of generative text models, image diffusion, and speech processing on
Enables changing the underlying database engine to support different storage or performance requirements.
This project is a self-hosted recipe manager designed for organizing digital libraries, planning meals, and generating shopping lists. It serves as a central hub for recipe collection management, providing tools to store, categorize, and share recipes within a collaborative kitchen workflow. The system distinguishes itself through an AI-powered importer that extracts structured ingredients and instructions from images, PDFs, and websites. It further integrates with home automation environments as a containerized add-on and supports S3-compatible object storage for managing media files. The s
Migrates recipe data from a file-based database to a relational database for improved performance.
pgroll is a PostgreSQL migration framework designed for zero-downtime schema changes. It applies non-blocking DDL operations that avoid exclusive locks on tables, and uses trigger-based column backfill to populate new columns while keeping them synchronized with old ones. The framework wraps each migration step in a database transaction that can be atomically committed or rolled back, and creates a versioned view layer that exposes both old and new schema versions simultaneously to client applications. The tool distinguishes itself by managing multiple schema versions via views, enabling safe
Migrates PostgreSQL schemas without downtime, keeping old and new versions accessible.
pgloader is a command-line tool that automates the migration of data and schema from various source databases and file formats into PostgreSQL. It combines schema discovery, parallel data pipelines, and type casting into a single, declarative workflow, using PostgreSQL's COPY protocol for high-throughput bulk loading. The tool distinguishes itself by compiling a dedicated command language into concurrent reader-writer pipelines that handle schema introspection, data transformation, and error-resilient batch processing. It supports migrating entire databases from MySQL, MS SQL, SQLite, and Pos
Migrates complete PostgreSQL databases between servers with all objects.
GreptimeDB is a distributed, open-source time-series database built for unified observability. It stores and queries metrics, logs, and traces together in a single columnar engine, supporting both SQL and PromQL for analysis. The database is designed as a Kubernetes-native operator with a decoupled compute and storage architecture, enabling horizontal scaling and multi-region deployment. What distinguishes GreptimeDB is its role as a multi-protocol ingestion gateway, accepting data through OpenTelemetry, Prometheus Remote Write, InfluxDB, Loki, Elasticsearch, Kafka, and MQTT protocols without
GreptimeDB writes data to both GreptimeDB and PostgreSQL at the same time to prevent data loss during the migration window.
Meet Genius
Provides type-safe database access with Prisma ORM and auto-generated PostgreSQL migrations.
pg is a PostgreSQL object-relational mapper (ORM) for Go that maps Go structs to database tables and provides a fluent query builder for constructing SQL statements programmatically. At its core, it automatically generates CREATE TABLE statements from Go struct definitions using struct tags and naming conventions, and builds queries through method chaining with placeholder-based parameter binding to prevent SQL injection. The library distinguishes itself through relation-aware join generation that automatically constructs JOIN clauses for has-one, has-many, many-to-many, and polymorphic assoc
Applies schema changes with advisory locking for zero-downtime deployments.
Epic Stack ist ein Full-Stack-Anwendungs-Boilerplate und ein TypeScript-Web-Framework, das für den Start produktionsreifer Webanwendungen konzipiert ist. Es dient als Node.js-Backend-Starter und als Grundlage für den Aufbau skalierbarer Frontend- und Backend-Dienste. Das Projekt bietet eine vorkonfigurierte Umgebung für Full-Stack-Web-Bootstrapping, wobei der Fokus auf einem modernen Entwicklungs-Workflow liegt, der Frontend-, Backend- und Datenbankkonfiguration integriert. Es enthält eine Frontend-Komponentenbibliothek für die Erstellung konsistenter und responsiver Benutzeroberflächen. Der Stack erleichtert das schnelle Prototyping von Anwendungen und das Deployment in die Produktion durch eine integrierte Reihe von Tools. Dies umfasst serverseitiges Rendering, relationale Speicherung, eine typsichere ORM-Schicht und Utility-basiertes Styling.
Ships a type-safe ORM layer using Prisma for database schema management and migrations.
Buildbot ist ein auf Python basierendes Continuous-Integration-Framework und ein verteilter Build-Orchestrator. Es fungiert als Build-Automatisierungs-Engine, die das Abrufen von Quellcode, die Ausführung von Build-Schritten und die Berichterstattung über Ergebnisse über einen zentralen Controller und ein Netzwerk aus Remote-Worker-Agents koordiniert. Das System zeichnet sich durch eine plugin-basierte Erweiterbarkeitsarchitektur und ein Master-Worker-Verteilungsmodell aus. Es ermöglicht dynamische Build-Anpassungen zur Laufzeit und unterstützt ein austauschbares Datenbank-Backend zur Persistierung des Systemzustands und historischer Build-Daten. Das Projekt deckt ein breites Spektrum an Funktionen ab, darunter automatisierte Build-Planung und Pipeline-Orchestrierung, Versionskontrollintegration via Polling und Webhooks sowie die Bereitstellung von Workern auf physischen Servern, Docker-Containern und Kubernetes-Clustern. Zudem bietet es umfassende Überwachung und Observability durch Build-Log-Analyse und Performance-Tracking sowie sicheres Secret-Management und Multi-Provider-Authentifizierung. Die administrative Steuerung erfolgt über eine dedizierte Weboberfläche und Befehlszeilenwerkzeuge zur Konfigurationsvalidierung und Prozessverwaltung.
Provides tools to migrate build data between different database engines while managing constraint failures.
Waterline ist eine adapterbasierte Datenbankbibliothek und ein Object-Relational-Mapper für Node.js. Sie dient als Multi-Datenbank-Persistenzschicht, die Standard-Methodenaufrufe in spezifische Abfragen für SQL- und NoSQL-Datenbanken übersetzt. Die Bibliothek bietet eine einheitliche Schnittstelle zur Verwaltung von Daten über verschiedene Speicher hinweg, darunter MySQL, PostgreSQL, MongoDB und Microsoft SQL Server. Diese Architektur ermöglicht die Integration mehrerer Datenbank-Backends innerhalb einer einzigen Anwendung und erleichtert den Wechsel des Datenbankanbieters durch den Austausch von Adaptern, ohne die Geschäftslogik ändern zu müssen. Das Projekt deckt relationale und dokumentenbasierte Mappings ab und bietet eine konsistente Syntax zum Speichern und Abrufen von Daten. Es nutzt schema-gesteuertes Object-Mapping, um die Lücke zwischen Datenbanktabellen oder -sammlungen und JavaScript-Objekten zu schließen.
Facilitates switching between different database engines by changing adapters without altering the core business logic.
Strong Migrations ist ein PostgreSQL-Migrations-Sicherheitstool, das darauf ausgelegt ist, Produktionsausfälle durch das Erkennen und Blockieren riskanter Schema-Änderungen zu verhindern. Es dient als Schema-Validator, der gefährliche Datenbankoperationen identifiziert und sichere Alternativen vorschlägt, um Zero-Downtime-Deployments zu gewährleisten. Das Projekt zeichnet sich dadurch aus, dass es als Datenbank-Lock-Manager und Index-Optimierer fungiert. Es verwaltet Statement-Timeouts und implementiert eine automatische Retry-Logik für Lock-Timeouts, um Datenbanküberlastungen zu vermeiden. Zudem bietet es Dienstprogramme zur Bereinigung ungültiger paralleler Indizes und zur Aktualisierung von Tabellenstatistiken nach Schema-Änderungen, um die Leistung des Query-Planners aufrechtzuerhalten. Das Tool deckt eine breite Palette an Datenbankmanagement-Funktionen ab, einschließlich Sicherheitsvalidierung mit anpassbaren Regeln, automatisierter Migrationsmuster und struktureller Schema-Organisation wie Spalten-Alphabetisierung. Es verwendet versionsbewusste Validierung, um Sicherheitsprüfungen an die spezifischen Funktionen der Ziel-Datenbank-Engine anzupassen.
Prevents production outages by detecting and blocking risky schema changes that could lock tables.
java-tron ist eine Java-Implementierung eines Tron-Blockchain-Full-Nodes. Es bietet die Kerninfrastruktur für den Betrieb eines Netzwerkknotens, die Validierung von Transaktionen und die Erstellung von Blöcken. Das Projekt enthält eine Proof-of-Stake-Konsens-Engine, eine verteilte Ledger-Datenbank und eine Smart-Contract-Runtime zur Verwaltung von On-Chain-Zustandsübergängen. Das System zeichnet sich durch die Unterstützung von Full- und Lite-Node-Operationen aus und nutzt State-Snapshots, um die Synchronisierung zu beschleunigen und Hardwareanforderungen zu reduzieren. Es verfügt über eine Multi-Engine-Datenbankabstraktion, die Speicher-Migration, Partitionierung und Pruning über verschiedene physische Festplatten hinweg ermöglicht, um die Performance zu optimieren. Die Software deckt ein breites Spektrum an Blockchain-Funktionen ab, einschließlich digitalem Asset-Management, Netzwerk-Governance durch Repräsentantenwahlen und die Ausführung programmierbarer Logik via Virtual Machine. Sie stellt Blockchain-Daten und -Funktionen über ein Gateway bereit, das HTTP-, gRPC- und JSON-RPC-Protokolle unterstützt. Das Projekt bietet Tools zur Initialisierung von Netzwerkknoten, zur Bereitstellung privater Blockchain-Umgebungen und zur Verwaltung verschlüsselter Account-Keystores.
Converts data between different database engines to maintain compatibility with system updates.
Ever Gauzy is an integrated business management suite providing an ERP and CRM framework for professional services automation. It functions as a multi-tenant SaaS platform that combines time tracking, billing, and human resource management into a unified system. The project is distinguished by its headless architecture, utilizing a REST and GraphQL API gateway to expose business operations. It features a Model Context Protocol server that allows AI assistants to interact with system data and execute functional tools for automated business workflows. The platform covers a broad operational su
Supports moving existing data from local databases to production-grade relational databases for scalability.
pgeasyreplicate ist ein Kommandozeilen-Dienstprogramm zur Orchestrierung von Datenbankmigrationen und logischer Replikation zwischen PostgreSQL-Instanzen. Es fungiert als Migrations-Orchestrator, der den gesamten Lebenszyklus der Datensynchronisierung verwaltet, von der anfänglichen Schema-Propagierung bis zum finalen Übergang des Anwendungs-Traffics. Das Tool zeichnet sich durch zustandsbewusste Switchover-Logik aus, die die Bewegung von Operationen koordiniert, indem sie die Replikationsverzögerung überprüft und Schreibsperren erzwingt, um Datenverlust zu verhindern. Es bietet granulare Kontrolle über die Datenbewegung, indem es Benutzern erlaubt, Tabellen in spezifischen Replikationsgruppen zu organisieren, wodurch sichergestellt wird, dass nur beabsichtigte Datensätze zwischen Quell- und Zielumgebungen synchronisiert werden. Über die Kern-Migrationsaufgaben hinaus enthält das Projekt umfassende Überwachungsfunktionen zur Verfolgung der Synchronisierungsgesundheit und Replikationsverzögerung in Echtzeit. Es unterstützt die Integration mit externen Systemen durch das Senden von Status-Updates und Replikationsmetriken an konfigurierte Webhook-Endpunkte, was eine automatisierte Observability innerhalb bestehender Infrastruktur-Workflows erleichtert.
Moves data and schema between PostgreSQL instances while keeping systems synchronized for a seamless transition.