pudo/dataset
Dataset
Ce projet est une couche d'accès aux données SQL et un générateur de schéma qui permet de lire et d'écrire des enregistrements dans des bases de données relationnelles en traitant les tables comme de simples structures de données. Il fonctionne comme un générateur de schéma automatique qui crée des tables et des colonnes de base de données à la volée en fonction de la structure des données entrantes.
L'outil fournit un chargeur en masse haute performance qui importe de grands jeux de données en utilisant des transactions atomiques groupées pour garantir la cohérence des données. Il inclut également un mécanisme d'upsert d'enregistrement qui détermine s'il faut mettre à jour une ligne existante ou en insérer une nouvelle en fonction d'identifiants uniques.
Le système couvre la gestion dynamique des schémas, incluant la résolution implicite des colonnes et le provisionnement des tables. Il fournit en outre une interface de requête basée sur des collections pour récupérer des enregistrements ou extraire des valeurs uniques sans écrire de requêtes manuelles.
Features
- Dynamic Column Resolutions - Detects new fields in incoming data and modifies the database schema to accommodate them without manual migrations.
- SQL Data Access Layers - Read and write records by treating tables as simple data structures instead of writing manual queries.
- Dynamic Schema Evolution - Automatically creating and updating database tables and columns on the fly based on the structure of incoming data.
- SQL Translation Layers - Provides a translation layer that allows records to be read and written by treating database tables as simple data structures.
- Schema-on-Write Generators - Create tables and columns automatically when writing data to a destination that does not yet exist.
- Bulk Data Loading - Efficiently importing large sets of records into a database using bulk loading and transaction support.
- Collection Querying - Wraps SQL SELECT statements in simplified methods to retrieve full tables or unique column values.
- Data Abstraction Layers - Maps database rows to simple data structures to allow record manipulation without writing manual SQL queries.
- Upsert Operations - Implements a mechanism to update existing rows or insert new ones based on the presence of unique identifiers.
- On-the-Fly Table Creations - Automatically creates database tables and columns based on the structure of the data being inserted at runtime.
- Dynamic Column Provisioning - Automatically generates and modifies database tables and columns on the fly based on the structure of the incoming data.
- Dynamic Column Resolution - A tool that creates SQL tables and columns on the fly based on the structure of the data being written.
- Upsert Operations - Update existing rows or insert new ones based on whether a matching record exists in the table.
- Bulk Loaders - Groups multiple data insertions into a single atomic transaction to increase write throughput and ensure data consistency.
- Transactional Updates - Groups multiple data insertions into a single transaction to increase write performance and ensure atomic updates.
- Database Transaction Wrappers - Wraps multiple database operations into atomic transactions to ensure data consistency and increase write performance during bulk loading.
- Upsert Operations - Checks for existing records using unique identifiers to determine whether to update a row or insert a new one.
- Database Clients - Data handling for SQL stores.
- Database ORMs - Listed in the “Database ORMs” section of the Awesome Python awesome list.
- Database Tools - JSON-like interface for working with SQL databases.
- Object Relational Mappers - Stores Python dicts in relational databases.
- ORM Frameworks - Stores dictionaries in databases.
