pudo/dataset
Dataset
Dieses Projekt ist eine SQL-Datenzugriffsschicht und ein Schema-Generator, der das Lesen und Schreiben von Datensätzen in relationalen Datenbanken ermöglicht, indem Tabellen als einfache Datenstrukturen behandelt werden. Es fungiert als automatischer Schema-Generator, der Datenbanktabellen und Spalten basierend auf der Struktur der eingehenden Daten im laufenden Betrieb erstellt.
Das Tool bietet einen hochperformanten Bulk-Loader, der große Datensätze unter Verwendung gruppierter atomarer Transaktionen importiert, um Datenkonsistenz zu gewährleisten. Es enthält zudem einen Record-Upsert-Mechanismus, der basierend auf eindeutigen Identifikatoren bestimmt, ob eine bestehende Zeile aktualisiert oder eine neue eingefügt werden soll.
Das System deckt dynamisches Schema-Management ab, einschließlich impliziter Spaltenauflösung und Tabellenbereitstellung. Es bietet zudem eine sammlungsbasierte Abfrageschnittstelle zum Abrufen von Datensätzen oder Extrahieren eindeutiger Werte, ohne manuelle Abfragen schreiben zu müssen.
Features
- Dynamic Column Resolutions - Detects new fields in incoming data and modifies the database schema to accommodate them without manual migrations.
- SQL Data Access Layers - Read and write records by treating tables as simple data structures instead of writing manual queries.
- Dynamic Schema Evolution - Automatically creating and updating database tables and columns on the fly based on the structure of incoming data.
- SQL Translation Layers - Provides a translation layer that allows records to be read and written by treating database tables as simple data structures.
- Schema-on-Write Generators - Create tables and columns automatically when writing data to a destination that does not yet exist.
- Bulk Data Loading - Efficiently importing large sets of records into a database using bulk loading and transaction support.
- Collection Querying - Wraps SQL SELECT statements in simplified methods to retrieve full tables or unique column values.
- Data Abstraction Layers - Maps database rows to simple data structures to allow record manipulation without writing manual SQL queries.
- Upsert Operations - Implements a mechanism to update existing rows or insert new ones based on the presence of unique identifiers.
- On-the-Fly Table Creations - Automatically creates database tables and columns based on the structure of the data being inserted at runtime.
- Dynamic Column Provisioning - Automatically generates and modifies database tables and columns on the fly based on the structure of the incoming data.
- Dynamic Column Resolution - A tool that creates SQL tables and columns on the fly based on the structure of the data being written.
- Upsert Operations - Update existing rows or insert new ones based on whether a matching record exists in the table.
- Bulk Loaders - Groups multiple data insertions into a single atomic transaction to increase write throughput and ensure data consistency.
- Transactional Updates - Groups multiple data insertions into a single transaction to increase write performance and ensure atomic updates.
- Database Transaction Wrappers - Wraps multiple database operations into atomic transactions to ensure data consistency and increase write performance during bulk loading.
- Upsert Operations - Checks for existing records using unique identifiers to determine whether to update a row or insert a new one.
- Database Clients - Data handling for SQL stores.
- Database ORMs - Listed in the “Database ORMs” section of the Awesome Python awesome list.
- Database Tools - JSON-like interface for working with SQL databases.
- Object Relational Mappers - Stores Python dicts in relational databases.
- ORM Frameworks - Stores dictionaries in databases.
