baidu/uid-generator
Uid Generator
Ce projet est un générateur d'ID unique distribué conçu pour produire des identifiants 64 bits globalement uniques et triables à travers plusieurs nœuds. Il implémente un algorithme compatible Snowflake qui empêche les collisions en combinant des horodatages, des identifiants de travailleur et des numéros de séquence en un seul entier.
Le système inclut un orchestrateur d'ID de travailleur pour allouer et maintenir des identités de machine uniques pendant le démarrage et la migration de l'instance en utilisant des stratégies basées sur la base de données. Pour augmenter le débit des requêtes et réduire la latence, il utilise une couche de mise en cache à tampon circulaire qui pré-génère des identifiants et emploie un mécanisme de remplissage basé sur des seuils.
Le logiciel fournit des capacités pour gérer les clés de base de données distribuées, coordonner les nœuds système et configurer la distribution des bits pour équilibrer les besoins de concurrence par rapport à la durée de vie du système. Il inclut également des utilitaires pour analyser les identifiants générés en leurs composants originaux.
Features
- Unique Identifier Generators - Provides a system for generating globally unique, sortable identifiers to prevent collisions across distributed server nodes.
- Distributed Identifier Generators - Generates unique primary keys across distributed nodes without requiring a central coordination round-trip for every ID.
- Distributed Primary Key Generation - Generates time-ordered unique identifiers specifically designed for use as primary keys in distributed databases.
- Snowflake ID Generators - Produces 64-bit unique identifiers using the Snowflake algorithm to ensure global uniqueness in distributed environments.
- ZooKeeper Worker Assignments - Allocates unique worker identities during startup to ensure that each node generates a unique set of Snowflake IDs.
- Concurrent Ring Buffering - Utilizes concurrent ring buffers to decouple the production of unique IDs from their consumption by requests.
- Distributed Coordination Systems - Coordinates unique worker identities across a cluster to ensure distinct node identities in a distributed system.
- Worker Identity Assignments - Provides a mechanism to assign unique worker identities during startup via a database to prevent ID collisions.
- Identifier Bit-Packing - Implements bit-packing of timestamps, worker IDs, and sequences to construct a unique 64-bit identifier.
- Batch ID Caches - Utilizes a batch ID cache to store pre-produced identifiers, significantly reducing concurrency bottlenecks.
- Segment Caching Refills - Implements a threshold-based refill mechanism to replenish the ID cache from the database before it is depleted.
- High-Throughput ID Generators - Achieves high throughput by pre-generating and caching identifiers in a ring buffer to reduce request latency.
- Cache-Line Padding - Employs cache-line padding between buffer elements to eliminate false sharing and increase hardware throughput.
