baidu/uid-generator
Uid Generator
Acest proiect este un generator de ID-uri unice distribuit, conceput pentru a produce identificatori unici globali și sortabili pe 64 de biți pe mai multe noduri. Implementează un algoritm compatibil cu Snowflake care previne coliziunile prin combinarea timestamp-urilor, identificatorilor de worker și numerelor de secvență într-un singur întreg.
Sistemul include un orchestrator de ID-uri de worker pentru a aloca și menține identități unice de mașină în timpul pornirii și migrării instanței folosind strategii bazate pe baze de date. Pentru a crește throughput-ul cererilor și a reduce latența, utilizează un strat de caching de tip ring-buffer care pre-generează identificatori și folosește un mecanism de reumplere bazat pe praguri.
Software-ul oferă capabilități pentru gestionarea cheilor de baze de date distribuite, coordonarea nodurilor de sistem și configurarea distribuției biților pentru a echilibra nevoile de concurență față de durata de viață a sistemului. Include, de asemenea, utilitare pentru parsarea identificatorilor generați înapoi în componentele lor originale.
Features
- Unique Identifier Generators - Provides a system for generating globally unique, sortable identifiers to prevent collisions across distributed server nodes.
- Distributed Identifier Generators - Generates unique primary keys across distributed nodes without requiring a central coordination round-trip for every ID.
- Distributed Primary Key Generation - Generates time-ordered unique identifiers specifically designed for use as primary keys in distributed databases.
- Snowflake ID Generators - Produces 64-bit unique identifiers using the Snowflake algorithm to ensure global uniqueness in distributed environments.
- ZooKeeper Worker Assignments - Allocates unique worker identities during startup to ensure that each node generates a unique set of Snowflake IDs.
- Concurrent Ring Buffering - Utilizes concurrent ring buffers to decouple the production of unique IDs from their consumption by requests.
- Distributed Coordination Systems - Coordinates unique worker identities across a cluster to ensure distinct node identities in a distributed system.
- Worker Identity Assignments - Provides a mechanism to assign unique worker identities during startup via a database to prevent ID collisions.
- Identifier Bit-Packing - Implements bit-packing of timestamps, worker IDs, and sequences to construct a unique 64-bit identifier.
- Batch ID Caches - Utilizes a batch ID cache to store pre-produced identifiers, significantly reducing concurrency bottlenecks.
- Segment Caching Refills - Implements a threshold-based refill mechanism to replenish the ID cache from the database before it is depleted.
- High-Throughput ID Generators - Achieves high throughput by pre-generating and caching identifiers in a ring buffer to reduce request latency.
- Cache-Line Padding - Employs cache-line padding between buffer elements to eliminate false sharing and increase hardware throughput.
