1 repository
Awesome GitHub RepositoriesRemote Memory Segments
Exposing local memory address spaces as named segments for remote access operations.
Distinct from Remote Physical Memory Reading: Focuses on the software abstraction of named memory segments for remote access, rather than raw physical memory reading or hardware segmentation.
Explore 1 awesome GitHub repository matching operating systems & systems programming · Remote Memory Segments. Refine with filters or upvote what's useful.
Awesome Remote Memory Segments GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- kvcache-ai/mooncake
kvcache-ai/Mooncake
5,594Vezi pe GitHubMooncake este o platformă de servire a modelelor de limbaj mari (LLM) dezagregate și un magazin distribuit de tip cheie-valoare, conceput pentru infrastructura de inferență de înaltă performanță. Funcționează ca un orchestrator de memorie GPU și sistem de gestionare a cache-ului KV care grupează și transferă cache-urile cheie-valoare între clustere pentru a accelera inferența. Sistemul se distinge prin separarea fazelor de prefill și decode ale inferenței în clustere hardware distincte pentru a optimiza utilizarea resurselor. Utilizează un cache distribuit RDMA de înaltă performanță cu transferuri zero-copy pentru a muta datele între nodurile de calcul, ocolind CPU-ul pentru a reduce latența și overhead-ul. Platforma acoperă domenii largi de capabilități, inclusiv gruparea memoriei distribuite, rutarea memoriei acceleratorului prin CXL și descărcarea stocării pe mai multe niveluri către SSD-uri. Gestionează starea clusterului prin servicii de coordonare a metadatelor și implementează guvernanța resurselor prin protecția obiectelor bazată pe lease și evacuarea cache-ului bazată pe watermark. Software-ul este împachetat pentru deployment containerizat cu suport pentru rețelistică host și maparea dispozitivelor hardware.
Provides named memory segments that allow remote compute nodes to perform read and write operations on local memory.
C++
