Awesome GitHub RepositoriesWorkload Simulations

LMCache is a distributed key-value cache manager and tiering system designed to accelerate large language model inference. It functions as a tiered storage layer that offloads tensors from GPU memory to CPU RAM, local disks, or remote object stores, enabling the reuse of cached prefixes across different inference sessions and serving engines. The system differentiates itself through a disaggregated prefill-decode model, which separates prompt processing from token generation by transferring caches between distributed compute nodes. It utilizes peer-to-peer orchestration to share and retrieve

Dynamo is a distributed inference orchestration platform designed for large language models. It functions as a system to coordinate prefill and decode phases across GPU nodes, utilizing a multi-backend runtime adapter to connect engines like vLLM and TensorRT-LLM through a unified block-oriented memory interface. An OpenAI-compatible API server provides the frontend for integration with existing tools and clients. The project is distinguished by its disaggregated serving architecture, which separates prompt processing and token generation onto independent GPU pools to optimize throughput and

هذا المشروع عبارة عن أداة تحسين أداء ومقياس موارد لـ AWS Lambda. يحلل المقايضة بين سرعة التنفيذ والتكلفة عن طريق اختبار إعدادات ذاكرة مختلفة لتحديد الإعدادات الأكثر فعالية من حيث التكلفة وتقليل الإنفاق التشغيلي. تستخدم الأداة منسق AWS Step Functions لأتمتة تنفيذ وجمع بيانات عمليات اختبار الوظائف المتعددة عبر مستويات طاقة مختلفة. تحاكي أحمال عمل الإنتاج عن طريق حقن بيانات ثابتة أو بعيدة مخصصة واستخدام توزيع حمولة مرجح لمحاكاة أنماط حركة المرور الواقعية. تغطي المجموعة عدة مجالات قدرة، بما في ذلك أخذ عينات الذاكرة التكرارية ونمذجة التكلفة القائمة على المقاييس لتصور مقايضات الأداء. توفر تنظيفاً آلياً للموارد لإصدارات الوظائف المؤقتة والأسماء المستعارة، وإعداد شبكة خاصة للموارد الداخلية المقيدة، وتحميل حمولة بعيد لتجاوز حدود حجم الاستدعاء القياسية. يتم التعامل مع النشر عبر بنيات البنية التحتية ككود (infrastructure-as-code) لضمان إعداد بيئة متسق وقابلية التكرار.