7 مستودعات
Translating functional system requirements into concrete hardware specifications for compute, storage, and network resources.
Distinct from Large-Scale Data Computation: Candidates focus on ML training scale or data computation; this is general architectural hardware requirement estimation.
Explore 7 awesome GitHub repositories matching software engineering & architecture · Capacity Planning. Refine with filters or upvote what's useful.
This project is a comprehensive educational resource and curriculum focused on site reliability engineering, distributed systems, and infrastructure operations. It provides technical guides, a systems engineering course, and instructional manuals designed to teach the principles of managing large-scale computing environments. The curriculum covers high-level architectural design for scalability and resilience, including fault-tolerant infrastructure, high-availability patterns, and microservices decomposition. It emphasizes the practical application of site reliability engineering through the
Provides a framework for translating functional architectural blocks into concrete hardware requirements.
GreptimeDB is a distributed, open-source time-series database built for unified observability. It stores and queries metrics, logs, and traces together in a single columnar engine, supporting both SQL and PromQL for analysis. The database is designed as a Kubernetes-native operator with a decoupled compute and storage architecture, enabling horizontal scaling and multi-region deployment. What distinguishes GreptimeDB is its role as a multi-protocol ingestion gateway, accepting data through OpenTelemetry, Prometheus Remote Write, InfluxDB, Loki, Elasticsearch, Kafka, and MQTT protocols without
Guides resource allocation for CPU, memory, and storage based on data ingestion rate and query load.
Cortex is an open-source, horizontally scalable metrics platform that ingests, stores, and queries Prometheus-compatible time-series data with multi-tenant isolation. It accepts metrics via Prometheus remote write and OpenTelemetry, executes PromQL queries against both recent and historical data, and provides a Prometheus-compatible alerting and recording rule engine with an integrated Alertmanager. The system is built as a set of independently scalable microservices that use hash-ring-based sharding, gossip-based cluster membership, and tenant-aware object storage to distribute workloads acro
Calculates required nodes, component counts, and storage based on active series count and retention.
Napkin Math هي أداة لتخطيط سعة البنية التحتية ودليل مرجعي لهندسة الأنظمة مصمم لتقدير متطلبات التخزين، وعرض النطاق الترددي، والأداء للأنظمة الموزعة. توفر إطار عمل لترجمة أحجام الطلبات وأحجام البيانات إلى نفقات أجهزة السحابة والشبكات الشهرية المتوقعة. يركز المشروع على نمذجة الأداء من المبادئ الأولى وتقنيات تحليل فيرمي للتنبؤ بإنتاجية النظام وأوقات الاستجابة دون الاعتماد على معايير تجريبية. ويستخدم خطوط أساس مرجعية للأجهزة ونسب ضغط قياسية لترسيخ الحسابات النظرية في الواقع. تغطي الأداة تقدير تكلفة البنية التحتية السحابية، وتخطيط سعة الأنظمة الموزعة، وتوقع أداء النظام. كما تتضمن إمكانيات لقياس أداء البنية التحتية من خلال مقارنة النتائج الواقعية مقابل النماذج الرياضية لتحديد فجوات الأداء.
Determines required hardware and storage resources by translating data sizes and compression ratios into infrastructure requirements.
llm-numbers هي مجموعة من أدوات الحساب والمعايير المستخدمة للتنبؤ بمتطلبات الأجهزة، واستخدام الرموز، والتكاليف التشغيلية عبر مستويات النماذج المختلفة. توفر حاسبة للتكلفة والموارد بناءً على صيغ ومعايير لتقدير الرموز، وذاكرة GPU، والنفقات التشغيلية لنماذج اللغة الكبيرة. يتضمن المشروع مخططاً لمتطلبات الأجهزة لحساب VRAM وذاكرة GPU اللازمة لاستضافة النماذج بناءً على عدد المعلمات. كما يتميز بمقدر للرموز يحول عدد الكلمات إلى تقديرات رموز للتنبؤ بفواتير واجهة برمجة التطبيقات واستخدام نافذة السياق، إلى جانب معايير التسعير التي تقارن التكاليف ومقايضات الإنتاجية بين طرق الاستضافة المختلفة. تغطي مجموعة الأدوات قياس أداء نماذج الذكاء الاصطناعي وتوقعات التكلفة، وتخطيط موارد GPU، وتحليل الأداء لقياس مكاسب الإنتاجية من التجميع (batching). تستخدم صيغاً حتمية ومجموعات بيانات معيارية ثابتة لتعيين المعلمات إلى الذاكرة وحساب نسب التكلفة والعائد بين النماذج الأساسية والضبط الدقيق.
Plans the required GPU memory and VRAM needed to host models based on their parameter counts.
Sizes multi-pool LLM GPU fleets against P99 time-to-first-token targets using discrete-event simulation.
This project is a learning platform and study guide focused on the principles of distributed systems and software architecture. It provides a collection of architectural scenarios and technical problem statements designed to help engineers practice system design, capacity planning, and trade-off analysis for high-scale services. The repository distinguishes itself by offering functional prototypes and models for complex engineering challenges. Rather than providing purely theoretical documentation, it includes executable representations of system components—such as storage services, load bala
Translates functional system requirements into concrete hardware specifications for compute, storage, and network resources.