Awesome GitHub RepositoriesIncremental Response Streaming

Inngest is a durable execution framework and event-driven automation engine designed to orchestrate background workflows. It enables developers to build resilient, stateful processes by memoizing function steps, ensuring that long-running tasks can automatically resume from the last successful operation after failures, timeouts, or infrastructure restarts. The platform distinguishes itself through its event-driven architecture, which uses a schema-validated bus to trigger functions and coordinate complex, multi-step logic. It employs an onion-model middleware approach for cross-cutting concer

Hono is a minimal JavaScript HTTP framework designed for building web servers across multiple runtimes, including Node.js, edge runtimes, and serverless platforms. It functions as a cross-runtime web server and a web standard API wrapper, normalizing various runtime request and response objects into standard Web API signatures. The project serves as an HTTP middleware orchestrator and request handler, utilizing a middleware-based request pipeline and hierarchical route mounting to create modular server structures. It distinguishes itself through a runtime-agnostic event wrapper that ensures c

هذا المشروع عبارة عن حزمة تطوير حاوية (containerized) وإطار عمل لتطبيقات بناء أنظمة التوليد المعزز بالاسترجاع (RAG). يوفر بيئة تجريبية (sandbox) للذكاء الاصطناعي تعمل بنظام Docker، وتدمج بيئات تشغيل النماذج المحلية، ورسوم بيانية للمعرفة، ومخازن متجهية لتمكين إنشاء روبوتات محادثة سياقية. تتميز الحزمة بمخزنها المتجهي القائم على الرسوم البيانية، والذي يجمع بين رسوم المعرفة المهيكلة والفهارس المتجهية لاسترجاع البيانات الدلالية والهيكلية. كما يسمح باستضافة النماذج محلياً مع تسريع بواسطة CPU أو GPU، مما يتيح تنفيذ مهام توليدية دون الاعتماد على واجهات برمجة تطبيقات سحابية خارجية. يغطي إطار العمل مجموعة واسعة من القدرات، بما في ذلك معالجة وفهرسة مستندات PDF، وتنسيق خدمات الذكاء الاصطناعي القائمة على الحاويات، وتنفيذ توليد الاستجابات المؤصلة. يتضمن المشروع واجهة محادثة قائمة على الويب مع بث تدريجي للاستجابات وواجهة موحدة للتبديل بين مزودي نماذج اللغة المختلفين. يتم تشغيل البيئة باستخدام تنسيق الحاويات لنشر حزمة مهيأة مسبقاً من النماذج وقواعد البيانات بسرعة.

Rack هي واجهة بسيطة توحد كيفية تواصل خوادم الويب وإطارات عمل Ruby. توفر واجهة تطبيق ويب وواجهة خادم ويب، مما يتيح لتطبيقات Ruby العمل عبر تطبيقات خادم مختلفة باستخدام تجزئة بيئة مشتركة وصف استجابة موحد. يطبق المشروع خط أنابيب برمجيات وسيطة HTTP معيارياً، مما يسمح باعتراض الطلبات والاستجابات وتعديلها من خلال سلسلة من الكائنات القابلة للاستدعاء. ويدعم إدارة الاتصال منخفضة المستوى، بما في ذلك اختطاف اتصال TCP لمعالجة البروتوكول المخصص، وإشارات ترقية البروتوكول، وبث البيانات ثنائي الاتجاه. تمتد مساحة الإمكانات إلى معالجة الطلب والاستجابة، بما في ذلك قراءة تدفق طلب ثنائي وبث الاستجابة التزايدي. ويوفر أدوات لإدارة الجلسة، وتوجيه مسار التطبيق، وتسليم الملفات الثابتة من نظام الملفات المحلي. لضمان الجودة، يتضمن أدوات لمحاكاة حركة مرور HTTP ومحاكاة بيئات الخادم. يتضمن المشروع أداة سطر أوامر لتشغيل خوادم الويب المتوافقة لاستضافة التطبيقات.

opennextjs-aws هو محول بنية تحتية بدون خادم وأداة نشر تحول مخرجات بناء Next.js إلى حزم متوافقة للاستضافة على AWS Lambda و S3. يعمل كمحول نشر يربط مخرجات إطار العمل المحددة بوظائف بدون خادم وتخزين الكائنات. يتميز المشروع بتنفيذ تحسينات خاصة بدون خادم، بما في ذلك مدير ذاكرة مؤقتة يزامن التجديد الثابت التزايدي وذاكرة التخزين المؤقت للجلب عبر S3 أو DynamoDB. يتميز بمحسن للبدء البارد يستخدم تصغير الحزم وتدفئة الوظائف المجدولة لتقليل زمن الوصول، إلى جانب خط أنابيب مخصص لتحسين الصور لجلب الملفات المصدر من S3 وتسليمها عبر CDN. يغطي النظام مجموعة واسعة من القدرات بما في ذلك تكامل البرمجيات الوسيطة للحافة، وإعادة التحقق من الخلفية القائمة على الطابور، وتوزيع المسارات متعدد الأهداف. كما يدير حركة المرور من خلال توجيه CDN، وحقن بيانات الموقع الجغرافي، وبث استجابة الخادم لتحسين الوقت حتى البايت الأول. توفر الأداة خيارات تخصيص واسعة لخطوط أنابيب البناء، وسلوكيات المحول، ومنطق الخادم لدعم الاحتياجات المعمارية المتنوعة وهياكل Monorepo.

WuKongIM هو خادم مراسلة فورية موزع مصمم للدردشة والإخطارات في الوقت الفعلي. يعمل كعنقود اتصالات لا مركزي يستخدم موجه رسائل pub-sub لتوزيع البيانات على المستخدمين الأفراد وقنوات المجموعات واسعة النطاق. يتضمن النظام بروتوكول بث دردشة ذكاء اصطناعي متخصص لتقديم ردود تدريجية منخفضة التأخير من وكلاء الذكاء الاصطناعي. كما يتميز ببوابة أحداث webhook تقوم بإعادة توجيه تغييرات حالة الاتصال وأحداث الرسائل إلى تطبيقات الأعمال الخارجية عبر ردود الاتصال (callbacks). توفر المنصة بنية تحتية لاتصالات المجموعات عالية السعة، ومزامنة الرسائل عبر الأجهزة، وتتبع المحادثات القائم على الحالة. تتم إدارة الأمن من خلال تشفير طبقة النقل والوصول إلى القنوات القائم على الأذونات، بينما يتم الحفاظ على موثوقية النظام عبر التجاوز التلقائي للفشل، والتعافي من الكوارث، ومراقبة الصحة القائمة على نبضات القلب.

exllamav2 هو محرك استنتاج وإطار عمل عالي الأداء لتنفيذ نماذج اللغات الكبيرة محلياً على وحدات معالجة الرسومات (GPUs) من فئة المستهلك. يوفر نظاماً كاملاً لنشر النماذج محلياً، بما في ذلك محرك استنتاج متخصص وأدوات لتكميم النموذج. يتميز المشروع بإطار عمل استنتاج متعدد وحدات معالجة الرسومات يوزع أعباء العمل عبر بطاقات رسومات متعددة لتشغيل النماذج التي تتجاوز سعة ذاكرة جهاز واحد. يتضمن مكمم نموذج GPU قادراً على تحويل النماذج إلى تنسيقات مختلطة الدقة بين 2 و8 بت لموازنة استخدام الذاكرة والدقة. يدعم المحرك توليد نصوص عالي الإنتاجية من خلال الاستنتاج المتوازي القائم على الدفعات وتدفق المخرجات غير المتزامن. يتم دعم هذه القدرات بواسطة نواة CUDA مخصصة وإزالة تكرار ذاكرة التخزين المؤقت لتحسين استخدام الأجهزة وتقليل زمن الوصول أثناء توليد الرموز.

vue-meta هو مدير بيانات وصفية لتطبيقات Vue.js ينسق حقن وإلغاء تكرار ودمج علامات HTML head و body. يعمل كجهاز تحكم في رأس المستند، مما يسمح للمطورين بتحديد وتحديث العناوين، والعلامات الوصفية، وعلامات الروابط، والأنماط، والنصوص البرمجية داخل بنية مكون عبر كل من بيئات جانب العميل وجانب الخادم. تتميز المكتبة بنظام دمج هرمي حيث يمكن للمكونات الفرعية تجاوز البيانات الوصفية المحددة بواسطة المكونات الأصلية. تضمن سلامة المستند باستخدام إلغاء التكرار القائم على المعرف لمنع العلامات المكررة وتستخدم نظام تنسيق لإدارة البيانات الوصفية من مثيلات تطبيقات مستقلة متعددة على صفحة واحدة. تشمل إمكانياتها الأوسع تحسين محركات البحث من خلال حقن البيانات الوصفية من جانب الخادم، وإدراج بيانات JSON منظمة ومعقمة، وربط البيانات الوصفية الديناميكية التي تحل القيم بناءً على حالة المكون. يتم معالجة الأداء عبر تجميع إطار الرسوم المتحركة للطلب لمنع الوميض وبث الاستجابة التزايدي للعرض من جانب الخادم. يوفر المشروع أدوات لإنشاء البيانات الوصفية الثابتة لإنتاج سلاسل قوالب HTML دون الحاجة إلى مثيل مكون مباشر.

Apollo Kotlin is a strongly-typed GraphQL client and code generation library designed for Kotlin and JVM applications. It functions as a comprehensive development tool that transforms GraphQL schema definitions and query documents into type-safe models during the build process, ensuring that data access errors are identified at compile time rather than at runtime. The project distinguishes itself through its multiplatform runtime abstraction, which allows developers to share data fetching and caching logic across Android, iOS, and desktop environments. It provides a normalized local caching s

Apollo Android هي مكتبة عميل GraphQL قوية النوع لتنفيذ الاستعلامات والطفرات عبر JVM و Android و Kotlin Multiplatform. تتضمن أداة توليد كود تنشئ فئات ومحللات غير قابلة للتغيير من مخططات GraphQL وملفات العمليات لضمان سلامة النوع في وقت التجميع. يتميز المشروع بذاكرة تخزين مؤقت طبيعية تقوم بتسوية الاستجابات في جدول بحث للحفاظ على مصدر واحد للحقيقة. كما يوفر عميلاً للاشتراكات لتحديثات البيانات من جانب الخادم في الوقت الفعلي عبر اتصالات WebSocket أو SSE وإطار عمل محاكاة لمحاكاة استجابات الخادم وتوليد بيانات وهمية آمنة من حيث النوع للاختبار. تغطي المكتبة مجموعة واسعة من القدرات بما في ذلك تحسين الشبكة من خلال تجميع الطلبات والاستعلامات المستمرة، بالإضافة إلى إدارة حالة البيانات المحلية مع التحديثات المتفائلة والترقيم. تدعم تكامل محركات HTTP المخصصة وتعيين أنواع القياس المخصصة إلى فئات اللغة الأصلية. تتكامل الأداة مع بيئات تطوير IDE لتوفير توليد الكود التلقائي والتنقل من المحرر إلى التعريفات.

react-server is a server-side rendering framework for building universal web applications. It serves as a hydration engine and HTML renderer that executes component logic on both the server and the client to synchronize application state. The project focuses on streaming content delivery, allowing page content to be sent to the browser in fragments as they become available. This approach is combined with server-side HTML generation to improve initial load speeds and search engine indexing. The framework also includes capabilities for automated asset bundling and universal component execution

LazyLLM is a multi-agent framework and orchestration engine designed for building complex AI applications. It provides a system for chaining large language models into sequential or parallel pipelines, utilizing a tool registry to convert standard functions into discoverable tools that models can invoke via reasoning. The project features an application deployment kit that enables hosting model workflows as web services with integrated chat interfaces and API gateways. It includes an infrastructure abstraction layer that allows users to switch between bare-metal servers, clusters, and public

This project is a Python software development kit and framework for building applications that integrate with large language models. It serves as a multimodal content generator and vector embedding library, enabling the production and editing of text, images, audio, and video. The toolkit provides specialized capabilities for adapting base models through supervised and reinforcement training. It further distinguishes itself by offering tools for orchestrating complex workflows, including stateful chat sessions, the enforcement of structured output via schemas, and the integration of external

This library provides a framework for building custom template systems and rendering dynamic content within web applications. It offers a set of standardized interfaces and tools designed to handle the parsing of template files, the transformation of data into structured output, and the management of template loading from various storage locations. The component distinguishes itself through a modular architecture that supports incremental output streaming, which processes content in chunks to reduce memory usage and improve response times. It also includes integrated security features that au