17 مستودعات
Tools for saving and versioning the state of optimized AI programs and modules.
Distinguishing note: Focuses on the persistence of AI-specific program configurations.
Explore 17 awesome GitHub repositories matching data & databases · Model State Persistence. Refine with filters or upvote what's useful.
DSPy is a declarative programming framework designed for building complex language model applications. It treats model interactions as modular, composable programs, allowing developers to define task logic through typed class schemas rather than relying on manually written prompts. By organizing workflows into hierarchical, reusable Python objects, the framework enables the construction of sophisticated AI systems that manage state and execution flow independently. The framework distinguishes itself through an automated optimization engine that iteratively refines prompt instructions and few-
Saves optimized program states or module structures to disk for portability.
This project is a collection of educational examples and code for implementing deep learning architectures using the PyTorch framework. It serves as a tutorial and implementation guide for building various neural network architectures for machine learning tasks. The project provides practical implementations for computer vision, including image classification and neural style transfer, as well as natural language processing examples for building sequence models and language predictors. It also covers generative models using adversarial and variational networks to synthesize or transform visua
Provides capabilities for saving and loading model weights and optimizer states for training resumption.
Baselines is a comprehensive suite of frameworks for reinforcement learning algorithm implementation, imitation learning, and training orchestration. It provides a library of standardized learning algorithms used to benchmark and replicate research results, alongside a deep learning policy framework for constructing neural network architectures such as multi-layer perceptrons, convolutional networks, and long short-term memory networks. The project includes a specialized imitation learning toolkit that enables agents to mimic expert behavior through behavior cloning and generative adversarial
Enables serialization and restoration of the model's internal state for checkpoints and continued training.
Second-Me is a framework for orchestrating local agent tasks and fine-tuning personal language models. It provides a system for training specialized assistants on local datasets to support custom knowledge retrieval and task execution requirements. The project distinguishes itself through a modular architecture that manages the lifecycle of machine learning tasks. It includes a state manager that persists intermediate training progress to local storage, allowing for the interruption and resumption of long-running configuration processes. Furthermore, the system utilizes standardized protocols
Persists intermediate training progress to local storage to allow for the interruption and resumption of long-running tasks.
Nerfstudio هو إطار عمل تطوير معياري لتدريب وتصور وتصدير تمثيلات المشهد ثلاثي الأبعاد المشتقة من مجموعات بيانات الصور ثنائية الأبعاد. يوفر خط أنابيب إعادة بناء مشهد عصبي يحول الصور الخام وبيانات الكاميرا إلى أصول ثلاثية الأبعاد عالية الدقة وفيديو سينمائي باستخدام عارض حجمي قابل للتفاضل. يتميز النظام بمصور تفاعلي قائم على الويب يسمح للمستخدمين بمراقبة تقدم التدريب وفحص هندسة المشهد العصبي في الوقت الفعلي. يفصل بنيات الشبكة العصبية عن حلقة التدريب من خلال واجهة معيارية قياسية، مما يتيح تطوير وتجربة بنيات حقل الإشعاع العصبي المخصصة. يغطي إطار العمل مجموعة واسعة من القدرات بما في ذلك معالجة مجموعة البيانات لحساب وضع الكاميرا، وتقييم دقة النموذج، وتوليد تسلسلات الفيديو السينمائي عبر استيفاء مسار الكاميرا. يتضمن أيضاً أدوات لتصدير المشاهد المدربة كأصول ثلاثية الأبعاد وسحب نقاط للاستخدام في برامج النمذجة الخارجية. يتم دعم تنفيذ الأجهزة المتسق من خلال بيئات الحاويات التي تجمع برامج تشغيل الرسومات وتبعيات النظام.
Provides persistence for optimizer states and model weights to ensure training continuity and scene storage.
llama-cpp-python provides a Python interface for the llama.cpp library, enabling the execution of large language models with hardware acceleration. It functions as a GGUF model loader and a structured text generator capable of running inference servers and multimodal runtimes for processing both text and image inputs. The project distinguishes itself through a local inference server that exposes model capabilities via an OpenAI-compatible web API. It supports advanced execution techniques including speculative decoding, weight quantization, and layer-based GPU offloading to manage memory acro
Captures and restores model state to files to allow resuming text generation.
Sonnet is a modular machine learning framework and TensorFlow library used for building, training, and managing deep learning models. It functions as a system for composing neural networks from reusable modules and layers that encapsulate their own parameters and internal states. The project provides specialized tools for distributed model training, enabling the synchronization of gradients across multiple hardware devices. It also serves as a model state management system, allowing for the persistence of neural network weights and the export of portable models that separate the computation g
Implements tools for saving and versioning the state of optimized AI modules to preserve progress.
This project is a collection of PyTorch learning resources and educational guides designed to teach the construction and training of neural networks. It serves as a comprehensive deep learning tutorial covering various model architectures and practical implementation strategies. The resources provide specific guidance on implementing computer vision tasks, such as image classification and synthetic imagery generation, as well as reinforcement learning agents using value networks and experience replay. It also covers sequential data modeling through recurrent networks and generative modeling u
Includes methods for saving neural network structures and learned parameters to files for later reuse.
This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene
Exports and imports internal optimizer states to allow seamless resumption of training from checkpoints.
This project is a machine learning educational resource and implementation guide for Python. It provides a collection of executable code and notebooks that demonstrate predictive modeling, data analysis workflows, and the implementation of various machine learning algorithms. The repository features practical examples of classification, regression, and clustering tasks using Scikit-Learn, alongside tutorials for building and training deep learning architectures with TensorFlow. These include implementations of convolutional and recurrent networks. The content covers a broad range of capabili
Provides methods for serializing fitted estimators to disk and reloading them for deployment.
scikit-opt is a Python optimization library and numerical framework designed to solve complex global optimization problems. It provides a suite of metaheuristic algorithms and tools for finding global minima or maxima of objective functions. The library implements a variety of nature-inspired and swarm intelligence algorithms, including Genetic Algorithms, Particle Swarm Optimization, Differential Evolution, Simulated Annealing, and Ant Colony Optimization. It includes specialized solvers for discrete combinatorial challenges, such as the Traveling Salesman Problem. The framework supports th
Allows resuming optimization processes from previous checkpoints by saving the current population and parameter states.
هذا المشروع هو إطار عمل للمحولات (transformers) قائم على JAX ومدرب لنماذج اللغة الكبيرة مصمم لبناء وتدريب النماذج الموزعة على مسرعات الأجهزة TPU. يوفر نظاماً للتدريب المسبق والضبط الدقيق للنماذج ذاتية الانحدار عن طريق تقسيم الأوزان والحسابات عبر شبكة من الأجهزة لتقليل حمل الذاكرة وزيادة سرعة المعالجة. يتضمن إطار العمل منسق حساب TPU لتوفير الموارد وأتمتة تثبيت التبعيات عبر العقد الموزعة البعيدة. كما يتميز بمحول أوزان النموذج القادر على تحويل وإعادة تقسيم نقاط التحقق (checkpoints) بين تكوينات الأجهزة المختلفة والدقة العددية. يغطي المشروع قدرات أوسع تشمل إدارة نقاط التحقق المقسمة للتخزين السحابي، وتحميل البيانات القائم على التدفق مع استعادة الحالة، وتوليد النصوص القائم على النواة لاستنتاج النموذج. كما يدعم تسريع الأجهزة المجمع بـ XLA لمجموعات TPU و GPU ويوفر أدوات لقياس الأداء مقابل مهام اللغة الموحدة.
Persists and versions model states in cloud storage to facilitate training resumption and checkpointing.
This repository is a comprehensive educational program and deep learning framework designed to teach practical deep learning using PyTorch through notebooks and code examples. It serves as a high-level library for building, training, and deploying neural networks, acting as a model training orchestrator that coordinates PyTorch models, optimizers, and loss functions. The project provides specialized toolkits for computer vision, natural language processing, and tabular data preprocessing. It distinguishes itself through advanced training controls such as discriminative learning rates, a two-w
Saves and restores both model weights and optimizer states to ensure training continuity.
torch2trt هي أداة لتحويل نماذج PyTorch إلى محركات TensorRT محسنة لتحسين أداء الاستدلال (inference) على وحدات معالجة الرسومات NVIDIA. تعمل كمحسن لنماذج التعلم العميق ومولد محركات يقوم بتحويل طبقات الشبكة العصبية إلى تنسيقات تشغيل عالية الأداء لمعالجات الرسومات المسرعة بالأجهزة. يتميز المشروع بأداة تحويل طبقات مخصصة تسمح للمستخدمين بتعريف وتسجيل منطق تحويل يعتمد على Python للتعامل مع العمليات المتخصصة غير المدعومة افتراضياً. يقترن هذا التوسع بنظام قائم على السجل لتعيين أنواع طبقات محددة لوظائف تحويل معرفة من قبل المستخدم. يغطي النظام تسريع الاستدلال على GPU من خلال تكميم نماذج التعلم العميق (quantization) والتدريب الواعي بالتكميم لتقليل استخدام الذاكرة وزيادة الإنتاجية. كما يتضمن إمكانيات لاستمرارية النموذج، مما يسمح بتخزين وإعادة تحميل حالة المحركات المحسنة.
Enables the persistence and reloading of optimized module states to avoid repeating the conversion process.
هذا المشروع عبارة عن مورد تعليمي شامل ودورة تدريبية لبناء الشبكات العصبية باستخدام PyTorch. يغطي اللبنات الأساسية للتعلم العميق، بما في ذلك معالجة الموترات (tensors)، والتمايز التلقائي، وبناء مكونات الشبكة العصبية المعيارية. يعمل المستودع كدليل تقني للعديد من المجالات المتخصصة. يوفر تفاصيل تنفيذ لمهام رؤية الكمبيوتر مثل تصنيف الصور، واكتشاف الكائنات، والتجزئة الدلالية، بالإضافة إلى سير عمل معالجة اللغات الطبيعية التي تتضمن المحولات (transformers)، والشبكات المتكررة، والنماذج التوليدية. بالإضافة إلى ذلك، يتضمن مرجعاً للذكاء الاصطناعي التوليدي، مع التركيز بشكل خاص على تركيب الصور عبر نماذج الانتشار (diffusion models) والشبكات التنافسية. تمتد المادة إلى تحسين النماذج وخطوط أنابيب النشر. تغطي تقنيات لتقليل حجم النموذج وزيادة سرعة الاستنتاج من خلال التكميم (quantization) وتصدير النماذج إلى تنسيقات مثل ONNX وTensorRT. تشمل مجالات القدرة الأخرى هندسة البيانات للتحميل المتوازي، وتقييم النموذج باستخدام مقاييس مخصصة، ونشر نماذج اللغات الكبيرة مفتوحة المصدر. يتم تقديم المشروع بشكل أساسي كسلسلة من دفاتر Jupyter.
Provides mechanisms to save and load the internal states of optimization algorithms to ensure training continuity.
هذا المشروع عبارة عن مستودع مناهج أكاديمية ومركز موارد تعليمية لدراسة الاحتمالات والإحصاء والتعلم الآلي. يعمل كموقع لدورة التعلم العميق ومركز للمواد التعليمية، ويوفر مجموعة مهيكلة من المحتوى المصمم لتدريس معماريات الشبكات العصبية. يتميز المستودع بدمج مورد تعليمي شامل مع أرشيف لمشاريع التعلم الآلي. يوفر مجموعة منسقة من أمثلة الأبحاث وأدلة التنفيذ لمجموعة واسعة من النماذج، بما في ذلك الشبكات العصبية متعددة الطبقات (MLP)، والشبكات التلافيفية (CNN)، ونماذج التسلسل المتكررة (RNN). يغطي المشروع مجموعة واسعة من القدرات، بما في ذلك أبحاث رؤية الكمبيوتر لاكتشاف الكائنات وتصنيف الصور، وتنفيذ نمذجة التسلسل إلى تسلسل، وتقنيات تحسين الشبكات العصبية. كما يوفر أدوات إدارية لإدارة الدورات الأكاديمية، مثل تتبع معالم المشروع وتوزيع المهام. يتم تقديم المواد التعليمية من خلال مزيج من دفاتر الملاحظات التفاعلية، وشرائح المحاضرات، وتسجيلات الفيديو.
Provides a system for reading and writing model states and data arrays to disk to ensure reproducibility.
This is a structured deep learning curriculum for programmers, delivered as a collection of Jupyter notebooks. It teaches the fundamentals of training neural networks for computer vision, natural language processing, tabular data analysis, and collaborative filtering using PyTorch and the fastai library. The course is designed to be hands-on, guiding learners from building a training loop from scratch to fine-tuning pretrained models for a variety of practical tasks. The curriculum distinguishes itself by covering the full lifecycle of a deep learning project, from data preparation and augmen
Restores optimizer state from a saved dictionary to resume training from a checkpoint.