Awesome GitHub RepositoriesDataset Loading

ParlAI is a conversational AI research framework designed for training, evaluating, and sharing dialogue models using a unified interface for datasets and agents. It functions as a PyTorch-based training platform and a dialogue data collection system, providing a centralized model zoo for the distribution of versioned pretrained agents. The project distinguishes itself through a knowledge-grounded retrieval system that combines dense and sparse indexing to ground responses in external information. It also provides a comprehensive infrastructure for gathering human-AI interaction data via inte

BasicSR is a PyTorch-based image restoration toolbox and framework designed for training and deploying deep learning models to upscale, denoise, and deblur images and videos. It serves as a comprehensive system for image super-resolution and video quality restoration, providing the necessary infrastructure to recover fine visual details and increase pixel density. The project distinguishes itself through specialized toolkits for facial image enhancement and high-fidelity face synthesis, as well as a dedicated video quality restoration suite that utilizes deformable convolutions and generative

mmagic is a multimodal training pipeline and framework for generative AI, focusing on visual synthesis and restoration. It provides the infrastructure to build and train models for tasks such as text-to-image and text-to-video generation, 3D-aware content synthesis, and high-fidelity image translation using diffusion models and generative adversarial networks. The project distinguishes itself through specialized capabilities for generative model personalization, including techniques for fine-tuning subjects and styles. It also supports advanced visual manipulations such as latent space interp

SSTap-Rule is a routing rule set and game traffic accelerator designed to optimize connectivity and reduce latency for online games. It provides a collection of curated network routing configurations specifically for the SSTap client to ensure game data is directed through optimized network paths. The project utilizes geo-based routing configurations and geographic datasets to balance network routing accuracy and processing efficiency. This allows for the steering of internet traffic based on location to improve connection stability and speed. The system covers broader capabilities in networ

This project is a toolkit and API designed for parsing, manipulating, and visualizing image annotations for computer vision tasks. It provides a programming interface to load and organize Common Objects in Context annotations, specifically for object detection, image segmentation, and keypoint estimation. The library includes tools for converting formatted JSON files into data structures that support the analysis of pixel-level masks and skeletal markers. It enables the visual verification of ground truth accuracy by rendering bounding boxes, segmentation masks, and keypoint markers directly

Gluon-CV هي مكتبة رؤية حاسوبية لـ MXNet توفر مجموعة شاملة من معماريات الرؤية وخطوط أنابيب التدريب المنفذة مسبقاً. تعمل كمجموعة أدوات لأبحاث التعلم العميق وحديقة نماذج تحتوي على أوزان مدربة مسبقاً ومتطورة لتحليل الصور والفيديو. يتضمن المشروع مكتبة متخصصة لتقدير وضعية الإنسان ومجموعة أدوات لضغط النماذج. تسمح هذه الأدوات بتقليم وتكميم نماذج التعلم العميق لزيادة سرعة الاستدلال وتسهيل النشر على أجهزة الحافة المقيدة. تغطي المكتبة مجموعة واسعة من قدرات الرؤية، بما في ذلك تصنيف الصور، واكتشاف الكائنات، والتجزئة الدلالية والمثالية. كما توفر أدوات لتحليل الفيديو، مثل التعرف على الإجراءات، وتتبع الكائنات، وتقدير العمق أحادي العين. يتم دعم التدريب من خلال خطوط أنابيب مؤتمتة وأحمال عمل موزعة على وحدات GPU متعددة لتسريع تقارب النموذج.

هذا المشروع عبارة عن منهج تعليمي للتعلم الآلي ومنصة تعليمية يتم تقديمها من خلال دفاتر Jupyter التفاعلية. يعمل كدليل شامل لإتقان مجموعة أدوات علوم البيانات في Python، ويوفر دروساً منظمة للحوسبة العددية، ومعالجة البيانات الجدولية، والتصور الإحصائي. يتضمن المنهج أدلة تنفيذ محددة لـ Scikit-Learn ودورة عملية حول TensorFlow لبناء وتدريب ونشر الشبكات العصبية ونماذج رؤية الحاسب. ويغطي العملية الشاملة لبناء النماذج التنبؤية، من صياغة المشكلة الأولية وتصنيف المهام إلى نشر النماذج عبر واجهات الويب التفاعلية. يغطي المشروع سطح إمكانات واسع بما في ذلك الحوسبة العددية مع المصفوفات متعددة الأبعاد، وتحليل البيانات الاستكشافي، وروتينات معالجة البيانات مسبقاً. ويوفر سير عمل مفصلاً للتعلم الخاضع للإشراف وغير الخاضع للإشراف، وخطوط أنابيب التعلم الآلي المؤتمتة، وتحسين المعلمات الفائقة، وتقييم النموذج باستخدام مقاييس التصنيف والتحقق المتبادل. يتم تنظيم المحتوى التعليمي كسلسلة من الدفاتر التي تتداخل فيها أكواد Python مع التفسيرات السردية لتوثيق سير عمل علوم البيانات.

pgai هو مجموعة أدوات وإطار عمل لـ PostgreSQL مصمم لدمج نماذج اللغات الكبيرة وتضمينات المتجهات (vector embeddings) مباشرة داخل قاعدة البيانات. يعمل كجسر لتنفيذ طلبات نماذج تعلم الآلة وإجراء ترجمات النص إلى SQL ضمن استعلامات قاعدة البيانات القياسية. يوفر المشروع خط أنابيب آلي لتضمين المتجهات يتولى تحميل وتحليل وتقسيم النصوص من الجداول والمستندات غير المهيكلة. يستخدم هذا النظام عاملاً في الخلفية لمزامنة التضمينات تلقائياً مع تغير البيانات المصدرية، ويتضمن أدوات متخصصة لبناء تطبيقات التوليد المعزز بالاسترجاع (RAG) ومحركات البحث الدلالي. تغطي مجموعة الأدوات مجالات واسعة تشمل معالجة البيانات غير المهيكلة باستخدام OCR، وإنشاء فهارس دلالية لربط مخططات قاعدة البيانات باللغة الطبيعية، وتنفيذ عمليات بحث عن التشابه عالية الأداء من خلال فهرسة المتجهات وإعادة ترتيب النتائج. كما يتيح إثراء البيانات وتصنيفها والإشراف على المحتوى عن طريق استدعاء نماذج خارجية عبر SQL.

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a configurable training pipeline orchestrated through YAML recipes, with CLI overrides and component swapping, distributed training via FSDP2, memory optimizations, and parameter-efficient fine-tuning methods like LoRA, DoRA, and QLoRA. The library distinguishes itself through its YAML-driven configuration system that defines all training parameters and instantiates components from config files, with full CLI override capability for any field or component at launch time. It suppo

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a config-driven system for instantiating components, orchestrating distributed training, and managing parameter-efficient fine-tuning with quantization support, all through YAML-based configurations and command-line overrides. The library distinguishes itself through its comprehensive post-training workflow orchestration, combining supervised fine-tuning, preference optimization (DPO, PPO, GRPO), knowledge distillation, and quantization-aware training in a single configurable pip

Data on COVID-19 (coronavirus) cases, deaths, hospitalizations, tests • All countries • Updated daily by Our World in Data

MMF is a modular framework for building, training, and evaluating vision-and-language models. It provides a configuration-driven experiment system where model, dataset, and training parameters are defined through composable YAML files, alongside a curated model zoo of pretrained checkpoints for state-of-the-art multimodal architectures. The framework includes a multimodal dataset loader that downloads, processes, and batches vision-and-language data, and a vision-language model trainer supporting distributed training, mixed precision, and checkpoint-based resumption. The framework distinguish

dlt هي أداة لاستيعاب البيانات بلغة Python وإطار عمل لخط أنابيب ETL مصمم لجلب البيانات من مصادر متنوعة وحفظها في وجهات مهيكلة. تعمل كمحرك لاستنتاج المخطط (schema inference) يكتشف تلقائياً أنواع البيانات ويسطح هياكل JSON المتداخلة في جداول علائقية، ناقلاً البيانات من المصادر إلى بحيرات البيانات، أو المستودعات، أو قواعد بيانات المتجهات. يتميز المشروع بتوليد خط أنابيب مدعوم بالذكاء الاصطناعي، باستخدام نماذج لغات كبيرة لسقالات كود الاستخراج والموصلات لـ REST APIs. كما يدعم تخزين المتجهات متعدد الوسائط والتعبئة المتخصصة لقواعد بيانات المتجهات لدعم تطبيقات الذكاء الاصطناعي والتعلم الآلي. يغطي إطار العمل مجموعة واسعة من القدرات بما في ذلك تطور المخطط المؤتمت، وتحميل البيانات التزايدي عبر تتبع الحالة، والتحقق من جودة البيانات من خلال فرض عقود البيانات. يوفر أدوات لتطبيع البيانات العلائقية، وتحويلات ما قبل وما بعد التحميل، ومجموعة متنوعة من محولات الوجهة لقواعد بيانات SQL ومخازن الكائنات السحابية. تتم إدارة المراقبة من خلال لوحات معلومات تنفيذ خط الأنابيب، وتتبع نسب الأعمدة، والتحقق من إصدار المخطط باستخدام التجزئات القائمة على المحتوى.

xtuner هو محرك تدريب شامل للنماذج اللغوية الكبيرة، يقدم مجموعة أدوات للتدريب المسبق، والضبط الدقيق الخاضع للإشراف، وتحسين النماذج متعددة الوسائط للرؤية واللغة. يعمل كمسرع تدريب موزع وإطار عمل متخصص لتوسيع نطاق نماذج خليط الخبراء (Mixture-of-Experts) ومواءمة سلوك النموذج من خلال التعلم التعزيزي من التغذية الراجعة البشرية. يتميز المشروع بتحسينات متقدمة للذاكرة والحوسبة، مثل توازي التسلسل لنوافذ السياق الطويلة جداً وتوازي خط الأنابيب المتداخل لتقليل وقت خمول GPU. يوفر مجموعة مخصصة لتحسين التفضيلات، وتنفيذ تقنيات مثل تحسين السياسة النسبية للمجموعة وتحسين التفضيل المباشر لتحسين سياسات النموذج وأنظمة المكافآت. تغطي مجالات الإمكانيات الواسعة تدريب النماذج الموزعة عبر عقد متعددة، وإعداد مجموعات البيانات متعددة الوسائط، وإدارة الضبط الدقيق القائم على المحولات. يتضمن المحرك أيضاً أدوات لتقييم النموذج، ودمج الأوزان، وتصدير المعلمات المدربة إلى محركات الاستنتاج. تتم إدارة التدريب عبر ملفات تكوين موحدة ومشغلات موزعة لضمان نتائج متسقة عبر مجموعات الحوسبة.

This is an interactive notebook-based course that teaches machine learning from Python fundamentals through deep learning and natural language processing. It uses real datasets and multiple frameworks within a structured, hands-on curriculum that combines concise explanations with executable code cells, built-in datasets, and embedded exercise checkpoints. Learning progresses through data preparation and exploration, classical machine learning workflows, computer vision with convolutional neural networks, and natural language processing with deep learning, all delivered as a cohesive progressi

OpenPrompt هو إطار عمل لتعلم التلقين (prompt learning) مصمم لتكييف نماذج اللغة الكبيرة مع مهام معالجة اللغات الطبيعية اللاحقة. يوفر مجموعة أدوات شاملة لتنفيذ استراتيجيات التلقين اليدوية، والناعمة، والمستمرة، مما يسمح بتحسين النماذج دون تحديث جميع المعلمات الأساسية. يتميز المشروع بدعمه لكل من ضبط التلقين المتقطع والمستمر. يتضمن نظاماً لحقن الرموز الناعمة (soft tokens) والتضمينات القابلة للتدريب في مدخلات النموذج عبر الانحدار المتدرج، بالإضافة إلى محرك توليد تلقين تلقائي يستخدم بحث الشعاع (beam search) والنماذج التوليدية لاكتشاف قوالب نصية عالية الاحتمالية لمجموعات بيانات محددة. يغطي إطار العمل العديد من مجالات القدرات الأساسية، بما في ذلك تصميم القوالب وتعبير التسميات (label verbalization) لتعيين تسميات التصنيف إلى كلمات المفردات. كما يوفر أدوات تكييف النماذج لتغليف النماذج المدربة مسبقاً، ومعايرة القيم (logit calibration) لتحسين دقة التنبؤ، وخط أنابيب بيانات يتميز بمنطق أخذ عينات متخصص للتعلم ببيانات قليلة (few-shot learning). تتم إدارة سير عمل التدريب والتجارب من خلال ملفات التكوين التي تحدد سيناريوهات التعلم، والمعلمات الفائقة، ومواصفات خط الأنابيب.

هذا المشروع عبارة عن مورد تعليمي شامل ودورة تدريبية لبناء الشبكات العصبية باستخدام PyTorch. يغطي اللبنات الأساسية للتعلم العميق، بما في ذلك معالجة الموترات (tensors)، والتمايز التلقائي، وبناء مكونات الشبكة العصبية المعيارية. يعمل المستودع كدليل تقني للعديد من المجالات المتخصصة. يوفر تفاصيل تنفيذ لمهام رؤية الكمبيوتر مثل تصنيف الصور، واكتشاف الكائنات، والتجزئة الدلالية، بالإضافة إلى سير عمل معالجة اللغات الطبيعية التي تتضمن المحولات (transformers)، والشبكات المتكررة، والنماذج التوليدية. بالإضافة إلى ذلك، يتضمن مرجعاً للذكاء الاصطناعي التوليدي، مع التركيز بشكل خاص على تركيب الصور عبر نماذج الانتشار (diffusion models) والشبكات التنافسية. تمتد المادة إلى تحسين النماذج وخطوط أنابيب النشر. تغطي تقنيات لتقليل حجم النموذج وزيادة سرعة الاستنتاج من خلال التكميم (quantization) وتصدير النماذج إلى تنسيقات مثل ONNX وTensorRT. تشمل مجالات القدرة الأخرى هندسة البيانات للتحميل المتوازي، وتقييم النموذج باستخدام مقاييس مخصصة، ونشر نماذج اللغات الكبيرة مفتوحة المصدر. يتم تقديم المشروع بشكل أساسي كسلسلة من دفاتر Jupyter.

This project is a distributed machine learning platform and sparse deep learning framework designed for training and serving models with high-dimensional sparse data. It functions as an online model serving infrastructure and recommendation system engine, enabling real-time item retrieval and scoring using deep tree matching and neural networks. The system distinguishes itself through a multi-task learning framework that optimizes multiple objective functions within a shared representation space. It features a specialized online serving infrastructure that supports dynamic model hot-loading a

SWE-bench is an automated evaluation framework that tests large language models on real-world software engineering tasks. It measures how effectively models can generate and apply code patches that resolve actual GitHub issues, using a standardized dataset and scoring system built around Docker-based patch verification against original project test suites. The framework provides curated benchmark datasets spanning comprehensive, fast, verified, multilingual, and multimodal evaluation splits, allowing targeted assessment of model capabilities across different programming languages and issue ty

TorchGeo is a PyTorch library designed for deep learning on geospatial data, providing a framework for building and training neural networks for tasks such as semantic segmentation, object detection, and change detection. It serves as a comprehensive pipeline for remote sensing, featuring specialized dataset loaders and multispectral image preprocessing tools. The library is distinguished by a dedicated remote sensing model zoo and extensive support for transfer learning, allowing users to integrate pre-trained weights optimized for specific satellite sensors. It also includes support for sel