Awesome GitHub RepositoriesToken Embedding Layers

هذا المشروع عبارة عن تنفيذ TensorFlow لشبكة عصبية تلافيفية مصممة لتصنيف النصوص. يعمل كمصنف نصوص للتعلم العميق يقوم بتعيين تسميات محددة مسبقاً لمستندات النص من خلال تحديد وتحليل الأنماط المتعلمة داخل مجموعات التدريب. يستخدم النموذج تسلسلاً من تحويل النصوص إلى متجهات (vectorization) في طبقة التضمين، وطبقات تلافيفية لاستخراج الميزات، وتقليل أخذ العينات (max-pooling) لمعالجة بيانات النص. يتم تحديد احتمالات الفئة النهائية من خلال نظام تصنيف الطبقة الكثيفة. يغطي سير العمل دورة حياة التعلم الآلي من البداية إلى النهاية، بما في ذلك تعلم النص الخاضع للإشراف، وتدريب النموذج مع أبعاد تضمين وأحجام فلاتر قابلة للتكوين، وتقييم الأداء باستخدام مجموعات بيانات التحقق واستمرارية النموذج القائمة على نقاط التفتيش (checkpoints).

Flashlight هي مكتبة تعلم آلي مستقلة بلغة C++ ومكتبة موترات تستخدم لبناء وتدريب الشبكات العصبية. تعمل كإطار عمل شامل للشبكات العصبية ومحرك للتمايز التلقائي، مما يوفر الأدوات لبناء رسوم بيانية للحساب وحساب التدرجات عبر الانتشار العكسي. يعمل المشروع كإطار عمل للتدريب الموزع، حيث يستخدم عمليات (All-reduce) لمزامنة التدرجات والمعلمات عبر عقد حساب وأجهزة متعددة. يتميز بالتكامل العميق لمعالجة الموترات عالية الأداء، وقابلية التشغيل البيني لذاكرة الجهاز الأصلية، ونظام لمزامنة الأوزان عبر العمال الموزعين لتسريع تدريب النماذج واسعة النطاق. يغطي إطار العمل مجموعة واسعة من قدرات التعلم العميق، بما في ذلك تكوين الطبقات المعيارية لتصميم بنيات معقدة مثل الكتل المتبقية (Residual blocks) والخلايا المتكررة. يوفر أدوات واسعة النطاق لإدارة البيانات للاستيعاب والجلب المسبق، إلى جانب أنظمة التسلسل لحفظ حالات النموذج. بالإضافة إلى ذلك، يتضمن مجموعة من أدوات المراقبة وقابلية المراقبة لتتبع مقاييس التدريب وقياس أخطاء التسلسل. تم تنفيذ المكتبة بلغة C++.

This project is a natural language processing system designed for named entity recognition and text classification. It uses a machine learning approach to identify specific names and key information from raw text to organize unstructured content into a structured format. The system implements a multi-layer architecture that combines a pre-trained transformer for embeddings, bidirectional long short-term memory for sequence modeling, and a conditional random field for label transitions. It supports transfer learning through the fine-tuning of these models on task-specific datasets. The projec

This project is a named entity recognition framework and TensorFlow-based natural language processing model. It provides a pipeline for adapting pre-trained language models to specific entity recognition and text classification tasks. The system implements a sequence labeling architecture that combines transformer-based embeddings with bidirectional sequence modeling and conditional random field decoding. It includes tools for fine-tuning model weights and training the network to identify and categorize entities within unstructured text. The framework also includes a client-server architectu

هذا المشروع هو تنفيذ تعليمي لمحول (transformer) توليدي صغير الحجم مصمم لتدريس أساسيات معمارية الشبكات العصبية والتدريب. يعمل كتنفيذ مرجعي ودرس تعليمي لبناء شبكة عصبية توليدية للنصوص من الصفر. يوضح الكود المصدري آليات الترميز (tokenization)، والانتباه الذاتي (self-attention)، وبناء نموذج لغة خفيف الوزن. يركز على عملية بناء نموذج توليدي خطوة بخطوة لتوضيح كيفية بناء نماذج اللغة الكبيرة. يغطي التنفيذ المعمارية القائمة على المحولات، بما في ذلك الانتباه متعدد الرؤوس، والشبكات التغذية الأمامية، والقناع السببي. يستخدم PyTorch لحساب الموترات ويستخدم التعلم القائم على الانتشار العكسي (backpropagation) لتدريب النموذج على بيانات نصية متسلسلة.

Engram is a dynamic knowledge retrieval system and memory augmentation framework for large language models. It functions as a scalable memory lookup layer and sparse architecture component designed to fuse static model knowledge with dynamic external states to improve factuality and reduce hallucinations. The system utilizes conditional memory retrieval and differentiable memory addressing to map input tokens to specific indices within a large-scale associative memory store. This allows the model to increase its total available parameters by storing weights in external lookup tables and activ

Tiny Universe is an educational monorepo that delivers multiple independent implementations of core AI subsystems as self-contained Jupyter notebooks. It provides from-scratch constructions of foundational architectures including a complete Transformer model built from the original paper specification, a denoising diffusion probabilistic model for image generation, and a ReAct-style autonomous agent framework that equips an LLM with tools for planning and multi-step task execution. The project distinguishes itself by covering the full lifecycle of modern AI systems through hands-on implementa

هذا المشروع عبارة عن مجموعة من أمثلة تعلم الآلة TensorFlow التي توفر تطبيقات مرجعية لنماذج شبكة عصبية مختلفة. يغطي نماذج التعلم الخاضع للإشراف، وغير الخاضع للإشراف، والتعزيزي، والمتسلسل. يتضمن المستودع تطبيقات للشبكات العصبية التلافيفية التي تركز على تصنيف الصور وترتيبها، بالإضافة إلى الشبكات العصبية المتكررة للتنبؤ بالسلاسل الزمنية والترجمة من تسلسل إلى تسلسل. كما يوفر أمثلة لوكلاء التعلم التعزيزي المدربين عبر تحسين المكافأة وتقنيات التعلم غير الخاضع للإشراف مثل أجهزة التشفير التلقائي والخرائط ذاتية التنظيم لتجميع البيانات. تغطي القدرات الإضافية الانحدار والتصنيف الخاضع للإشراف، وتوليد التضمين الدلالي، واستخدام نماذج ماركوف المخفية لنمذجة البيانات المتسلسلة. يتضمن المشروع أيضاً أدوات لإدارة عمليات الموتر وتصور أداء النموذج عبر لوحات المعلومات. يتم تقديم المحتوى كسلسلة من دفاتر Jupyter.

tiny-llm is a large language model inference engine and transformer model implementation. It serves as a quantized model runtime and paged key-value cache manager, providing a specialized inference stack optimized for Apple Silicon. The system distinguishes itself through high-throughput execution techniques, including continuous batching and paged attention. It utilizes a paged memory system to eliminate fragmentation during token generation and employs on-the-fly dequantization of compressed weights to reduce the memory footprint during matrix multiplication. The project covers a broad ran

هذا المشروع عبارة عن دورة تعليمية ومجموعة من المواد الإرشادية لبناء نماذج لغوية كبيرة (LLMs) من الصفر باستخدام Python. يقدم دليلاً خطوة بخطوة ودروساً عملية تركز على الآليات الداخلية لهياكل المحولات (Transformers) وسير عمل التدريب المسبق. يتميز المستودع بإطار عمل لتنفيذ ومقارنة عائلات نماذج متنوعة، بما في ذلك Llama و GLM و RWKV. يستخدم نهج التجميع القائم على التكوين لتحليل الاختلافات الهيكلية والآليات الداخلية لهذه البنى المختلفة. يغطي الكود المصدري خط أنابيب التطوير الكامل، بما في ذلك معالجة النصوص مسبقاً، وترميز أزواج البايتات (BPE)، وتنفيذ الانتباه متعدد الرؤوس (Multi-head attention) مع القناع السببي (Causal masking). كما يتضمن أدوات تدريب مثل قص التدرج (Gradient clipping)، وجدولة معدل التعلم، وتحسين المعلمات الفائقة للتدريب المسبق على مجموعات بيانات غير مصنفة. تم تنفيذ المشروع باستخدام Jupyter Notebooks.

This project is a generative AI educational resource and natural language processing course. It serves as a technical implementation guide for building, pre-training, and fine-tuning a large language model from scratch using PyTorch. The curriculum provides a step-by-step tutorial on large language model development, focusing specifically on the design of transformer-based text generation models. It includes dedicated instruction on parameter-efficient fine-tuning to optimize training by updating only a small subset of model weights. The material covers the end-to-end generative AI training

TransformerLens is a library for mechanistic interpretability research designed to reverse engineer the learned algorithms within large language models. It provides a standardized framework for wrapping diverse transformer architectures, allowing researchers to extract, manipulate, and analyze internal activations and weights through a consistent interface. The project distinguishes itself through a comprehensive system of activation hooks that can capture, patch, and ablate internal tensors during the forward pass. It includes specialized utilities for decomposing fused projections, material