Awesome GitHub RepositoriesDataset Preprocessing Tools

Deepagents is an LLM agent orchestration platform and stateful application server designed for deploying and managing AI agents built with computational graphs. It provides a containerized runtime environment that handles agent execution, state persistence, and the versioning of AI assistants. The platform distinguishes itself through deep integration with the Model Context Protocol, allowing agents to function as servers that expose tools and capabilities to external clients. It features a sophisticated observability suite for capturing execution traces, performing LLM-based evaluations agai

StyleGAN2 is a TensorFlow generative adversarial network and image synthesis model designed to produce high-resolution synthetic visual content. It functions as a deep learning architecture that learns patterns from image datasets to synthesize new images. The project includes a latent space projection tool for mapping existing images to latent vectors to analyze their representation within a generative model. It also provides an image quality evaluation framework to measure the visual fidelity and diversity of synthetic outputs. The system covers the full generative pipeline, including imag

ESPnet is a comprehensive speech processing toolkit and PyTorch-based trainer designed for building end-to-end speech recognition, synthesis, and translation models. It provides a structured framework for developing automatic speech recognition systems using transducer and encoder-decoder architectures, alongside engines for text-to-speech synthesis and speech translation pipelines. The project distinguishes itself through a recipe-based workflow execution system that ensures experimental reproducibility by running standardized sequences of scripts for data preparation and model training. It

Amphion is an audio generation toolkit designed for the research and development of models that synthesize speech, music, and environmental sound effects. It provides a standardized framework for reproducible audio synthesis, incorporating a text-to-speech engine and a voice conversion framework. The project specializes in transforming audio identities, allowing for the modification of speaker accents and voice identities while preserving original rhythm and style. It also includes capabilities for singing voice synthesis and the generation of environmental soundscapes from text descriptions

GoLearn is a machine learning library for the Go programming language. It provides a supervised learning framework and a toolkit for building, training, and evaluating predictive models through a standardized interface. The project implements a data frame system that loads CSV files into structured grids for matrix operations. It includes a preprocessing library for discretizing continuous variables and a model evaluation toolkit that utilizes confusion matrices and cross-validation to measure precision and recall. The library covers data engineering and management, including the ability to

This project is an AI singing voice conversion system and vocal processor used for training generative voice models and converting vocal recordings or live input into a target voice. It functions as a VITS model trainer and a real-time voice changer that transforms vocal timbre and pitch to change the identity of a singer. The system provides a graphical management dashboard for controlling training hyperparameters and voice conversion presets. It supports low-latency audio streaming for live microphone input and employs pitch estimation to ensure precise matching between source and target vo

jetson-inference is a set of libraries and tools for executing optimized deep learning models on embedded GPU hardware. Its primary purpose is to enable real-time computer vision and AI inference at the edge with low latency and high throughput. The project distinguishes itself through high-performance streaming analytics and the ability to execute concurrent AI pipelines on auto-grade silicon. It provides specialized support for multi-sensor stream processing, utilizing zero-copy data transport to load camera frames directly into GPU memory. The codebase covers a broad surface of capabiliti

This project is a Chinese automatic speech recognition framework and deep learning system designed to convert spoken Chinese audio into written text. It functions as a toolkit for training, evaluating, and deploying speech-to-text models, utilizing a specialized pinyin-to-text converter that transforms phonetic sequences into Chinese characters using a probability graph model. The system is distinguished by its deployment flexibility, offering a dockerized recognition server that provides transcription capabilities as a remote API. It supports high-performance streaming through a gRPC speech-

Silero VAD is a voice activity detection model and deep learning speech classifier designed to distinguish human speech from silence across diverse languages and noisy environments. It functions as a pre-trained neural network capable of identifying speech segments within both static audio recordings and real-time data streams. The project includes a language identification tool for classifying spoken languages and a framework for fine-tuning audio models. It provides utilities for optimizing detection thresholds using validation datasets and retraining the model with custom labeled audio to

Anti-Anti-Spider is an automated web scraping toolkit and CAPTCHA bypass framework. It uses convolutional neural networks to recognize characters and digits in image-based security challenges, enabling programmatic access to protected web content. The project functions as an image recognition model trainer, providing a workflow to preprocess labeled image datasets and train custom neural networks. Users can configure model architectures and hyperparameters to align the recognition system with the visual style of specific target websites. The toolkit covers capabilities for image data preproc

xtuner هو محرك تدريب شامل للنماذج اللغوية الكبيرة، يقدم مجموعة أدوات للتدريب المسبق، والضبط الدقيق الخاضع للإشراف، وتحسين النماذج متعددة الوسائط للرؤية واللغة. يعمل كمسرع تدريب موزع وإطار عمل متخصص لتوسيع نطاق نماذج خليط الخبراء (Mixture-of-Experts) ومواءمة سلوك النموذج من خلال التعلم التعزيزي من التغذية الراجعة البشرية. يتميز المشروع بتحسينات متقدمة للذاكرة والحوسبة، مثل توازي التسلسل لنوافذ السياق الطويلة جداً وتوازي خط الأنابيب المتداخل لتقليل وقت خمول GPU. يوفر مجموعة مخصصة لتحسين التفضيلات، وتنفيذ تقنيات مثل تحسين السياسة النسبية للمجموعة وتحسين التفضيل المباشر لتحسين سياسات النموذج وأنظمة المكافآت. تغطي مجالات الإمكانيات الواسعة تدريب النماذج الموزعة عبر عقد متعددة، وإعداد مجموعات البيانات متعددة الوسائط، وإدارة الضبط الدقيق القائم على المحولات. يتضمن المحرك أيضاً أدوات لتقييم النموذج، ودمج الأوزان، وتصدير المعلمات المدربة إلى محركات الاستنتاج. تتم إدارة التدريب عبر ملفات تكوين موحدة ومشغلات موزعة لضمان نتائج متسقة عبر مجموعات الحوسبة.

AugLy هي مكتبة لزيادة البيانات متعددة الوسائط ومُعزز لتعلم الآلة. توفر نظاماً لإنشاء تنويعات اصطناعية لبيانات التدريب عبر مجموعات بيانات الصوت والصورة والنص والفيديو لزيادة تنوع العينات وتحسين قوة النموذج. تعمل المكتبة كمحاكي ضوضاء للوسائط المتعددة، مصمم خصيصاً لمحاكاة لقطات المستخدم الواقعية عن طريق تراكب قوالب وسائل التواصل الاجتماعي وقطع الإنترنت على الوسائط. تتضمن متتبعاً لمصدر البيانات لتسجيل التحويلات المحددة ومستويات الشدة المطبقة على كل قطعة من البيانات المعززة. تغطي الأداة مجموعة واسعة من إمكانات توسيع مجموعات البيانات، بما في ذلك التحويلات اللغوية للنص، والتحويلات الزمنية والبصرية للفيديو، والتحويلات الصوتية للصوت.

RedPajama-Data هي مجموعة أدوات لمعالجة مجموعات البيانات النصية واسعة النطاق المستخدمة لتدريب النماذج اللغوية الكبيرة. توفر خط أنابيب معالجة يركز على تنظيف، وإزالة التكرار، وتسجيل مجموعات ضخمة من النصوص لضمان جودة البيانات وتنوعها. يستخدم المشروع إطار عمل لتسجيل جودة المستندات يستخدم التعلم الآلي والاستدلالات الإحصائية لتقييم ما إذا كانت المستندات مناسبة للتدريب. يتضمن خط أنابيب تصفية مجموعات البيانات الذي يستخدم المصنفات والقوائم السوداء لإزالة الكلمات أو روابط URL غير المرغوب فيها. يتميز النظام بمجموعة أدوات لإزالة تكرار النصوص تقضي على المحتوى الزائد باستخدام تقنيات المطابقة الدقيقة والتقريبية. تسمح هذه القدرات بتحديد وإزالة المستندات المكررة أو المتطابقة تقريباً عبر مجموعة بيانات.

Muzic هي منصة وإطار عمل للتعلم العميق لتحليل الموسيقى وتأليفها وتوليفها بواسطة الذكاء الاصطناعي. تعمل كإطار عمل لتوليد الموسيقى وأداة تحليل، باستخدام نماذج لغة كبيرة ووكلاء مستقلين لتنسيق إنشاء وتفسير الموسيقى الرمزية والصوتية. يتميز المشروع بقدراته عبر الوسائط، حيث يربط اللغة الطبيعية والموسيقى الرمزية في مساحة تضمين مشتركة للتصنيف بدون أمثلة (zero-shot) واسترجاع المعلومات. يوظف مجموعة متنوعة من المعماريات المتخصصة، بما في ذلك أطر عمل الانتشار لتوليف الصوت، وآليات الانتباه ثنائية الحبيبات لاتساق الهيكل طويل التسلسل، ونظام هجين يجمع بين قواعد نظرية الموسيقى والشبكات العصبية. تغطي المنصة مجموعة واسعة من القدرات، بما في ذلك توليد تسلسلات MIDI من النص والكلمات، وتوليف صوت الغناء العصبي، ونسخ الكلمات تلقائيًا. كما توفر أدوات لنمذجة هيكل الموسيقى، والتوليد الرمزي القائم على السمات، وتنسيق أدوات الموسيقى الخارجية عبر وكلاء مستقلين. تشمل الأدوات المساعدة خطوط أنابيب هندسة البيانات لتحويل MIDI إلى ثنائي على نطاق واسع، وترميز مجموعات البيانات، ومعالجة الإشارات الصوتية لاستخراج نوتات اللحن ومحاذاة الكلام إلى فونيم.

هذا المشروع عبارة عن إطار عمل PyTorch لإعادة تحديد هوية الأشخاص مصمم لتدريب وتقييم النماذج التي تحدد الأفراد عبر مشاهد كاميرا مختلفة. يوفر خط أنابيب تدريب نموذج كامل، ومستخرج ميزات تعلم عميق لتحويل الصور إلى متجهات رقمية، ومجموعة من أدوات قياس الرؤية الحاسوبية لقياس دقة استرجاع الهوية. يتضمن إطار العمل مجموعة أدوات تعلم نقل متخصصة تدعم تجميد الطبقات، وتحسين معدل التعلم المرحلي، ومعدلات تعلم تفاضلية لضبط النماذج المدربة مسبقاً. يتميز بمحرك قابل للتوسيع يسمح بتطوير منطق تدريب مخصص وتنفيذ أهداف تحسين محددة مثل تعدين خسارة الثلاثي للعينة الصعبة وتنعيم التسميات. يغطي النظام إدارة شاملة لمجموعات البيانات، بما في ذلك دعم المعايير القياسية، وأخذ عينات الدفعات المتوازنة، وتعزيز الصور. يوفر أدوات تقييم لحساب رتب الاسترجاع ومسافات الميزات، بالإضافة إلى أدوات تصور لتوليد خرائط حرارة التنشيط ومعارض الاسترجاع المصنفة. تم تنفيذ المشروع بلغة Python ويستفيد من PyTorch لعمليات التعلم العميق الخاصة به.

Caffe هو إطار عمل للتعلم العميق عالي الأداء ومكتبة للشبكات العصبية التلافيفية مصممة لتدريب ونشر الشبكات العصبية. يعمل كمحرك تعلم آلي مسرع بواسطة GPU مع نواة منفذة بلغة C++ لتمكين عمليات الموترات (tensor) عالية الإنتاجية. يستخدم المشروع نظام تكوين تصريحي حيث يتم تعريف معماريات النماذج والمعاملات الفائقة في ملفات نصية خارجية، مما يفصل تصميم الشبكة عن كود التنفيذ. يتضمن نظام تسلسل للنماذج لتصدير الأوزان والطوبولوجيا المدربة إلى ملفات ثنائية للنشر الفعال عبر بيئات أجهزة مختلفة. يغطي إطار العمل مجموعة واسعة من القدرات، بما في ذلك تصميم معمارية الشبكة العصبية، والتدريب الخاضع للإشراف للنماذج مع التحسين القائم على التدرج، وسير عمل تصنيف الصور. يوفر أدوات لمعالجة البيانات مسبقاً، واستخراج الميزات العصبية، وضبط النماذج المدربة مسبقاً. نواة C++ متاحة من خلال واجهة متعددة اللغات مع روابط رسمية لـ Python وMATLAB.

هذا المشروع عبارة عن مجموعة أدوات لتحليل الصور الحيوية في Python مصممة لمعالجة وتحليل صور المجهر والصور الطبية. يوفر مجموعة من الأدوات لقياس الصور، وتجزئة الصور الطبية، وسير عمل التصوير الحيوي العام. تتضمن المجموعة إمكانيات متخصصة لقياس البيانات البيولوجية، مثل قياس تعقيد تفرع الخلايا العصبية عبر تحليل Sholl، وحساب توزيعات أحجام الجسيمات، وتتبع مساحة الجروح في اختبارات الخدش. كما يتميز بمكتبة لتجزئة الصور الطبية تنفذ معماريات U-Net لعزل الهياكل التشريحية في البيانات ثلاثية الأبعاد، وتستخدم شبكات الخصومة التوليدية (GANs) لإنشاء صور علمية اصطناعية لزيادة حجم مجموعات البيانات. بشكل عام، يغطي المشروع بدائيات معالجة الصور بما في ذلك إزالة الضوضاء، وتحسين التباين، والتحويلات المورفولوجية. ويوفر أدوات لإدارة مجموعات البيانات لتحويل التعليقات التوضيحية بين تنسيقات COCO و YOLO والأقنعة الثنائية، بالإضافة إلى أدوات تعلم الآلة لتدريب الشبكات العصبية وتنفيذ نقل الأوزان القائم على المشفرات التلقائية (autoencoders). يتم توفير سير عمل التحليل كسلسلة من دفاتر Jupyter التفاعلية.

هذا المشروع هو إطار عمل لاكتشاف الكائنات TensorFlow مصمم لتدريب ونشر نماذج Single Shot MultiBox Detector. يوفر مجموعة أدوات تدريب شبكة عصبية لتنفيذ بنية SSD لتحقيق توطين الكائنات في الصور والفيديو في الوقت الفعلي. يتضمن إطار العمل خط أنابيب بيانات مخصصاً لتحويل مجموعات بيانات اكتشاف الكائنات إلى تنسيقات سجل ثنائية لزيادة سرعة التدريب والأداء. كما يتميز بأدوات لتحويل أوزان النموذج بين تنسيقات نقاط الفحص المختلفة لتسهيل إعادة استخدام الشبكات المدربة مسبقاً. يغطي النظام مجموعة واسعة من القدرات بما في ذلك ضبط النموذج على مجموعات بيانات مخصصة، وتدريب اكتشاف الكائنات، وتقييم الدقة من خلال قياس مقاييس الدقة والاستدعاء.

This project is a deep learning framework designed for end-to-end speech-to-text transcription. It utilizes the WaveNet neural network architecture to process spoken audio input and generate written text transcripts, leveraging connectionist temporal classification to map variable-length audio sequences to character-level outputs. The system distinguishes itself through a comprehensive training pipeline that supports distributed execution across multiple graphics processing units. It includes specialized utilities for audio data augmentation and the transformation of raw audio files into opti

TensorFlowTTS هو إطار عمل للتركيب الصوتي العصبي يُستخدم لتحويل النص إلى موجات صوتية عالية الدقة. يوفر الإطار مجموعة أدوات لتدريب وضبط معماريات الشبكات العصبية التوليدية أو نماذج التسلسل إلى تسلسل لإنتاج كلام طبيعي. يتضمن النظام تطبيقات للمشفرات الصوتية العصبية (Neural Vocoders) التي تحول التمثيلات الصوتية الوسيطة إلى موجات صوتية نهائية، كما يتميز بالتحكم في سرعة التشغيل لضبط معدل مخرجات الكلام المُركّب. يغطي إطار العمل خط الإنتاج الكامل للتركيب الصوتي، بدءاً من معالجة البيانات الصوتية لإنشاء مخططات طيفية (Mel Spectrograms) مُطبعة، وصولاً إلى خط تدريب يدير عمليات تدريب النماذج المسرّعة بواسطة GPU. كما يستخدم إطارات تدريب مخصصة للتعامل مع دوال الخسارة ومنطق التحسين أثناء عملية التدريب.