Awesome GitHub RepositoriesDataset Preprocessing Tools

Deepagents is an LLM agent orchestration platform and stateful application server designed for deploying and managing AI agents built with computational graphs. It provides a containerized runtime environment that handles agent execution, state persistence, and the versioning of AI assistants. The platform distinguishes itself through deep integration with the Model Context Protocol, allowing agents to function as servers that expose tools and capabilities to external clients. It features a sophisticated observability suite for capturing execution traces, performing LLM-based evaluations agai

StyleGAN2 is a TensorFlow generative adversarial network and image synthesis model designed to produce high-resolution synthetic visual content. It functions as a deep learning architecture that learns patterns from image datasets to synthesize new images. The project includes a latent space projection tool for mapping existing images to latent vectors to analyze their representation within a generative model. It also provides an image quality evaluation framework to measure the visual fidelity and diversity of synthetic outputs. The system covers the full generative pipeline, including imag

ESPnet is a comprehensive speech processing toolkit and PyTorch-based trainer designed for building end-to-end speech recognition, synthesis, and translation models. It provides a structured framework for developing automatic speech recognition systems using transducer and encoder-decoder architectures, alongside engines for text-to-speech synthesis and speech translation pipelines. The project distinguishes itself through a recipe-based workflow execution system that ensures experimental reproducibility by running standardized sequences of scripts for data preparation and model training. It

Amphion is an audio generation toolkit designed for the research and development of models that synthesize speech, music, and environmental sound effects. It provides a standardized framework for reproducible audio synthesis, incorporating a text-to-speech engine and a voice conversion framework. The project specializes in transforming audio identities, allowing for the modification of speaker accents and voice identities while preserving original rhythm and style. It also includes capabilities for singing voice synthesis and the generation of environmental soundscapes from text descriptions

GoLearn is a machine learning library for the Go programming language. It provides a supervised learning framework and a toolkit for building, training, and evaluating predictive models through a standardized interface. The project implements a data frame system that loads CSV files into structured grids for matrix operations. It includes a preprocessing library for discretizing continuous variables and a model evaluation toolkit that utilizes confusion matrices and cross-validation to measure precision and recall. The library covers data engineering and management, including the ability to

This project is an AI singing voice conversion system and vocal processor used for training generative voice models and converting vocal recordings or live input into a target voice. It functions as a VITS model trainer and a real-time voice changer that transforms vocal timbre and pitch to change the identity of a singer. The system provides a graphical management dashboard for controlling training hyperparameters and voice conversion presets. It supports low-latency audio streaming for live microphone input and employs pitch estimation to ensure precise matching between source and target vo

jetson-inference is a set of libraries and tools for executing optimized deep learning models on embedded GPU hardware. Its primary purpose is to enable real-time computer vision and AI inference at the edge with low latency and high throughput. The project distinguishes itself through high-performance streaming analytics and the ability to execute concurrent AI pipelines on auto-grade silicon. It provides specialized support for multi-sensor stream processing, utilizing zero-copy data transport to load camera frames directly into GPU memory. The codebase covers a broad surface of capabiliti

This project is a Chinese automatic speech recognition framework and deep learning system designed to convert spoken Chinese audio into written text. It functions as a toolkit for training, evaluating, and deploying speech-to-text models, utilizing a specialized pinyin-to-text converter that transforms phonetic sequences into Chinese characters using a probability graph model. The system is distinguished by its deployment flexibility, offering a dockerized recognition server that provides transcription capabilities as a remote API. It supports high-performance streaming through a gRPC speech-

Silero VAD is a voice activity detection model and deep learning speech classifier designed to distinguish human speech from silence across diverse languages and noisy environments. It functions as a pre-trained neural network capable of identifying speech segments within both static audio recordings and real-time data streams. The project includes a language identification tool for classifying spoken languages and a framework for fine-tuning audio models. It provides utilities for optimizing detection thresholds using validation datasets and retraining the model with custom labeled audio to

Anti-Anti-Spider is an automated web scraping toolkit and CAPTCHA bypass framework. It uses convolutional neural networks to recognize characters and digits in image-based security challenges, enabling programmatic access to protected web content. The project functions as an image recognition model trainer, providing a workflow to preprocess labeled image datasets and train custom neural networks. Users can configure model architectures and hyperparameters to align the recognition system with the visual style of specific target websites. The toolkit covers capabilities for image data preproc

xtuner ist eine umfassende Trainings-Engine für Large Language Models und bietet ein Toolkit für Pre-Training, Supervised Fine-Tuning und die Optimierung von vision-sprachlichen multimodalen Modellen. Sie dient als verteilter Trainingsbeschleuniger und spezialisiertes Framework zur Skalierung von Mixture-of-Experts-Modellen sowie zur Ausrichtung von Modellverhalten durch Reinforcement Learning from Human Feedback. Das Projekt zeichnet sich durch fortgeschrittene Speicher- und Rechenoptimierungen aus, wie Sequence-Parallelism für ultra-lange Kontextfenster und Interleaved-Pipeline-Parallelism zur Reduzierung von GPU-Idle-Zeiten. Es bietet eine dedizierte Suite für Preference-Optimization und implementiert Techniken wie Group Relative Policy Optimization und Direct Preference Optimization, um Modell-Policies und Belohnungssysteme zu verfeinern. Breite Funktionsbereiche decken verteiltes Modelltraining über mehrere Knoten hinweg, multimodale Datensatzvorbereitung und die Verwaltung von Adapter-basiertem Fine-Tuning ab. Die Engine enthält zudem Tools für Modellevaluation, Weight-Merging und den Export trainierter Parameter in Inferenz-Engines. Das Training wird über standardisierte Konfigurationsdateien und verteilte Launcher verwaltet, um konsistente Ergebnisse über Rechencluster hinweg sicherzustellen.

AugLy is a multimodal data augmentation library and machine learning dataset augmentor. It provides a system for generating synthetic variations of training data across audio, image, text, and video datasets to increase sample diversity and improve model robustness. The library functions as a multimedia noise simulator, specifically designed to mimic real-world user captures by overlaying social media templates and internet artifacts onto media. It includes a data provenance tracker to record the specific transformations and intensity levels applied to each piece of augmented data. The tool

RedPajama-Data ist ein Toolset für das Preprocessing großskaliger Textdatensätze, die zum Training großer Sprachmodelle verwendet werden. Es bietet eine Preprocessing-Pipeline, die sich auf das Bereinigen, Deduplizieren und Bewerten massiver Textsammlungen konzentriert, um Datenqualität und -vielfalt sicherzustellen. Das Projekt nutzt ein Framework zur Bewertung der Dokumentqualität, das Machine Learning und statistische Heuristiken einsetzt, um zu bewerten, ob Dokumente für das Training geeignet sind. Es enthält eine Datensatz-Filter-Pipeline, die Klassifikatoren und Blocklisten verwendet, um unerwünschte Wörter oder URLs zu entfernen. Das System verfügt über ein Text-Deduplizierungstoolset, das redundante Inhalte sowohl mit exakten als auch mit Fuzzy-Matching-Techniken eliminiert. Diese Funktionen ermöglichen die Identifizierung und Entfernung doppelter oder nahezu identischer Dokumente innerhalb eines Korpus.

Muzic ist eine Deep-Learning-Plattform und ein Framework für KI-gestützte Musikanalyse, Komposition und Synthese. Es fungiert als Musikgenerierungs-Framework und Analysetool, das große Sprachmodelle und autonome Agenten nutzt, um die Erstellung und Interpretation symbolischer und auditiver Musik zu orchestrieren. Das Projekt zeichnet sich durch seine cross-modale Fähigkeiten aus, bei denen natürliche Sprache und symbolische Musik in einen gemeinsamen Embedding-Raum für Zero-Shot-Klassifizierung und Informationsabruf abgebildet werden. Es verwendet eine Vielzahl spezialisierter Architekturen, einschließlich Diffusions-Frameworks für die Audiosynthese, Dual-Grain-Aufmerksamkeitsmechanismen für strukturelle Konsistenz bei langen Sequenzen und ein hybrides System, das musiktheoretische Regeln mit neuronalen Netzwerken kombiniert. Die Plattform deckt ein breites Spektrum an Funktionen ab, einschließlich der Generierung von MIDI-Sequenzen aus Text und Liedtexten, neuronaler Gesangssynthese und automatisierter Liedtext-Transkription. Sie bietet zudem Tools für die Modellierung von Musikstrukturen, attributbasierte symbolische Generierung und die Orchestrierung externer Musiktools über autonome Agenten. Unterstützende Dienstprogramme umfassen Data-Engineering-Pipelines für die MIDI-Binarisierung im großen Maßstab, Datensatz-Kodierung und Audiosignalverarbeitung für die Extraktion von Melodienoten und die Ausrichtung von Sprache zu Phonemen.

This project is a PyTorch person re-identification framework designed for training and evaluating models that identify individuals across different camera views. It provides a complete model training pipeline, a deep learning feature extractor for converting images into numeric vectors, and a suite of computer vision benchmarking tools to measure identity retrieval accuracy. The framework includes a specialized transfer learning toolkit that supports layer freezing, staged learning rate optimization, and differential learning rates for fine-tuning pretrained models. It distinguishes itself th

Caffe ist ein leistungsstarkes Deep-Learning-Framework und eine Bibliothek für Convolutional Neural Networks, die für das Training und Deployment neuronaler Netze entwickelt wurde. Es fungiert als GPU-beschleunigte Machine-Learning-Engine mit einem in C++ implementierten Kern, um Tensor-Operationen mit hohem Durchsatz zu ermöglichen. Das Projekt nutzt ein deklaratives Konfigurationssystem, bei dem Modellarchitekturen und Hyperparameter in externen Textdateien definiert werden, wodurch das Netzwerkdesign vom Ausführungscode getrennt wird. Es enthält ein Modell-Serialisierungssystem, um trainierte Gewichte und Topologien für ein effizientes Deployment in verschiedenen Hardwareumgebungen in Binärdateien zu exportieren. Das Framework deckt ein breites Spektrum an Funktionen ab, einschließlich des Designs neuronaler Netzwerkarchitekturen, des überwachten Modelltrainings mit gradientenbasierter Optimierung und Workflows für die Bildklassifizierung. Es bietet Tools für die Dataset-Vorverarbeitung, die Extraktion neuronaler Features und das Fine-Tuning vortrainierter Modelle. Der C++-Kern ist über eine mehrsprachige Schnittstelle mit offiziellen Bindings für Python und MATLAB zugänglich.

This project is a Python bio-imaging toolkit and analysis suite designed for processing and analyzing microscopy and medical images. It provides a collection of tools for image quantification, medical image segmentation, and general bio-imaging workflows. The suite includes specialized capabilities for quantifying biological data, such as measuring neuron branching complexity via Sholl analysis, calculating particle size distributions, and tracking wound area in scratch assays. It also features a medical image segmentation library that implements U-Net architectures for isolating anatomical s

Dieses Projekt ist ein TensorFlow-Framework zur Objekterkennung, das für das Training und die Bereitstellung von Single-Shot-MultiBox-Detector-Modellen (SSD) konzipiert ist. Es bietet ein Toolkit für das Training neuronaler Netze zur Implementierung der SSD-Architektur, um eine Objekterkennung in Bildern und Videos in Echtzeit zu erreichen. Das Framework enthält eine dedizierte Daten-Pipeline zur Transformation von Objekterkennungs-Datensätzen in binäre Record-Formate, um Trainingsgeschwindigkeit und Performance zu steigern. Es bietet zudem Utilities zur Konvertierung von Modellgewichten zwischen verschiedenen Checkpoint-Formaten, um die Wiederverwendung vortrainierter Netzwerke zu erleichtern. Das System deckt ein breites Spektrum an Funktionen ab, einschließlich Modell-Fine-Tuning auf benutzerdefinierten Datensätzen, Training zur Objekterkennung und Genauigkeitsevaluierung durch Messung von Precision- und Recall-Metriken.

This project is a deep learning framework designed for end-to-end speech-to-text transcription. It utilizes the WaveNet neural network architecture to process spoken audio input and generate written text transcripts, leveraging connectionist temporal classification to map variable-length audio sequences to character-level outputs. The system distinguishes itself through a comprehensive training pipeline that supports distributed execution across multiple graphics processing units. It includes specialized utilities for audio data augmentation and the transformation of raw audio files into opti

TensorFlowTTS ist ein Framework für neuronale Sprachsynthese, das Text in hochwertige Audio-Wellenformen umwandelt. Es bietet ein Toolkit zum Trainieren und Finetunen von Sequence-to-Sequence- oder GAN-Architekturen (Generative Adversarial Networks), um natürlich klingende Sprache zu erzeugen. Das System enthält Implementierungen neuronaler Vocoder, die akustische Zwischenrepräsentationen in finale Audio-Wellenformen umwandeln. Zudem bietet es eine Steuerung der Wiedergabegeschwindigkeit, um das Tempo der synthetisierten Sprachausgabe anzupassen. Das Framework deckt die gesamte End-to-End-Pipeline für Sprachsynthese ab, einschließlich der Vorverarbeitung von Audiodaten zur Erstellung normalisierter Mel-Spektrogramme sowie einer Trainings-Pipeline für GPU-beschleunigtes Modelltraining. Es nutzt benutzerdefinierte Trainer-Frameworks, um Verlustfunktionen und Optimierungslogik während des Trainingsprozesses zu verwalten.