Awesome GitHub RepositoriesDataset Loading

ParlAI is a conversational AI research framework designed for training, evaluating, and sharing dialogue models using a unified interface for datasets and agents. It functions as a PyTorch-based training platform and a dialogue data collection system, providing a centralized model zoo for the distribution of versioned pretrained agents. The project distinguishes itself through a knowledge-grounded retrieval system that combines dense and sparse indexing to ground responses in external information. It also provides a comprehensive infrastructure for gathering human-AI interaction data via inte

BasicSR is a PyTorch-based image restoration toolbox and framework designed for training and deploying deep learning models to upscale, denoise, and deblur images and videos. It serves as a comprehensive system for image super-resolution and video quality restoration, providing the necessary infrastructure to recover fine visual details and increase pixel density. The project distinguishes itself through specialized toolkits for facial image enhancement and high-fidelity face synthesis, as well as a dedicated video quality restoration suite that utilizes deformable convolutions and generative

mmagic is a multimodal training pipeline and framework for generative AI, focusing on visual synthesis and restoration. It provides the infrastructure to build and train models for tasks such as text-to-image and text-to-video generation, 3D-aware content synthesis, and high-fidelity image translation using diffusion models and generative adversarial networks. The project distinguishes itself through specialized capabilities for generative model personalization, including techniques for fine-tuning subjects and styles. It also supports advanced visual manipulations such as latent space interp

SSTap-Rule is a routing rule set and game traffic accelerator designed to optimize connectivity and reduce latency for online games. It provides a collection of curated network routing configurations specifically for the SSTap client to ensure game data is directed through optimized network paths. The project utilizes geo-based routing configurations and geographic datasets to balance network routing accuracy and processing efficiency. This allows for the steering of internet traffic based on location to improve connection stability and speed. The system covers broader capabilities in networ

This project is a toolkit and API designed for parsing, manipulating, and visualizing image annotations for computer vision tasks. It provides a programming interface to load and organize Common Objects in Context annotations, specifically for object detection, image segmentation, and keypoint estimation. The library includes tools for converting formatted JSON files into data structures that support the analysis of pixel-level masks and skeletal markers. It enables the visual verification of ground truth accuracy by rendering bounding boxes, segmentation masks, and keypoint markers directly

Gluon-CV ist eine MXNet-Computer-Vision-Bibliothek, die eine umfassende Sammlung vortrainierter Vision-Architekturen und Trainings-Pipelines bereitstellt. Sie dient als Deep-Learning-Research-Toolkit und Model-Zoo mit State-of-the-Art-Gewichten für die Bild- und Videoanalyse. Das Projekt enthält eine spezialisierte Bibliothek für Human-Pose-Estimation sowie ein Toolkit zur Modellkompression. Diese Tools ermöglichen das Pruning und die Quantisierung von Deep-Learning-Modellen, um die Inferenzgeschwindigkeit zu erhöhen und die Bereitstellung auf ressourcenbeschränkter Edge-Hardware zu erleichtern. Die Bibliothek deckt ein breites Spektrum an Vision-Funktionen ab, darunter Bildklassifizierung, Objekterkennung sowie semantische und Instanz-Segmentierung. Sie bietet zudem Tools für die Videoanalyse, wie Action-Recognition, Objekt-Tracking und monokulare Tiefenschätzung. Das Training wird durch automatisierte Pipelines und verteilte Multi-GPU-Workloads unterstützt, um die Modellkonvergenz zu beschleunigen.

Dieses Projekt ist ein Lehrplan für Machine Learning und eine Lernplattform, die über interaktive Jupyter Notebooks bereitgestellt wird. Es dient als umfassender Leitfaden zur Beherrschung des Python-Data-Science-Toolkits und bietet strukturierte Tutorials für numerisches Rechnen, Manipulation tabellarischer Daten und statistische Visualisierung. Der Lehrplan enthält spezifische Implementierungsleitfäden für Scikit-Learn und einen praktischen Kurs zu TensorFlow für den Aufbau, das Training und das Deployment neuronaler Netze und Computer-Vision-Modelle. Er deckt den End-to-End-Prozess des Aufbaus prädiktiver Modelle ab, von der anfänglichen Problemformulierung und Aufgabenkategorisierung bis hin zum Deployment der Modelle über interaktive Weboberflächen. Das Projekt deckt ein breites Funktionsspektrum ab, einschließlich numerischem Rechnen mit mehrdimensionalen Arrays, explorativer Datenanalyse und Datenvorverarbeitungsroutinen. Es bietet detaillierte Workflows für überwachtes und unüberwachtes Lernen, automatisierte Machine-Learning-Pipelines, Hyperparameter-Optimierung und Modellbewertung mittels Klassifizierungsmetriken und Kreuzvalidierung. Der Bildungsinhalt ist als eine Reihe von Notebooks strukturiert, die Python-Code mit narrativen Erklärungen verknüpfen, um Data-Science-Workflows zu dokumentieren.

pgai ist ein PostgreSQL-KI-Toolkit und -Framework, das darauf ausgelegt ist, Large Language Models und Vektor-Embeddings direkt in eine Datenbank zu integrieren. Es dient als Brücke für die Ausführung von Anfragen an Machine-Learning-Modelle und die Durchführung von Text-zu-SQL-Übersetzungen innerhalb von Standard-Datenbankabfragen. Das Projekt bietet eine automatisierte Pipeline für Vektor-Embeddings, die das Laden, Parsen und Chunking von Text aus Tabellen und unstrukturierten Dokumenten übernimmt. Dieses System nutzt einen Hintergrund-Worker, um Embeddings automatisch zu synchronisieren, wenn sich Quelldaten ändern, und enthält spezialisierte Tools für den Aufbau von RAG-Anwendungen (Retrieval-Augmented Generation) und semantischen Suchmaschinen. Das Toolkit deckt breite Funktionsbereiche ab, darunter die Verarbeitung unstrukturierter Daten mittels OCR, die Erstellung semantischer Kataloge zur Abbildung von Datenbankschemata auf natürliche Sprache sowie die Implementierung von Hochleistungs-Ähnlichkeitssuchen durch Vektorindizierung und Result-Reranking. Zudem ermöglicht es Datenanreicherung, Klassifizierung und Content-Moderation durch den Aufruf externer Modelle via SQL.

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a configurable training pipeline orchestrated through YAML recipes, with CLI overrides and component swapping, distributed training via FSDP2, memory optimizations, and parameter-efficient fine-tuning methods like LoRA, DoRA, and QLoRA. The library distinguishes itself through its YAML-driven configuration system that defines all training parameters and instantiates components from config files, with full CLI override capability for any field or component at launch time. It suppo

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a config-driven system for instantiating components, orchestrating distributed training, and managing parameter-efficient fine-tuning with quantization support, all through YAML-based configurations and command-line overrides. The library distinguishes itself through its comprehensive post-training workflow orchestration, combining supervised fine-tuning, preference optimization (DPO, PPO, GRPO), knowledge distillation, and quantization-aware training in a single configurable pip

Data on COVID-19 (coronavirus) cases, deaths, hospitalizations, tests • All countries • Updated daily by Our World in Data

MMF is a modular framework for building, training, and evaluating vision-and-language models. It provides a configuration-driven experiment system where model, dataset, and training parameters are defined through composable YAML files, alongside a curated model zoo of pretrained checkpoints for state-of-the-art multimodal architectures. The framework includes a multimodal dataset loader that downloads, processes, and batches vision-and-language data, and a vision-language model trainer supporting distributed training, mixed precision, and checkpoint-based resumption. The framework distinguish

dlt ist ein Python-Tool zur Datenaufnahme und ein ETL-Pipeline-Framework, das darauf ausgelegt ist, Daten aus verschiedenen Quellen abzurufen und in strukturierten Zielen zu speichern. Es fungiert als Schema-Inferenz-Engine, die automatisch Datentypen erkennt und verschachtelte JSON-Strukturen in relationale Tabellen flacht, wobei Daten von Quellen in Lakehouses, Warehouses oder Vektordatenbanken verschoben werden. Das Projekt zeichnet sich durch KI-gestützte Pipeline-Generierung aus, die Large Language Models nutzt, um Extraktionscode und Konnektoren für REST-APIs zu erstellen. Es unterstützt zudem multimodale Vektorspeicherung und die spezialisierte Befüllung von Vektordatenbanken zur Unterstützung von KI- und Machine-Learning-Anwendungen. Das Framework deckt ein breites Spektrum an Funktionen ab, einschließlich automatisierter Schema-Evolution, inkrementellem Datenladen mittels Statusverfolgung und Datenqualitätsvalidierung durch die Durchsetzung von Datenverträgen. Es bietet Tools für relationale Datennormalisierung, Pre- und Post-Load-Transformationen sowie eine Vielzahl von Ziel-Adaptern für SQL-Datenbanken und Cloud-Objektspeicher. Die Observability wird durch Pipeline-Ausführungs-Dashboards, Spalten-Lineage-Tracking und Schema-Versionsverifizierung mittels inhaltsbasierter Hashes gehandhabt.

xtuner ist eine umfassende Trainings-Engine für Large Language Models und bietet ein Toolkit für Pre-Training, Supervised Fine-Tuning und die Optimierung von vision-sprachlichen multimodalen Modellen. Sie dient als verteilter Trainingsbeschleuniger und spezialisiertes Framework zur Skalierung von Mixture-of-Experts-Modellen sowie zur Ausrichtung von Modellverhalten durch Reinforcement Learning from Human Feedback. Das Projekt zeichnet sich durch fortgeschrittene Speicher- und Rechenoptimierungen aus, wie Sequence-Parallelism für ultra-lange Kontextfenster und Interleaved-Pipeline-Parallelism zur Reduzierung von GPU-Idle-Zeiten. Es bietet eine dedizierte Suite für Preference-Optimization und implementiert Techniken wie Group Relative Policy Optimization und Direct Preference Optimization, um Modell-Policies und Belohnungssysteme zu verfeinern. Breite Funktionsbereiche decken verteiltes Modelltraining über mehrere Knoten hinweg, multimodale Datensatzvorbereitung und die Verwaltung von Adapter-basiertem Fine-Tuning ab. Die Engine enthält zudem Tools für Modellevaluation, Weight-Merging und den Export trainierter Parameter in Inferenz-Engines. Das Training wird über standardisierte Konfigurationsdateien und verteilte Launcher verwaltet, um konsistente Ergebnisse über Rechencluster hinweg sicherzustellen.

This is an interactive notebook-based course that teaches machine learning from Python fundamentals through deep learning and natural language processing. It uses real datasets and multiple frameworks within a structured, hands-on curriculum that combines concise explanations with executable code cells, built-in datasets, and embedded exercise checkpoints. Learning progresses through data preparation and exploration, classical machine learning workflows, computer vision with convolutional neural networks, and natural language processing with deep learning, all delivered as a cohesive progressi

OpenPrompt ist ein Prompt-Learning-Framework, das darauf ausgelegt ist, Large Language Models an nachgelagerte NLP-Aufgaben anzupassen. Es bietet ein umfassendes Toolkit zur Implementierung von manuellen, Soft- und kontinuierlichen Prompting-Strategien, wodurch Modelle verfeinert werden können, ohne alle zugrunde liegenden Parameter aktualisieren zu müssen. Das Projekt zeichnet sich durch die Unterstützung von diskretem und kontinuierlichem Prompt-Tuning aus. Es enthält ein System zum Injizieren trainierbarer Soft-Tokens und Embeddings in Modelleingaben mittels Gradientenabstieg sowie eine automatische Prompt-Generierungs-Engine, die Beam-Search und generative Modelle verwendet, um hochwahrscheinliche Text-Templates für spezifische Datensätze zu finden. Das Framework deckt mehrere Kernbereiche ab, darunter Template-Design und Label-Verbalisierung zur Zuordnung von Klassifizierungs-Labels zu Vokabelwörtern. Es bietet zudem Modell-Anpassungstools zum Umhüllen vortrainierter Modelle, Logit-Kalibrierung zur Verbesserung der Vorhersagegenauigkeit sowie eine Daten-Pipeline mit spezialisierter Sampling-Logik für Few-Shot-Learning. Trainings- und Experiment-Workflows werden über Konfigurationsdateien verwaltet, die Lernszenarien, Hyperparameter und Pipeline-Spezifikationen definieren.

Dieses Projekt ist eine umfassende Lehrressource und ein Kurs zum Aufbau neuronaler Netze mit PyTorch. Es deckt die grundlegenden Bausteine des Deep Learning ab, einschließlich Tensor-Manipulation, automatischer Differenzierung und der Konstruktion modularer Komponenten für neuronale Netze. Das Repository dient als technischer Leitfaden für verschiedene spezialisierte Bereiche. Es bietet Implementierungsdetails für Computer-Vision-Aufgaben wie Bildklassifizierung, Objekterkennung und semantische Segmentierung sowie Workflows für die Verarbeitung natürlicher Sprache (NLP) mit Transformern, rekurrenten Netzen und generativen Modellen. Zudem enthält es eine Referenz für generative KI, mit Fokus auf die Synthese von Bildern mittels Diffusionsmodellen und adversarialen Netzwerken. Das Material erstreckt sich auf Modelloptimierung und Deployment-Pipelines. Es behandelt Techniken zur Reduzierung der Modellgröße und zur Erhöhung der Inferenzgeschwindigkeit durch Quantisierung und den Export von Modellen in Formate wie ONNX und TensorRT. Weitere Kompetenzbereiche umfassen Data Engineering für paralleles Laden, Modellevaluierung mittels benutzerdefinierter Metriken und das Deployment von Open-Source Large Language Models. Das Projekt wird primär als eine Reihe von Jupyter Notebooks bereitgestellt.

Dieses Projekt ist eine Plattform für verteiltes maschinelles Lernen und ein Framework für Sparse Deep Learning, das für das Training und Serving von Modellen mit hochdimensionalen, spärlichen Daten konzipiert ist. Es fungiert als Online-Modell-Serving-Infrastruktur und Engine für Empfehlungssysteme und ermöglicht das Echtzeit-Item-Retrieval und Scoring mittels Deep-Tree-Matching und neuronalen Netzen. Das System zeichnet sich durch ein Multi-Task-Learning-Framework aus, das mehrere Zielfunktionen innerhalb eines gemeinsamen Repräsentationsraums optimiert. Es bietet eine spezialisierte Online-Serving-Infrastruktur, die dynamisches Hot-Loading von Modellen und die Transformation von Standard-Checkpoints in ein benutzerdefiniertes, optimiertes Format für High-Performance-Inferenz unterstützt. Die Plattform deckt eine breite Palette an Funktionen ab, einschließlich verteilter Parameterverwaltung zur Skalierung des Trainings über mehrere Worker hinweg, Sparse-Embedding-Berechnung für kategoriale Features und baumbasiertes neuronales Retrieval für groß angelegte Kataloge. Zudem bietet sie Tools für das Streaming-Trainingsmanagement, Feature-Lebenszykluskontrolle via Wahrscheinlichkeitsschwellenwerte und Performance-Profiling zur Identifizierung von Ausführungsengpässen. Das Projekt enthält eine einheitliche Trainingsschnittstelle und Backend-Framework-Integration, um die Ausführung von Trainings-, Vorhersage- und Evaluierungsaufgaben zu standardisieren.

SWE-bench is an automated evaluation framework that tests large language models on real-world software engineering tasks. It measures how effectively models can generate and apply code patches that resolve actual GitHub issues, using a standardized dataset and scoring system built around Docker-based patch verification against original project test suites. The framework provides curated benchmark datasets spanning comprehensive, fast, verified, multilingual, and multimodal evaluation splits, allowing targeted assessment of model capabilities across different programming languages and issue ty

TorchGeo is a PyTorch library designed for deep learning on geospatial data, providing a framework for building and training neural networks for tasks such as semantic segmentation, object detection, and change detection. It serves as a comprehensive pipeline for remote sensing, featuring specialized dataset loaders and multispectral image preprocessing tools. The library is distinguished by a dedicated remote sensing model zoo and extensive support for transfer learning, allowing users to integrate pre-trained weights optimized for specific satellite sensors. It also includes support for sel