Awesome GitHub RepositoriesSequence Model Training

Metaseq ist ein Transformer-Sequenzmodellierungs-Toolkit, das für das Training, Fine-Tuning und die Bereitstellung von Sequence-to-Sequence-Modellen unter Verwendung offener, vortrainierter Gewichte entwickelt wurde. Es bietet ein umfassendes Framework für das Training von Large Language Models, einschließlich dedizierter Tools für die Verarbeitung von Sequenz-Datensätzen und einen eigenständigen Inference-Server zur Textgenerierung via API-Anfragen. Das Projekt bietet spezialisierte Dienstprogramme für Modell-Quantisierung, um die Parameterpräzision auf acht Bit zu reduzieren, was den Speicherverbrauch senkt und die Inferenzgeschwindigkeit erhöht. Es enthält zudem eine Checkpoint-Konvertierungs-Pipeline, um Modellgewichte in Strukturen umzuwandeln, die für leistungsstarke Inferenz-Engines optimiert sind. Das Framework unterstützt groß angelegtes Training über GPU-Cluster hinweg durch den Einsatz von Tensor-Parallelität und Sharded-Data-Parallelität. Zusätzliche Funktionen decken die Vorbereitung von NLP-Datensätzen, das Laden vortrainierter Gewichte für Transfer Learning und die Nachverfolgung von Trainingsmetriken zur Fortschrittsvisualisierung ab.

Smile is a comprehensive JVM machine learning library and statistical computing toolkit. It provides a suite of algorithms for classification, regression, and clustering, implemented natively for Java, Scala, and Kotlin. The project also functions as a deep learning framework, a natural language processing library, and an inference engine for large language models. The library distinguishes itself through GPU acceleration via LibTorch bindings and support for the ONNX model interchange format. It includes specialized capabilities for large language model inference, featuring Byte-Pair Encodin

tsai ist eine Deep-Learning-Bibliothek für Zeitreihenklassifizierung, Regression und Prognosen. Basierend auf PyTorch und fastai bietet sie ein Framework, um sequenziellen Daten Labels zuzuweisen, zukünftige Werte in univariaten oder multivariaten Sequenzen vorherzusagen und Repräsentationen in unbeschrifteten Daten mittels selbstüberwachtem Lernen zu trainieren. Die Bibliothek zeichnet sich durch spezialisierte Funktionen für Temporal Engineering und Skalierung aus. Sie enthält Tools für zyklische zeitliche Kodierung zur Erfassung saisonaler Muster sowie Online-Window-Slicing zur Verarbeitung von Datensätzen, die den verfügbaren Arbeitsspeicher übersteigen. Zudem unterstützt sie multimodale Input-Pipelines, die statische kategoriale Merkmale mit dynamischen kontinuierlichen Sequenzen kombinieren. Das Toolkit deckt ein breites Spektrum an Anforderungen für Vorverarbeitung und Evaluierung ab, darunter Sliding-Window-Segmentierung, Imputation fehlender Daten und die Konvertierung von tabellarischen Dataframes in strukturierte Tensoren. Die Modellleistung wird durch Walk-Forward-Validierung und Feature-Importance-Analyse bewertet, um zeitliche Konsistenz sicherzustellen.

Dieses Projekt ist ein Deep-Learning-Poetry-Generator, der darauf ausgelegt ist, traditionelle chinesische Couplets zu erstellen. Er nutzt eine Sequence-to-Sequence-Architektur neuronaler Netze, um Eingabetextsequenzen auf passende Ausgabesequenzen zu mappen, und fungiert als Textgenerierungsmodell sowie als Inferenz-Webservice. Das System verfügt über einen neuronalen Text-Ranking-Mechanismus, der Kandidaten-Outputs basierend auf Längenkonsistenz und Zeichenmustern evaluiert, um eine strukturelle Ausrichtung sicherzustellen. Es enthält zudem einen Content-Filter-Prozess, der generierten Text gegen Listen verbotener Wörter scannt, um sensible oder unangemessene Inhalte zu entfernen. Die breitere Funktionspalette umfasst eine Text-Tokenisierungs-Pipeline zur Datenvorbereitung und ein RESTful-Interface zur Bereitstellung von Modellvorhersagen via JSON. Das Projekt deckt zudem den Machine-Learning-Lebenszyklus ab, einschließlich Modellgewichtsoptimierung, Training und Performance-Evaluierung gegen Validierungsdatensätze.

bert4keras ist eine leichtgewichtige Reimplementierung der BERT-Transformer-Architektur für das Keras-Deep-Learning-Framework. Es dient als Toolkit für die natürliche Sprachverarbeitung (NLP) und als Transformer-Modellbibliothek, die für Textklassifizierung, Sequenz-Labeling und die Extraktion semantischer Embeddings verwendet wird. Das Framework enthält ein Sequence-to-Sequence-Modellsystem für Question-Answering und Textgenerierung sowie einen Modell-Inference-Server, um trainierte Transformer als Web-APIs für Echtzeit-Vorhersagen bereitzustellen. Die Funktionen decken ein breites Spektrum an Aufgaben des natürlichen Sprachverständnisses ab, einschließlich Leseverständnis, Relationsextraktion und Langtextverarbeitung. Die Bibliothek bietet Tools für das Pre-Training und Fine-Tuning von Sprachmodellen sowie Optimierungstechniken wie Parameterreduktion, adversarielles Training für Robustheit und schichtweise Konfiguration der Lernrate. Das Projekt enthält einen Weight-Conversion-Loader, um vortrainierte Gewichte aus externen Formaten in kompatible Keras-Strukturen umzuwandeln.

GluonTS ist ein Framework für probabilistische Zeitreihenprognosen, das darauf ausgelegt ist, zukünftige Werte als Wahrscheinlichkeitsverteilungen mit Konfidenzintervallen vorherzusagen. Es unterstützt sowohl das traditionelle Modelltraining als auch Zero-Shot-Forecasting, bei dem vortrainierte Modelle Vorhersagen für neue Serien ohne zusätzliches Training generieren. Das Projekt zeichnet sich durch die Integration einer Vielzahl von Prognoseansätzen in einen einheitlichen Workflow aus. Dies umfasst Deep-Learning-Architekturen wie rekurrente neuronale Netze und kausale Konvolutionen sowie die Integration externer statistischer Modelle, der Prophet-Bibliothek und R-Paketen. Das Toolkit bietet eine umfassende Oberfläche für das Zeitreihen-Data-Engineering, die Datensatzskalierung, -aufteilung und die Transformation roher Zeitdaten in Tensoren abdeckt. Es enthält zudem eine Suite von Evaluierungstools zur Messung von Prognosegenauigkeit und Unsicherheitsintervallen sowie Hilfsmittel zur Datensatzpersistenz unter Verwendung von Formaten wie Arrow und Parquet. Das Framework unterstützt die Bereitstellung von Prognosemodellen innerhalb der Cloud-Infrastruktur.

GluonTS ist eine probabilistische Zeitreihenbibliothek und ein Deep-Learning-Prognose-Framework. Es bietet ein Toolkit zum Aufbau, Training und zur Evaluierung neuronaler Netzwerkarchitekturen, die zukünftige Werte als Wahrscheinlichkeitsverteilungen vorhersagen, um Unsicherheit zu quantifizieren. Das Projekt zeichnet sich durch die Unterstützung von Zero-Shot-Forecasting und die Integration diverser Modellierungsansätze aus, einschließlich tiefer probabilistischer neuronaler Netze und Wrapper für externe statistische Bibliotheken wie Prophet und R forecast. Es implementiert spezialisierte architektonische Primitiven wie kausale Konvolutionen und invertierbare Residual-Netzwerke, um Informationslecks zu verhindern und latente Repräsentationen in gültige Wahrscheinlichkeitsverteilungen abzubilden. Das Framework deckt eine umfassende Data-Engineering-Oberfläche ab, einschließlich Zeitreihenskalierung, bijektiver Transformationen und hierarchischer Modellierung. Es nutzt Apache Arrow und Parquet für hochperformantes Datensatz-Streaming und Random-Access-Management. Zur Modellbewertung enthält es eine Evaluierungssuite zur Messung von Prognosegenauigkeit und probabilistischer Abdeckung unter Verwendung von Metriken wie Quantile Loss und Continuous Rank Probability Scores. Die Bibliothek unterstützt die Modellbereitstellung durch Integration mit Amazon SageMaker.

Dies ist ein Deep-Learning-Framework für die Vorhersage zukünftiger Werte in sequenziellen Daten unter Verwendung von PyTorch-Architekturen. Es bietet ein Toolkit für langfristige und probabilistische Zeitreihenvorhersagen und enthält eine Daten-Pipeline, um tabellarische Dataframes in Sequenzen für das überwachte Deep-Learning-Training umzuwandeln. Die Bibliothek nutzt einen Trainings-Wrapper, um die Modellausführung über CPUs und GPUs hinweg zu skalieren. Sie unterstützt die Generierung von Wahrscheinlichkeitsverteilungen für zukünftige Ergebnisse anstelle von Einzelpunktschätzungen, um die Vorhersageunsicherheit zu quantifizieren. Das Framework umfasst Funktionen für die Implementierung von Prognosemodellen, die Optimierung von Hyperparametern und die Bewertung der Genauigkeit durch Multi-Horizon-Metriken. Es bietet zudem Methoden für das Benchmarking komplexer Architekturen gegenüber einfachen Basismodellen.

Dieses Projekt ist eine umfassende Lehrressource und ein Kurs zum Aufbau neuronaler Netze mit PyTorch. Es deckt die grundlegenden Bausteine des Deep Learning ab, einschließlich Tensor-Manipulation, automatischer Differenzierung und der Konstruktion modularer Komponenten für neuronale Netze. Das Repository dient als technischer Leitfaden für verschiedene spezialisierte Bereiche. Es bietet Implementierungsdetails für Computer-Vision-Aufgaben wie Bildklassifizierung, Objekterkennung und semantische Segmentierung sowie Workflows für die Verarbeitung natürlicher Sprache (NLP) mit Transformern, rekurrenten Netzen und generativen Modellen. Zudem enthält es eine Referenz für generative KI, mit Fokus auf die Synthese von Bildern mittels Diffusionsmodellen und adversarialen Netzwerken. Das Material erstreckt sich auf Modelloptimierung und Deployment-Pipelines. Es behandelt Techniken zur Reduzierung der Modellgröße und zur Erhöhung der Inferenzgeschwindigkeit durch Quantisierung und den Export von Modellen in Formate wie ONNX und TensorRT. Weitere Kompetenzbereiche umfassen Data Engineering für paralleles Laden, Modellevaluierung mittels benutzerdefinierter Metriken und das Deployment von Open-Source Large Language Models. Das Projekt wird primär als eine Reihe von Jupyter Notebooks bereitgestellt.

Dieses Projekt ist ein Framework für wissenschaftliches Rechnen im .NET-Ökosystem und bietet eine umfassende Suite von Bibliotheken für numerische Analyse, Statistik und mathematische Optimierung. Es dient als grundlegendes Toolkit für die Entwicklung von Anwendungen in den Bereichen Machine Learning, digitale Signalverarbeitung und Computer Vision. Das Framework bietet spezialisierte Toolkits für das Training und die Bereitstellung prädiktiver Modelle, einschließlich neuronaler Netze, Support Vector Machines und Entscheidungsbäumen. Es zeichnet sich zudem durch tiefe Integrationen für Echtzeit-Bildanalyse aus, wie etwa Objektverfolgung und Gesichtserkennung, ergänzt durch eine dedizierte Bibliothek für digitale Signalverarbeitung zur Erfassung und Filterung von Audio- und Sensorsignalen. Das Funktionsspektrum erstreckt sich auf hochgradige Matrixzerlegung und lineare Algebra, probabilistische Zustandsmodellierung und heuristische Suchalgorithmen. Es deckt zudem eine breite Palette an Datenmanipulations-Dienstprogrammen ab, von Dimensionsreduktion und Normalisierung bis hin zur Organisation räumlicher Daten und Komponenten für wissenschaftliche Visualisierung. Das System enthält Hardware-Integrationscontroller für Kamerakonfiguration, GPIO-Port-Management und spezialisierte Tiefensensor-Hardware.

Merlion ist ein Machine-Learning-Framework für Zeitreihen, das für Anomalieerkennung und Prognosen entwickelt wurde. Es bietet eine einheitliche Schnittstelle für die Implementierung und Anwendung verschiedener statistischer und Machine-Learning-Modelle auf zeitliche Datenströme. Das Projekt enthält ein Benchmarking-Dashboard, das die visuelle Prüfung und Evaluierung von Modellen anhand historischer Ground-Truth-Datensätze ermöglicht. Diese Weboberfläche erlaubt das Experimentieren mit verschiedenen Modellen auf benutzerdefinierten Datensätzen ohne manuelles Programmieren. Das Framework deckt Funktionen zur Identifizierung von Ausreißern, zur Vorhersage zukünftiger Zeitreihenwerte und zur Messung der Modellgenauigkeit durch simulationsbasiertes Backtesting von produktiven Trainingszyklen ab.

Dieses Projekt ist eine TensorFlow-Implementierung eines Transformer-Modells und bietet ein Deep-Learning-Framework für Text-zu-Text-Aufgaben, das darauf ausgelegt ist, Sequenzmuster zu erkennen und zu generieren. Es fungiert als auf Attention basierendes Sequenzmodell und als Framework für neuronale maschinelle Übersetzung zur Konvertierung von Text von einer Sprache in eine andere. Das System implementiert die Transformer-Netzwerkarchitektur unter Verwendung von Multi-Head-Attention und Positional Encoding zur Verarbeitung sequenzieller Daten. Es bietet die notwendigen Tools für das Training von Transformer-Modellen und die Inferenz maschineller Übersetzung, was die Ausführung trainierter Modelle zur Übersetzung von Text und zur Evaluierung der Ausgabequalität ermöglicht. Das Projekt deckt die vollständige Pipeline für natürliche Sprachverarbeitung (NLP) ab, einschließlich Textvorverarbeitung für die Vokabulargenerierung und Sequenz-zu-Sequenz-Modellierung. Es integriert strukturelle Komponenten wie Encoder-Decoder-Architekturen, schichtbasierte Normalisierung und Softmax-basierte Wahrscheinlichkeitsverteilungen für die Token-Auswahl.

This project is a collection of educational resources and reference implementations for neural network development using TensorFlow. It serves as a comprehensive learning course, machine learning curriculum, and practical implementation guide for building deep learning architectures. The codebase provides instructional materials and examples covering a wide range of model types, including convolutional neural networks for image classification, recurrent networks and long short-term memory cells for sequential data, and autoencoders for generative modeling. It also includes implementations for

Neural Prophet ist eine auf PyTorch basierende Bibliothek für Zeitreihenprognosen, die für interpretierbares Machine Learning entwickelt wurde. Sie dient als Dekompositions-Framework, das Signale in Bestandteile wie autoregressive Effekte, stückweise lineare Trends und Fourier-basierte Saisonalität zerlegt, um zukünftige Werte vorherzusagen. Das Projekt zeichnet sich durch die Kombination neuronaler Netze mit traditionellen Algorithmen aus, um Prognosen zu erstellen, die zugrunde liegende Trendtreiber erklären. Es bietet einen globalen Zeitreihen-Modellierungsansatz, der es ermöglicht, ein einzelnes Modell über mehrere gleichzeitige Reihen hinweg zu trainieren, um gelernte Muster zu teilen und gleichzeitig lokale Spezifitäten beizubehalten. Zudem fungiert es als Tool zur Unsicherheitsquantifizierung und nutzt Quantil-Regression und konforme Vorhersagen, um zuverlässige Prognoseintervalle zu generieren. Die Bibliothek bietet eine umfassende Suite an Funktionen für das Datenmanagement, einschließlich Abruf von Feiertagen, Lückenfüllung und Normalisierung. Sie deckt den gesamten Modellierungslebenszyklus mit automatisierter Hyperparameter-Optimierung, Erkennung von Trend-Changepoints und der Integration von zukünftigen sowie verzögerten Regressoren ab. Die Analyse wird durch Prognosedekomposition und Input-Attribution unterstützt, um zu visualisieren, wie spezifische Faktoren die finalen Vorhersagen beeinflussen.

Dieses Projekt ist eine chinesische Übersetzung der technischen Handbücher und API-Referenzen für das PyTorch Deep-Learning-Framework. Es dient als lokalisierte Wissensdatenbank und Referenzmaterial, um die Deep-Learning-Dokumentation für nicht-englischsprachige Nutzer zugänglich zu machen. Die Dokumentation deckt ein umfassendes Spektrum an PyTorch-Funktionen ab, einschließlich der Entwicklung neuronaler Netzwerkmodelle, automatischer Differenzierung und der Implementierung von Backend-Kernels. Sie bietet detaillierte Anleitungen zu verteilten Trainingsstrategien, Modellbereitstellung über Formate wie ONNX und C++ sowie verschiedene Techniken zur Modelloptimierung und Quantisierung. Das Projekt nutzt eine Community-gesteuerte Übersetzungspipeline und ein verteiltes Beitragsmodell, um versionierte Inhalte aktuell zu halten. Technische Materialien sind in Markdown organisiert und werden über Static Site Generation in eine navigierbare Website umgewandelt.

warp-ctc ist eine Hochleistungsbibliothek zur Berechnung der Connectionist Temporal Classification (CTC) Loss zum Training von Sequence-to-Sequence-Deep-Learning-Modellen. Sie bietet eine numerische Stabilitätsschicht unter Verwendung von Log-Space-Berechnungen, um Underflow- und Präzisionsfehler bei Wahrscheinlichkeitsberechnungen für lange Sequenzen zu verhindern. Die Bibliothek nutzt hardwarebeschleunigte Kernels, um den Loss parallel über CPU- und GPU-Architekturen hinweg zu berechnen. Sie konzentriert sich auf die Steigerung des Trainingsdurchsatzes durch die Optimierung der dynamischen Programmierschritte des CTC-Algorithmus. Diese Fähigkeiten unterstützen das Training von Modellen für Spracherkennung, Handschrifterkennung (OCR) und allgemeines Sequence-to-Sequence-Mapping. Das Projekt beinhaltet eine Integration zur Berechnung von Loss und alignment-freiem Training innerhalb von TensorFlow.

DeepVariant is a deep learning genotyping tool and DNA sequence analysis pipeline used to identify single nucleotide polymorphisms and indels from next-generation sequencing data. It functions as a convolutional neural network genetic variant caller that treats genomic read alignments as multi-channel image tensors to determine genotypes. The system supports specialized analysis workflows including long-read variant calling for circular consensus sequencing and trio-based variant calling to identify inherited or de novo mutations. It enables model optimization for new species or genome contex

Dieses Framework bietet ein Toolkit für das Fine-Tuning großer Sprachmodelle durch die Kombination von verteilter Datenparallelität mit Parameter-Sharding und Quantisierungstechniken. Es wurde entwickelt, um das Training massiver neuronaler Netze über mehrere Grafikprozessoren hinweg zu skalieren und so die Ausführung von Modellen zu ermöglichen, die die Speicherkapazität einzelner Hardwareeinheiten übersteigen. Die Bibliothek zeichnet sich durch die Integration von Low-Rank-Adaption mit speichereffizientem Laden von Gewichten und quantisierungsbewusstem Parameter-Sharding aus. Durch die Initialisierung von Modellgewichten direkt auf dem Grafikprozessor und die Anwendung einer granularen, schichtweisen Umhüllung minimiert das Framework Speicherspitzen und reduziert den Kommunikationsaufwand während der verteilten Setup- und Trainingsphasen. Das System unterstützt das Training benutzerdefinierter Transformer-Architekturen durch flexible Wrapping-Richtlinien für Attention- und Multilayer-Perceptron-Schichten. Es optimiert die Ressourcennutzung weiter, indem es die numerische Präzision während der Berechnung dynamisch anpasst und so Trainingsstabilität gegen verfügbaren Hardwarespeicher abwägt. Das Projekt wird als Sammlung von Dienstprogrammen und Skripten vertrieben, die für den Einsatz in verteilten Rechenumgebungen vorgesehen sind.