Awesome GitHub RepositoriesSequence Labeling

Chinese-BERT-wwm is a pre-trained transformer model and encoder designed for Chinese natural language processing. It converts Chinese text into dense vector representations to be used across various natural language processing applications. The model utilizes a whole word masking strategy during pre-training, masking entire words rather than individual characters. This approach is designed to improve the capture of semantic meaning and language structure within Chinese datasets. The project covers a range of downstream tasks including text classification, sequence labeling, and reading compr

Vowpal Wabbit is an open-source machine learning system designed for online learning, where models update incrementally from streaming data without requiring full retraining. It provides a reduction-based learning framework that composes complex tasks from simpler algorithms, and includes a feature hashing trick that maps unbounded feature names into a fixed-size vector space to keep memory usage constant regardless of dataset size. The system supports distributed training across a cluster using an allreduce protocol for synchronized updates, and offers an active learning query strategy that s

This project is a collection of educational resources and technical guides focused on the development and implementation of large language models. It provides a comprehensive curriculum covering transformer architectures, training methods, and deployment strategies. The materials provide detailed instructions for building autonomous agents using reasoning loops and tool integration, as well as guides for fine-tuning models through supervised learning and preference optimization. It also includes tutorials for constructing retrieval augmented generation pipelines and implementing transformer m

Lihang est une bibliothèque et un framework d'algorithmes d'apprentissage statistique fournissant des implémentations de modèles de machine learning supervisés et non supervisés. Il fonctionne comme un dépôt de référence qui traduit les théories de l'apprentissage statistique en code exécutable pour la classification de données et la reconnaissance de formes. Le projet propose des outils spécialisés pour l'implémentation de modèles probabilistes, utilisant l'estimation de vraisemblance et les méthodes bayésiennes pour déterminer les paramètres de modèle optimaux. Il inclut un outil d'étiquetage de données séquentielles pour identifier des modèles dans des séquences de données ordonnées et prend en charge la classification binaire linéaire et non linéaire. Le framework couvre un large éventail de capacités de machine learning, incluant l'analyse de données non supervisée pour le clustering et l'analyse de sujets, ainsi qu'un pipeline pour la récupération automatisée de bibliographie académique et de documents de référence. Le projet intègre des notebooks interactifs pour l'analyse de données itérative et la vérification de modèles.

bert4keras est une réimplémentation légère de l'architecture transformer BERT pour le framework de deep learning Keras. Il sert de boîte à outils de traitement du langage naturel et de bibliothèque de modèles transformer utilisée pour la classification de texte, l'étiquetage de séquences et l'extraction d'embeddings sémantiques. Le framework inclut un système de modèle sequence-to-sequence pour la réponse aux questions et la génération de texte, ainsi qu'un serveur d'inférence de modèle pour déployer des transformers entraînés en tant qu'API web pour des prédictions en temps réel. Les capacités couvrent un large éventail de tâches de compréhension du langage naturel, incluant la compréhension de lecture, l'extraction de relations et le traitement de textes longs. La bibliothèque fournit des outils pour le pré-entraînement et le fine-tuning de modèles de langage, aux côtés de techniques d'optimisation telles que la réduction de paramètres, l'entraînement contradictoire pour la robustesse et la configuration du taux d'apprentissage par couche. Le projet inclut un chargeur de conversion de poids pour transformer les poids pré-entraînés depuis des formats externes en structures Keras compatibles.

Grobid est un système de machine learning conçu pour transformer les publications académiques et scientifiques PDF en XML structuré. Il fonctionne comme un analyseur PDF vers XML et un extracteur de métadonnées savantes, identifiant et normalisant les titres, auteurs, affiliations et références bibliographiques des articles de recherche. Le système utilise un segmenteur de documents par deep learning pour diviser les PDF bruts en régions fonctionnelles et emploie un résolveur de références bibliographiques pour faire correspondre les citations avec des registres externes pour l'enrichissement des métadonnées et la résolution de DOI. Il prend en charge un pipeline complet d'entraînement de modèles de machine learning, permettant la génération de corpus d'entraînement annotés, le réentraînement de modèles et l'exportation de binaires de modèles. Le projet couvre un large éventail de capacités d'extraction, y compris l'analyse des en-têtes de documents, la structuration du corps du texte intégral et l'identification d'entités spécifiques au domaine comme les informations de financement et les citations de brevets. Il fournit également des outils d'analyse spatiale pour l'extraction de boîtes englobantes et le mappage de coordonnées afin de synchroniser les étiquettes sémantiques avec la mise en page PDF originale. L'application peut être déployée via des images conteneurisées et inclut des utilitaires en ligne de commande pour le traitement par lots multi-threadé de grandes collections de documents.

snips-nlu est une bibliothèque Python et un moteur de compréhension du langage naturel conçu pour convertir du texte non structuré en données structurées. Il identifie les intentions de l'utilisateur et extrait les entités associées à partir de phrases en langage naturel pour permettre le traitement de commandes lisibles par machine. Le moteur fonctionne comme un analyseur multilingue capable de traiter du texte dans plusieurs langues. Il mappe les entités identifiées vers des valeurs canoniques ou des formats ISO standardisés, tels que les horodatages, pour assurer la cohérence des données. Le projet couvre la classification d'intentions et la reconnaissance d'entités nommées, utilisant l'étiquetage de séquences et la tokenisation pour identifier les objectifs de l'utilisateur et les emplacements de données spécifiques.

Entity-Relation-Extraction est un framework de machine learning conçu pour identifier des entités et leurs connexions logiques au sein de textes non structurés. Il fonctionne comme un pipeline qui transforme des documents bruts en graphes de connaissances structurés en utilisant des modèles de deep learning et des architectures de type transformer. Le projet se distingue par une approche basée sur des schémas, qui mappe les informations extraites vers des modèles relationnels prédéfinis pour assurer la cohérence des résultats. Il emploie un processus multi-étapes combinant l'étiquetage de séquences (token classification) et l'encodage contextuel pour délimiter les frontières des entités et classifier les relations entre elles. La boîte à outils fournit des composants pour le fine-tuning de modèles de langage pré-entraînés et l'orchestration de données via des graphes de calcul. Elle inclut des utilitaires pour évaluer les performances du modèle par rapport à des jeux de données de référence afin de vérifier la précision du processus d'extraction.