Awesome GitHub RepositoriesChinese

This project is a collection of pre-trained dense and sparse word vectors trained on diverse Chinese corpora. It serves as a library of linguistic representations and an NLP vector dataset designed to improve the accuracy of semantic and morphological analysis in text models. The collection provides corpus-specific representations and utilizes n-gram co-occurrence modeling to capture diverse linguistic patterns. It includes a hybrid of dense-sparse vectors to balance computational efficiency and semantic precision. The project covers semantic vector search and the development of Chinese natu

Chinese-BERT-wwm is a pre-trained transformer model and encoder designed for Chinese natural language processing. It converts Chinese text into dense vector representations to be used across various natural language processing applications. The model utilizes a whole word masking strategy during pre-training, masking entire words rather than individual characters. This approach is designed to improve the capture of semantic meaning and language structure within Chinese datasets. The project covers a range of downstream tasks including text classification, sequence labeling, and reading compr

Synonyms est un outil de traitement du langage naturel (NLP) chinois axé sur l'analyse sémantique. Il fournit des capacités pour la segmentation des mots chinois, l'étiquetage morphosyntaxique (part-of-speech tagging) et la récupération de synonymes basés sur la proximité sémantique. Le projet convertit les mots et les phrases en représentations vectorielles numériques pour calculer des scores de similarité. Cela permet la détermination de la proximité sémantique entre différentes phrases et l'identification de l'intention d'un chatbot via la comparaison de phrases. Le système inclut également des outils pour l'extraction automatisée de mots-clés et le classement par importance pour identifier les termes significatifs au sein d'un texte. Les utilisateurs peuvent gérer des dictionnaires de segmentation de mots spécifiques et des fichiers de modèle via une configuration pilotée par l'environnement.

wechatpy est un SDK d'API Python conçu pour interagir avec les comptes officiels, les mini-programmes et les API de communication d'entreprise. Il fournit une interface unifiée pour gérer les utilisateurs, les médias et les messages, et inclut un framework de bot pour traiter les événements entrants et générer des réponses structurées. Le projet implémente une fabrique de clients basée sur des composants pour effectuer des actions sur différents types de comptes et orchestre les flux OAuth2 pour la vérification d'identité. Il dispose d'une architecture de bot pilotée par les événements et d'un système de stockage de jetons enfichable pour persister les sessions d'authentification à travers les environnements. La bibliothèque couvre un large éventail de domaines fonctionnels, notamment le traitement des paiements et la facturation financière, l'administration d'espaces de travail d'entreprise, et la gestion des actifs numériques et des vitrines e-commerce. Elle fournit également des outils pour les opérations de base de données cloud, la liaison d'appareils et l'automatisation des flux de travail d'entreprise. Des capacités supplémentaires incluent des primitives de sécurité pour le chiffrement de charge utile basé sur AES, la vérification de l'authenticité des requêtes et l'audit du contenu utilisateur.

Sensitive-lexicon is a sensitive word detection service and content moderation tool designed to identify prohibited text. It utilizes a curated lexicon of thousands of categorized terms and a fuzzy matching text scanner to detect restricted words and phrases. The project features specialized filters for Chinese language content across political, social, and adult domains. It supports approximate string matching to identify terms that use noise characters or whitespace to evade standard keyword filters. The system includes a network interface for hosting the detection service, allowing for re