Awesome GitHub RepositoriesLexicon-Based Sentiment Analyzers

SnowNLP is a Python library for Chinese natural language processing. It provides tools for text segmentation, sentiment analysis, document classification, and phonetic transliteration. The library includes capabilities for training and saving custom machine learning models for tokenization and sentiment analysis using raw training datasets. It covers a range of linguistic processing areas, including parts of speech tagging, sentence splitting, and text similarity measurement. The toolkit also provides utilities for extracting key information through text summarization and calculating word im

nlp.js is a JavaScript natural language processing library and development framework used to build natural language understanding engines. It provides a toolkit for creating local machine learning models for intent classification and acts as a multilingual text processor that detects languages and normalizes text across various dialects. The framework distinguishes itself by supporting local execution on both servers and mobile devices, enabling chatbot functionality without an internet connection. It features a specialized system for conversational slot filling to collect mandatory informati

يوفر هذا المشروع مجموعة منسقة من الكلمات الصينية عالية التردد وغير المعلوماتية المستمدة من المعايير الأكاديمية والصناعية. تعمل كمجموعة بيانات مرجعية ومجموعة كلمات توقف (stopwords) مصممة للاستخدام في مهام معالجة اللغة الطبيعية. يركز المستودع على معالجة النصوص الصينية لتقليل الضوضاء وتحسين دقة نماذج التعلم الآلي. ويوفر مجموعات بيانات مصفاة خصيصًا لاسترجاع المعلومات الصينية، والتحضير لتحليل المشاعر، وتنظيف البيانات العام. يستخدم المشروع معاجم مجمعة مسبقًا وتخزين ملفات مسطحة لتمكين تصفية كلمات التوقف الفعالة وتجميع المفردات للمتون الصينية.

هذا المشروع عبارة عن مجموعة من تطبيقات Python لكشط الويب، واعتراض حركة مرور الشبكة، وتحليل البيانات، وتحليل المشاعر. يوفر طرقاً لاستخراج البيانات المهيكلة من مواقع الويب وواجهات تطبيقات الهاتف المحمول. تتضمن المجموعة أدوات لالتقاط وتحليل حزم الشبكة من تطبيقات الهاتف المحمول لتحديد نقاط نهاية API الداخلية المخفية. كما تتميز بنصوص برمجية لتقييم النبرة العاطفية والتصور العام لبيانات النصوص. يغطي المشروع معالجة وتحويل مجموعات البيانات الكبيرة، بالإضافة إلى إنشاء المخططات والرسوم البيانية لتحديد الاتجاهات والأنماط الديموغرافية.

VADER (Valence Aware Dictionary and sEntiment Reasoner) is a rule-based, lexicon-driven sentiment analyzer that assigns polarity scores to text by matching words against a curated sentiment dictionary and applying linguistic heuristics. It processes text at the sentence level, returning a compound score normalized between -1 (negative) and +1 (positive) along with separate positive, neutral, and negative intensity breakdowns. What distinguishes VADER from simpler lexicon models is its built-in grammatical rule engine. It adjusts scores for negation (e.g., “not good” reduces positivity), contr

Deep Java Library هو إطار عمل تعلم عميق لـ Java ومحرك استنتاج نماذج JVM. يوفر واجهة برمجة تطبيقات عالية المستوى لبناء ونشر نماذج التعلم العميق داخل نظام Java البيئي، ويعمل كبيئة تشغيل عبر الأنظمة الأساسية لتنفيذ النماذج عبر وحدات المعالجة المركزية (CPUs)، ووحدات معالجة الرسومات (GPUs)، والأجهزة المحمولة. المكتبة محايدة للمحرك، مما يسمح للمستخدمين بالتبديل بين محركات تعلم عميق مختلفة مثل PyTorch، وTensorFlow، وMXNet مع الحفاظ على واجهة برمجة تطبيقات موحدة واحدة. يتيح ذلك نشر نفس النموذج عبر خلفيات مختلفة دون تغيير كود التطبيق. يدعم إطار العمل دورة حياة التعلم الآلي الكاملة، بما في ذلك بناء وتدريب معماريات الشبكات العصبية وتنفيذ الاستنتاج في الوقت الفعلي. يتضمن إمكانيات لاستنتاج التعلم الآلي الموزع لتوسيع نطاق التنبؤات عبر خطوط أنابيب البيانات الضخمة والقدرة على نشر النماذج كخدمات مصغرة أو داخل تطبيقات العميل. يغطي النظام مجموعة واسعة من المجالات، بما في ذلك رؤية الكمبيوتر لاكتشاف الوجوه وتصنيف الصور، ومعالجة اللغات الطبيعية لتحليل المشاعر وتضمينات الجمل.

هذا المشروع عبارة عن إطار عمل لتصنيف النصوص الصينية يعتمد على PyTorch. يوفر خط معالجة قائماً على المحولات (transformer-based) مصمماً لتصنيف تسلسلات اللغة الصينية إلى تسميات محددة مسبقاً باستخدام نماذج التعلم العميق. يدعم التنفيذ كلاً من نماذج اللغة BERT و ERNIE لمعالجة ووسم النصوص الصينية المعقدة. تُستخدم هذه النماذج لأداء مهام مثل تحليل المشاعر وتصنيف النصوص العام. يستخدم النظام ترميز النصوص القائم على المحولات وتجميع التسلسل الموزون بالانتباه (attention-weighted) لتحويل الأحرف الخام إلى متجهات مستندات. كما يوظف ضبط النماذج المدربة مسبقاً (fine-tuning) وتحسين خسارة الإنتروبيا المتقاطعة (cross-entropy loss) لتكييف النماذج مع مهام تصنيف محددة.