Awesome GitHub RepositoriesLanguage Detection

This project is an acoustic keystroke recognition system and audio side-channel analysis tool. It identifies typed text by analyzing audio recordings of keyboard sounds through waveform correlation and linguistic frequency analysis. The system distinguishes itself by combining digital signal processing with a substitution cipher decryptor. It uses simulated annealing and n-gram probability maps to recover plaintext from encoded strings and identifies specific keys by comparing captured waveforms against trained sound profiles. The toolkit covers a broad range of capabilities, including real-

Translate-shell is a command-line translation tool and terminal dictionary client. It allows for the translation of words, phrases, and sentences between multiple languages and provides dictionary definition retrieval and language metadata display directly within the terminal. The tool functions as a shell-based text translator that can process input from standard streams, local files, or URLs. It includes text-to-speech capabilities to play audio pronunciations of source and translated text and can automatically detect the source language of a given string. The system supports interactive s

nlp.js is a JavaScript natural language processing library and development framework used to build natural language understanding engines. It provides a toolkit for creating local machine learning models for intent classification and acts as a multilingual text processor that detects languages and normalizes text across various dialects. The framework distinguishes itself by supporting local execution on both servers and mobile devices, enabling chatbot functionality without an internet connection. It features a specialized system for conversational slot filling to collect mandatory informati

pycorrector is an open-source toolkit for detecting and correcting spelling and grammar errors in Chinese text. It combines multiple correction approaches, including rule-based methods using Kenlm n-gram language models and confusion sets, as well as deep learning correctors built on BERT, GPT, and T5 models. The toolkit also provides a command-line interface for batch processing Chinese text files with configurable detection and output options. The project distinguishes itself by offering a range of correction strategies that can be mixed and matched. Rule-based correction uses character-lev

Markup is a tool for converting various documentation formats and manual pages into structured HTML. It functions as a rendering engine selector and converter that transforms raw markup files into web-ready output using a pluggable pipeline. The system identifies the appropriate rendering engine by utilizing file extensions or analyzing document content through pattern-based language detection. This allows the pipeline to handle documents where file extensions are missing or ambiguous. The project covers a broad range of content transformation, including the conversion of traditional man pag

Libpostal هي مكتبة C مصممة لتحليل وتطبيع العناوين الدولية. تستخدم معالجة اللغات الطبيعية (NLP) الإحصائية ومصنف لغات لتفكيك سلاسل العناوين العالمية غير المهيكلة إلى مكونات منظمة، وتوحيد عناوين الشوارع من خلال توسيع الاختصارات وحل اختلافات التسمية الإقليمية عبر لغات متعددة. يوفر المشروع أدوات لتحويل النصوص (Transliteration)، وتحويل النصوص المختلفة إلى صيغ Latin-ASCII أو NFD موحدة. كما يتضمن قدرات لإزالة تكرار العناوين، باستخدام مطابقة تقريبية متماثلة لتحديد ما إذا كانت سجلات العناوين المختلفة تشير إلى نفس الموقع الفعلي. تغطي المكتبة احتياجات معالجة النصوص الأوسع مثل تطبيع UTF-8 وتحويل الأرقام المكتوبة والأرقام الرومانية إلى تمثيلات رقمية قياسية. وتسمح بإضافات للتعرف على العناوين من خلال ملفات تهيئة خارجية لإضافة لغات ومرادفات جديدة.

Franc هي مكتبة اكتشاف لغة طبيعية ومعرف سطر أوامر يُستخدم لتحديد اللغة المكتوبة لعينة نصية. تعمل كمحلل لغة إحصائي يحدد ويصنف النصوص متعددة اللغات عن طريق تحليل توزيعات الأحرف. تستخدم الأداة نظام تحليل إحصائي قائماً على التريغرام (trigram)، حيث تقارن تكرار تسلسلات الأحرف الثلاثة في عينة الإدخال مقابل ملفات تعريف مرجعية. وتقوم بترتيب تطابقات اللغة المحتملة عن طريق حساب المسافة الإحصائية بين الإدخال وهذه الملفات التعريفية، مما يسمح لها بإرجاع قائمة مرتبة باللغات المحتملة. يوفر المشروع واجهة سطر أوامر لتحليل النصوص ويدعم تصنيف المحتوى المؤتمت. ويستخدم مجموعات بيانات لغة نمطية وجداول n-gram محسوبة مسبقاً لفصل منطق الاكتشاف عن بيانات ملف تعريف اللغة المحددة.

The most accurate natural language detection library for Go, suitable for short text and mixed-language text

Natural language detection library for Go

Natural language detection package in pure Go

Guess the natural language of a text in Go

Detect Language API Go Client