wooorm/franc
Franc
Franc este o bibliotecă de detecție a limbajului natural și un identificator în linia de comandă utilizat pentru a determina limba scrisă a unui eșantion de text. Acesta funcționează ca un profiler statistic de limbaj care identifică și clasifică textul multilingv prin analizarea distribuțiilor de caractere.
Instrumentul utilizează un sistem de analiză statistică bazat pe trigrame, comparând frecvența secvențelor de trei caractere dintr-un eșantion de intrare cu profilurile de referință. Acesta clasează potențialele potriviri de limbă prin calcularea distanței statistice dintre input și aceste profiluri, permițându-i să returneze o listă clasată a limbilor probabile.
Proiectul oferă o interfață în linia de comandă pentru analiza textului și suportă clasificarea automată a conținutului. Utilizează seturi de date lingvistice modulare și tabele n-gram precalculate pentru a separa logica de detecție de datele de profil specifice limbii.
Features
- Natural Language Code Detectors - Detects the natural language of text input by analyzing its statistical profile.
- Language Detection - Provides a statistical profiling system to identify and rank the most probable natural languages in a text sample.
- Language Detection Tools - Provides a command line interface to identify the natural language of text samples.
- Language Detection in Chunks - Identifies the natural language of text samples using statistical analysis.
- Probability-Based Ranking - Ranks potential language matches by calculating the statistical distance between input samples and reference profiles.
- Trigram Analysis - Identifies languages by analyzing the frequency of three-character sequences in the provided text.
- N-Gram Detection - Employs n-gram detection by comparing character sequence frequencies against precomputed tables.
- NLP Statistical Profiling - Functions as a statistical profiler that ranks potential language matches based on the input text profile.
- Language Identification CLIs - Provides a terminal interface to analyze text streams and determine their written natural language.
- Text Analysis CLIs - Provides a command line tool for scanning and analyzing the language of text files and streams.
- Automated Classification - Enables automated classification of large amounts of text based on detected language.
- Modular Language Datasets - Implements a modular architecture that separates language-specific profile data from the core detection logic.
- Multilingual Text Processing - Prepares text for further processing by first determining the original natural language of the input.
- Text Classification - Classifies large volumes of content into groups based on their detected language profiles.
- Language Datasets - Utilizes language datasets to provide reference profiles for statistical language identification.
- Language - Returns a ranked list of all potential language matches found within a text sample.
- Natural Language Processing - Language detection for text.
