Awesome GitHub RepositoriesNLP Statistical Profiling

Visual Insights ist eine Plattform für automatisierte explorative Datenanalyse und ein Tool für kausale Inferenz, das entwickelt wurde, um Muster sowie Ursache-Wirkungs-Zusammenhänge in Datensätzen zu entdecken. Es fungiert als interaktive Datenvisualisierungsbibliothek, die einen Grammar-of-Graphics-Ansatz verwendet, um mehrdimensionale Diagramme und Dashboards zu generieren. Das Projekt zeichnet sich durch eine natürlichsprachliche Schnittstelle aus, die Fragen in Klartext mithilfe eines Sprachmodells in Datenantworten und Visualisierungen übersetzt. Es bietet ein spezialisiertes Framework für kausale Entdeckung und Inferenz, das es Benutzern ermöglicht, Variablenverknüpfungen durch interaktive Kausaldiagramme zu identifizieren und What-if-Analysen zur Validierung von Hypothesen durchzuführen. Die Plattform deckt ein breites Spektrum an Funktionen ab, darunter visuelle Datenbereinigung, statistische Profilerstellung und automatisierte Datensatztransformation. Sie unterstützt die Integration verschiedener Daten aus lokalen Dateien und Remote-Datenbanken und verfügt über eine leistungsstarke Verarbeitungs-Engine für die lokale Handhabung großer Datensätze. Zusätzlich ermöglicht das System die Einbettung interaktiver Analysekomponenten in Webanwendungen und Notebooks.

Franc ist eine Bibliothek zur Erkennung natürlicher Sprachen und ein Befehlszeilen-Identifikator, der verwendet wird, um die geschriebene Sprache einer Textprobe zu bestimmen. Es fungiert als statistischer Sprachprofiler, der mehrsprachigen Text durch die Analyse von Zeichenverteilungen identifiziert und klassifiziert. Das Tool verwendet ein Trigram-basiertes statistisches Analysesystem, das die Häufigkeit von Drei-Zeichen-Sequenzen in einer Eingabeprobe mit Referenzprofilen vergleicht. Es ordnet potenzielle Sprachübereinstimmungen durch die Berechnung der statistischen Distanz zwischen der Eingabe und diesen Profilen und ermöglicht so die Rückgabe einer Rangliste wahrscheinlicher Sprachen. Das Projekt bietet eine Befehlszeilenschnittstelle für Textanalyse und unterstützt automatisierte Inhaltsklassifizierung. Es nutzt modulare Sprachdatensätze und vorberechnete N-Gramm-Tabellen, um die Erkennungslogik von sprachspezifischen Profildaten zu trennen.