1 Repo
Awesome GitHub RepositoriesCorpus Aggregators
Tools that combine multiple disparate text datasets into a single unified corpus using a shared schema.
Distinct from Repository Corpus Extractors: None of the candidates cover general text corpus aggregation; most are focused on social profiles, performance scores, or code repositories.
Explore 1 awesome GitHub repository matching data & databases · Corpus Aggregators. Refine with filters or upvote what's useful.
Awesome Corpus Aggregators GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- codemayq/chinese-chatbot-corpus
codemayq/chinese-chatbot-corpus
4,193Auf GitHub ansehenDieses Projekt bietet eine Sammlung verarbeiteter chinesischer Konversationsdatensätze und Preprocessing-Workflows, die für das Training und Instruction-Tuning von Large Language Models (LLMs) entwickelt wurden. Es fungiert als Trainingskorpus aus bereinigtem, standardisiertem chinesischem Text, der als Frage-Antwort-Paare formatiert ist. Das Repository enthält eine Preprocessing-Pipeline und einen Datensatz-Aggregator, die mehrere öffentliche Chat-Quellen in einheitliche Dateien zusammenführen. Diese Tools normalisieren den Text, indem sie traditionelle chinesische Schriftzeichen in vereinfachte Zeichen umwandeln und komplexe Dialogstränge in eine standardisierte Sequenz von Einzel-Turns transformieren. Die resultierenden Daten werden als unabhängige, tabulatorgetrennte Dateien exportiert, was ein konsistentes Schema über verschiedene Quellen hinweg sicherstellt. Dieser technische Workflow konzentriert sich auf die Beseitigung von Formatierungsinkonsistenzen, um rohe Konversationsdaten für Machine-Learning-Aufgaben vorzubereiten.
Aggregates multiple public chat sources into a single consolidated repository with a shared schema.
Python
