1 مستودع
Awesome GitHub RepositoriesCorpus Aggregators
Tools that combine multiple disparate text datasets into a single unified corpus using a shared schema.
Distinct from Repository Corpus Extractors: None of the candidates cover general text corpus aggregation; most are focused on social profiles, performance scores, or code repositories.
Explore 1 awesome GitHub repository matching data & databases · Corpus Aggregators. Refine with filters or upvote what's useful.
Awesome Corpus Aggregators GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- codemayq/chinese-chatbot-corpus
codemayq/chinese-chatbot-corpus
4,193عرض على GitHubيوفر هذا المشروع مجموعة من مجموعات البيانات المحادثية الصينية المعالجة وسير عمل المعالجة المسبقة المصممة لتدريب وضبط تعليمات نماذج اللغة الكبيرة (LLM). يعمل كمدونة تدريب (Corpus) لنصوص صينية نظيفة وموحدة منسقة كأزواج استعلام-إجابة. يتضمن المستودع خط معالجة مسبقة ومجمع بيانات يدمج مصادر محادثة عامة متعددة في ملفات موحدة. تقوم هذه الأدوات بتطبيع النص عن طريق تحويل الأحرف الصينية التقليدية إلى أحرف مبسطة وتحويل خيوط الحوار المعقدة إلى تسلسل موحد من المنعطفات الفردية. يتم تصدير البيانات الناتجة كملفات قيم مفصولة بعلامات جدولة (TSV) مستقلة، مما يضمن مخططاً متسقاً عبر المصادر المتباينة. يركز سير العمل الهندسي هذا على إزالة تناقضات التنسيق لإعداد بيانات المحادثة الخام لمهام تعلم الآلة.
Aggregates multiple public chat sources into a single consolidated repository with a shared schema.
Python
