3 रिपॉजिटरी
Awesome GitHub RepositoriesConversation Structure Validation
Validation of data imports to ensure they adhere to a standardized conversation format.
Distinct from Structural Data Validators: Unlike general structural validation, this specifically targets the conversation schema required for LLM training.
Explore 3 awesome GitHub repositories matching data & databases · Conversation Structure Validation. Refine with filters or upvote what's useful.
Awesome Conversation Structure Validation GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- oumi-ai/oumi
oumi-ai/oumi
8,858GitHub पर देखेंOumi is a comprehensive large language model development platform designed for synthesizing data, fine-tuning models, and running performance evaluations. It serves as a unified environment for the entire model lifecycle, encompassing a training and fine-tuning suite, an evaluation framework, and tools for synthetic data generation and model distillation. The platform is distinguished by its iterative, failure-driven synthesis approach, which analyzes model weaknesses during evaluation to generate targeted training data. It utilizes an LLM-based judge framework to programmatically score respo
Converts various file formats into a standardized conversation structure while validating schema compatibility.
Pythondpoevaluationfine-tuning - openai/harmony
openai/harmony
4,409GitHub पर देखेंHarmony एक AI SDK है जिसे वार्तालापों को टोकनाइज़ करने, तर्क लेआउट को फॉर्मेट करने, कच्चे आउटपुट को पार्स करने और टूल कॉल स्कीमा को परिभाषित करने के लिए डिज़ाइन किया गया है। यह बड़े भाषा मॉडल इन्फरेंस और प्रशिक्षण के लिए आवश्यक टोकन अनुक्रमों में संरचित संवाद और टूल कॉल्स को बदलने के लिए एक सिस्टम प्रदान करता है। इस प्रोजेक्ट में एक आउटपुट फॉर्मेट है जो टोकन हानि को रोकने के लिए तर्क श्रृंखलाओं और मल्टी-चैनल आउटपुट को सुसंगत लेआउट में व्यवस्थित करता है। इसमें एक रिस्पॉन्स पार्सर भी है जो कच्चे कंप्लीशन टोकन और लाइव स्ट्रीम को वापस संरचित संदेश ऑब्जेक्ट्स और भूमिकाओं में बदल देता है। यह SDK कॉल करने योग्य फ़ंक्शंस और नेमस्पेस को परिभाषित करने के लिए एक फ्रेमवर्क के माध्यम से टूल एकीकरण का प्रबंधन करता है। यह रीयल-टाइम टोकन पार्सिंग, मॉडल व्यवहार कॉन्फ़िगरेशन और स्टेटफुल वार्तालाप सीरियलाइज़ेशन के लिए क्षमताएं भी प्रदान करता है।
Organizes messages between users and assistants into formal data structures to facilitate consistent interaction with a model.
Rust - dllxw/baby-llama2-chinese
DLLXW/baby-llama2-chinese
2,891GitHub पर देखेंThis project is a training pipeline and framework for developing Chinese language models based on the Llama 2 architecture. It functions as a distributed GPU trainer and dataset preprocessing toolkit designed for both the initial pre-training of baseline models and subsequent supervised fine-tuning. The system distinguishes itself through a specialized workflow for Chinese text, incorporating a data curation pipeline that uses similarity hashing for deduplication and a tokenization process that converts raw text into memory-mapped binary files for efficient disk access. It implements a superv
Filters and cleans raw conversational datasets into structured formats by enforcing prompt and answer length constraints.
Python
