Awesome GitHub RepositoriesConversation Format Normalization

This project is a collection of educational resources and technical guides focused on the development and implementation of large language models. It provides a comprehensive curriculum covering transformer architectures, training methods, and deployment strategies. The materials provide detailed instructions for building autonomous agents using reasoning loops and tool integration, as well as guides for fine-tuning models through supervised learning and preference optimization. It also includes tutorials for constructing retrieval augmented generation pipelines and implementing transformer m

AdalFlow एक ऑटोनॉमस AI एजेंट फ्रेमवर्क और LLM एप्लिकेशन लाइब्रेरी है जिसे मॉड्यूलर वर्कफ़्लो बनाने के लिए डिज़ाइन किया गया है। यह एक मॉडल-अग्नोस्टिक इंटरफ़ेस और RAG पाइपलाइन ऑर्केस्ट्रेटर के रूप में कार्य करता है, जो उपयोगकर्ताओं को ReAct एजेंट विकसित करने की अनुमति देता है जो जटिल कार्यों को हल करने के लिए पुनरावृत्ति तर्क (iterative reasoning) और बाहरी टूल निष्पादन का उपयोग करते हैं। यह प्रोजेक्ट एक प्रॉम्प्ट ऑप्टिमाइज़ेशन सिस्टम के माध्यम से खुद को अलग करता है जो प्रॉम्प्ट टेम्पलेट्स और फ्यू-शॉट उदाहरणों को स्वचालित रूप से रिफाइन करने के लिए टेक्स्टुअल ग्रेडिएंट डिसेंट का उपयोग करता है। यह मॉडल फीडबैक को एक डिफरेंशिएबल सिग्नल के रूप में मानता है, जो इवैल्यूएशन मेट्रिक्स के आधार पर आउटपुट गुणवत्ता को पुनरावृत्ति रूप से सुधारने के लिए LLM बैकप्रोपैगेशन के एक रूप को सक्षम बनाता है। यह फ्रेमवर्क एक व्यापक क्षमता सतह को कवर करता है, जिसमें सिमेंटिक वेक्टर सर्च और री-रैंकिंग के साथ रिट्रीवल-ऑगमेंटेड जनरेशन, ऑब्जर्वेबिलिटी के लिए स्पैन-आधारित निष्पादन ट्रेसिंग और स्कीमा-संचालित स्ट्रक्चर्ड पार्सिंग शामिल है। यह कई प्रोप्राइटरी और ओपन-सोर्स मॉडल प्रदाताओं के लिए एक एकीकृत संचार परत प्रदान करता है और Python फंक्शन्स को मानकीकृत टूल इंटरफेस में बदलने का समर्थन करता है। यह सिस्टम Python में लागू किया गया है और वर्कफ़्लो ट्रैकिंग और विश्लेषण के लिए MLflow के साथ एकीकृत होता है।

MNBVC is a dataset pipeline and toolkit designed for the collection, cleaning, and normalization of massive text and code corpora used to train large language models. It provides specialized tools for harvesting source code, commit histories, and repository metadata from version control platforms, alongside a multilingual text corpus collector for gathering parallel text and academic papers. The project distinguishes itself through comprehensive capabilities for processing diverse document types, including a PDF-to-text converter that transforms complex layouts and formulas into structured JS