Awesome GitHub RepositoriesDense Embeddings

This project is a framework for training and deploying transformer-based models that map text, images, audio, and video into dense or sparse vector representations. It functions as a multimodal embedding library and semantic search engine used to retrieve relevant documents by calculating vector similarity between meanings. The framework provides specialized tools for both cross-encoder reranking, which calculates precise similarity scores to refine search results, and vector quantization to compress embedding vectors for reduced memory usage and increased retrieval speed. The project covers

This project is a transformer-based framework for generating dense and sparse vector embeddings of text and multimodal data. It serves as a library for fine-tuning models to perform semantic similarity tasks, retrieval, and reranking. The system is distinguished by its support for diverse architectural patterns, including bi-encoders for fast similarity search and cross-encoders for high-precision reranking. It provides dedicated pipelines for multimodal embeddings, mapping text and images into a shared vector space, and implements knowledge distillation to compress large models into smaller,

This project is a self-supervised vision foundation model based on a vision transformer architecture. It is designed to learn dense visual representations from unlabeled images, serving as a general-purpose backbone for a wide variety of downstream vision tasks. The system is distinguished by its use of self-distillation and masked image modeling to extract semantic and geometric features. It also incorporates an image-text alignment model that maps visual embeddings to textual descriptions, enabling zero-shot image recognition, zero-shot segmentation, and cross-modal retrieval. The project

This project is an educational implementation guide and framework for building Retrieval Augmented Generation systems. It provides a workflow for constructing a knowledge base pipeline that partitions documents, indexes them as vectors, and provides external context for language model prompts. The system features a document chunking framework that uses recursive character splitting to fit text into model context windows. It includes an in-memory vector store and a similarity search system that retrieves relevant text segments by calculating the mathematical distance between dense embedding ve

यह प्रोजेक्ट टेक्स्ट क्लासिफिकेशन के लिए डिज़ाइन किए गए कन्वेन्शनल न्यूरल नेटवर्क का एक TensorFlow कार्यान्वयन है। यह एक डीप लर्निंग टेक्स्ट कैटेगराइज़र के रूप में कार्य करता है जो प्रशिक्षण सेट्स के भीतर सीखे गए पैटर्न्स की पहचान और विश्लेषण करके टेक्स्ट दस्तावेज़ों को पूर्व-निर्धारित लेबल असाइन करता है। यह मॉडल एम्बेडिंग-लेयर वेक्टराइजेशन, फ़ीचर एक्सट्रैक्शन के लिए कन्वेन्शनल लेयर्स, और टेक्स्ट डेटा को प्रोसेस करने के लिए मैक्स-पूलिंग डाउनसैंपलिंग के अनुक्रम का उपयोग करता है। अंतिम श्रेणी की संभावनाएं एक डेंस-लेयर क्लासिफिकेशन सिस्टम के माध्यम से निर्धारित की जाती हैं। यह वर्कफ़्लो एंड-टू-एंड मशीन लर्निंग जीवनचक्र को कवर करता है, जिसमें सुपरवाइज्ड टेक्स्ट लर्निंग, कॉन्फ़िगर करने योग्य एम्बेडिंग आयामों और फ़िल्टर साइज़ के साथ मॉडल ट्रेनिंग, और वैलिडेशन डेटासेट्स और चेकपॉइंट-आधारित मॉडल पर्सिस्टेंस का उपयोग करके प्रदर्शन मूल्यांकन शामिल है।

Flashlight एक स्टैंडअलोन C++ मशीन लर्निंग लाइब्रेरी और टेंसर लाइब्रेरी है जिसका उपयोग न्यूरल नेटवर्क बनाने और ट्रेन करने के लिए किया जाता है। यह एक व्यापक न्यूरल नेटवर्क फ्रेमवर्क और ऑटोमैटिक डिफरेंशिएशन इंजन के रूप में कार्य करता है, जो कम्प्यूटेशन ग्राफ बनाने और बैकप्रोपैगेशन के माध्यम से ग्रेडिएंट्स की गणना करने के लिए उपकरण प्रदान करता है। यह प्रोजेक्ट एक वितरित ट्रेनिंग फ्रेमवर्क के रूप में कार्य करता है, जो कई कंप्यूट नोड्स और डिवाइसेस पर ग्रेडिएंट्स और पैरामीटर्स को सिंक्रोनाइज़ करने के लिए ऑल-रिड्यूस ऑपरेशन्स का उपयोग करता है। यह उच्च-प्रदर्शन टेंसर मैनिपुलेशन, नेटिव डिवाइस मेमोरी इंटरऑपरेबिलिटी और बड़े पैमाने पर मॉडल ट्रेनिंग को गति देने के लिए वितरित वर्कर्स में वेट्स को सिंक्रोनाइज़ करने के सिस्टम के गहरे एकीकरण के माध्यम से खुद को अलग करता है। यह फ्रेमवर्क रेजिडुअल ब्लॉक्स और रिकरेंट सेल्स जैसे जटिल आर्किटेक्चर को डिज़ाइन करने के लिए मॉड्यूलर लेयर कंपोज़िशन सहित डीप लर्निंग क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह मॉडल स्टेट्स को बनाए रखने के लिए सीरियलाइजेशन सिस्टम के साथ-साथ इनजेशन और प्रीफेचिंग के लिए व्यापक डेटा प्रबंधन यूटिलिटीज प्रदान करता है। इसके अतिरिक्त, इसमें ट्रेनिंग मेट्रिक्स को ट्रैक करने और सीक्वेंस एरर्स को मापने के लिए मॉनिटरिंग और ऑब्जर्वेबिलिटी टूल्स का एक सूट शामिल है। यह लाइब्रेरी C++ में इम्प्लीमेंट की गई है।

यह प्रोजेक्ट एक नेचुरल लैंग्वेज प्रोसेसिंग सिस्टम है जिसे नेम्ड एंटिटी रिकग्निशन और टेक्स्ट क्लासिफिकेशन के लिए डिज़ाइन किया गया है। यह कच्चे टेक्स्ट से विशिष्ट नामों और प्रमुख जानकारी की पहचान करने के लिए मशीन लर्निंग दृष्टिकोण का उपयोग करता है। यह सिस्टम एक मल्टी-लेयर आर्किटेक्चर लागू करता है जो एम्बेडिंग के लिए प्री-ट्रेन्ड ट्रांसफॉर्मर, सीक्वेंस मॉडलिंग के लिए बाईडायरेक्शनल लॉन्ग शॉर्ट-टर्म मेमोरी और लेबल ट्रांज़िशन के लिए कंडीशनल रैंडम फील्ड को जोड़ता है। यह प्रोजेक्ट विशिष्ट डेटासेट पर इन मॉडल्स को फाइन-ट्यून करके ट्रांसफर लर्निंग का समर्थन करता है। इसमें कस्टम डेटासेट पर मॉडल्स को प्रशिक्षित करने और प्रशिक्षित मॉडल को नेटवर्क सर्विस के रूप में डिप्लॉय करने की क्षमताएं शामिल हैं।

यह प्रोजेक्ट एक नेम्ड एंटिटी रिकग्निशन फ्रेमवर्क और TensorFlow-आधारित नेचुरल लैंग्वेज प्रोसेसिंग मॉडल है। यह प्री-ट्रेन्ड भाषा मॉडल्स को विशिष्ट एंटिटी रिकग्निशन और टेक्स्ट क्लासिफिकेशन कार्यों के अनुकूल बनाने के लिए एक पाइपलाइन प्रदान करता है। यह सिस्टम एक सीक्वेंस लेबलिंग आर्किटेक्चर लागू करता है जो ट्रांसफॉर्मर-आधारित एम्बेडिंग को बाईडायरेक्शनल सीक्वेंस मॉडलिंग और कंडीशनल रैंडम फील्ड डिकोडिंग के साथ जोड़ता है। इसमें मॉडल वेट्स को फाइन-ट्यून करने और असंरचित टेक्स्ट के भीतर एंटिटीज़ की पहचान और वर्गीकरण करने के लिए नेटवर्क को प्रशिक्षित करने के लिए टूल्स शामिल हैं। फ्रेमवर्क में एक क्लाइंट-सर्वर आर्किटेक्चर भी शामिल है जो प्रशिक्षित मॉडल्स को HTTP API के माध्यम से उजागर करता है।

यह प्रोजेक्ट एक छोटे पैमाने के जनरेटिव प्री-ट्रेंड ट्रांसफार्मर का शैक्षिक कार्यान्वयन है जिसे न्यूरल नेटवर्क आर्किटेक्चर और ट्रेनिंग के मूल सिद्धांतों को सिखाने के लिए डिज़ाइन किया गया है। यह स्क्रैच से टेक्स्ट-जनरेटिंग न्यूरल नेटवर्क बनाने के लिए एक संदर्भ कार्यान्वयन और ट्यूटोरियल के रूप में कार्य करता है। कोडबेस टोकनाइज़ेशन, सेल्फ-अटेंशन और एक हल्के भाषा मॉडल के निर्माण के यांत्रिकी को प्रदर्शित करता है। यह यह समझाने के लिए कि लार्ज लैंग्वेज मॉडल्स कैसे बनाए जाते हैं, जनरेटिव मॉडल बनाने की चरण-दर-चरण प्रक्रिया पर केंद्रित है। यह कार्यान्वयन ट्रांसफार्मर-आधारित आर्किटेक्चर को कवर करता है, जिसमें मल्टी-हेड अटेंशन, फीड-फॉरवर्ड नेटवर्क्स और कॉज़ल मास्किंग शामिल हैं। यह टेंसर कंप्यूटेशन के लिए PyTorch का उपयोग करता है और अनुक्रमिक टेक्स्ट डेटा पर मॉडल को ट्रेन करने के लिए बैकप्रोपैगेशन-आधारित लर्निंग को नियोजित करता है।

Engram बड़े भाषा मॉडल (LLMs) के लिए एक डायनामिक नॉलेज रिट्रीवल सिस्टम और मेमोरी ऑगमेंटेशन फ्रेमवर्क है। यह एक स्केलेबल मेमोरी लुकअप लेयर और स्पार्स आर्किटेक्चर कंपोनेंट के रूप में कार्य करता है, जिसे तथ्यात्मकता में सुधार करने और मतिभ्रम (hallucinations) को कम करने के लिए स्टेटिक मॉडल नॉलेज को डायनामिक बाहरी स्टेट्स के साथ फ्यूज करने के लिए डिज़ाइन किया गया है। यह सिस्टम इनपुट टोकन को बड़े पैमाने पर एसोसिएटिव मेमोरी स्टोर के भीतर विशिष्ट इंडेक्स पर मैप करने के लिए कंडीशनल मेमोरी रिट्रीवल और डिफरेंशिएबल मेमोरी एड्रेसिंग का उपयोग करता है। यह मॉडल को बाहरी लुकअप टेबल में वेट्स (weights) स्टोर करके और किसी दिए गए इनपुट के लिए केवल प्रासंगिक नॉलेज सेगमेंट को सक्रिय करके अपने कुल उपलब्ध पैरामीटर्स को बढ़ाने की अनुमति देता है। यह फ्रेमवर्क मॉडल स्पार्सिटी ऑप्टिमाइज़ेशन और स्केलेबल ऑगमेंटेशन को कवर करता है, जो नेटवर्क को पूरी तरह से फिर से प्रशिक्षित करने की आवश्यकता के बिना विशेष कार्यों पर प्रदर्शन को बढ़ाने के लिए की-वैल्यू रिट्रीवल और डायनामिक पैरामीटर फ्यूजन का उपयोग करता है।

Tiny Universe is an educational monorepo that delivers multiple independent implementations of core AI subsystems as self-contained Jupyter notebooks. It provides from-scratch constructions of foundational architectures including a complete Transformer model built from the original paper specification, a denoising diffusion probabilistic model for image generation, and a ReAct-style autonomous agent framework that equips an LLM with tools for planning and multi-step task execution. The project distinguishes itself by covering the full lifecycle of modern AI systems through hands-on implementa

This project is a collection of TensorFlow machine learning examples providing reference implementations for various neural network paradigms. It covers supervised, unsupervised, reinforcement, and sequential learning models. The repository includes implementations for convolutional neural networks focused on image classification and ranking, as well as recurrent neural networks for time-series forecasting and sequence-to-sequence translation. It further provides examples of reinforcement learning agents trained via reward optimization and unsupervised learning techniques such as autoencoders

tiny-llm is a large language model inference engine and transformer model implementation. It serves as a quantized model runtime and paged key-value cache manager, providing a specialized inference stack optimized for Apple Silicon. The system distinguishes itself through high-throughput execution techniques, including continuous batching and paged attention. It utilizes a paged memory system to eliminate fragmentation during token generation and employs on-the-fly dequantization of compressed weights to reduce the memory footprint during matrix multiplication. The project covers a broad ran

This project is an educational course and set of instructional materials for building large language models from scratch using Python. It provides a step-by-step guide and practical tutorials focused on the internal mechanics of transformer architectures and pre-training workflows. The repository features a framework for implementing and comparing diverse model families, including Llama, GLM, and RWKV. It uses a configuration-driven assembly approach to analyze the structural differences and internal mechanisms of these various architectures. The codebase covers the complete development pipe

यह प्रोजेक्ट TensorFlow पर आधारित एक वॉइस कन्वर्जन फ्रेमवर्क और डीप लर्निंग ऑडियो टूलकिट है, जिसे न्यूरल वॉइस स्टाइल ट्रांसफर के लिए बनाया गया है। यह एक स्पीच सिंथेसिस इंजन के रूप में काम करता है जो सोर्स स्पीकर की आवाज़ की स्पेक्ट्रल विशेषताओं को टारगेट स्पीकर की आवाज़ में बदल देता है। यह सिस्टम वॉइस कन्वर्जन के लिए फोनम-आधारित (phoneme-based) दृष्टिकोण अपनाता है, जो ऑडियो को स्पीकर-इंडिपेंडेंट फोनम में वर्गीकृत करता है और फिर उन्हें टारगेट वॉइस का उपयोग करके फिर से सिंथेसाइज करता है। यह पाइपलाइन अलग-अलग स्पीकर्स के बीच ऑडियो फीचर्स को मैप करके वॉइस विशेषताओं को बदलने की सुविधा देती है। इस टूलकिट में मल्टीपल GPUs पर ऑडियो मॉडल ट्रेनिंग, टेंसर डेटा नॉर्मलाइजेशन और मॉडल हाइपरपैरामीटर्स के प्रबंधन की क्षमताएं शामिल हैं। यह परफॉरमेंस मॉनिटरिंग के लिए भी टूल्स प्रदान करता है, जैसे कि कन्फ्यूजन मैट्रिक्स के जरिए क्लासिफिकेशन एक्यूरेसी को विज़ुअलाइज़ करना।

This project is a generative AI educational resource and natural language processing course. It serves as a technical implementation guide for building, pre-training, and fine-tuning a large language model from scratch using PyTorch. The curriculum provides a step-by-step tutorial on large language model development, focusing specifically on the design of transformer-based text generation models. It includes dedicated instruction on parameter-efficient fine-tuning to optimize training by updating only a small subset of model weights. The material covers the end-to-end generative AI training

TransformerLens is a library for mechanistic interpretability research designed to reverse engineer the learned algorithms within large language models. It provides a standardized framework for wrapping diverse transformer architectures, allowing researchers to extract, manipulate, and analyze internal activations and weights through a consistent interface. The project distinguishes itself through a comprehensive system of activation hooks that can capture, patch, and ablate internal tensors during the forward pass. It includes specialized utilities for decomposing fused projections, material