Awesome GitHub RepositoriesNatural Language Processing Libraries

Mem0 is an agent-agnostic memory layer designed to provide intelligent agents with long-term persistence and cross-session state management. By acting as a centralized service, it allows diverse AI agents to recall user preferences, past interactions, and historical context, ensuring continuity across multiple workflows and independent agent systems. The platform distinguishes itself through a multi-signal retrieval engine that combines semantic vectors, keyword matching, and entity-linked metadata to surface the most relevant information. It employs an adaptive memory engine that automatical

This project is a comprehensive, community-driven directory of software resources, libraries, and frameworks for the Java programming language. It serves as a centralized knowledge base designed to help developers discover tools and industry-standard solutions for building and maintaining software applications. The repository distinguishes itself through a hierarchical taxonomy that organizes a vast array of technical components into a structured, navigable tree. By relying on distributed peer contributions, the index remains a living resource that reflects current community-recommended pract

Tiktoken is a library for converting raw text into numerical sequences using byte pair encoding schemes. It functions as a toolkit for managing tokenization processes, enabling the transformation of text into the specific numerical formats required by language models. The library provides mechanisms for automated encoder selection, allowing users to retrieve the correct tokenization configuration based on specific model names. It also supports the definition and registration of custom tokenization schemes, which facilitates the use of specialized vocabularies or unique model architectures wit

Gensim is a natural language processing toolkit designed for large-scale text analysis and the training of semantic vector embeddings. It provides a framework for identifying latent thematic structures within document collections and calculating semantic similarity between text segments using unsupervised statistical algorithms. The project is distinguished by its ability to handle datasets that exceed available system memory through incremental corpus streaming, which processes documents one at a time from disk. It utilizes sparse vector representations and dictionary-based token mapping to

Newspaper is a Python library designed for scraping, parsing, and analyzing web-based information. It functions as a framework for automated news aggregation and large-scale web content extraction, providing tools to download, clean, and structure text, metadata, and media from diverse online sources. The project distinguishes itself through a pipeline-oriented architecture that combines heuristic-based content extraction with natural language processing. It automatically identifies and isolates article bodies from web page boilerplate while simultaneously performing language detection, keywo

This project is a comprehensive Python toolkit designed for natural language processing, research, and education. It functions as a linguistic data processor that provides a standardized framework for managing, cleaning, and analyzing large collections of annotated text corpora and lexical resources. The library distinguishes itself through its integration of both symbolic and statistical methods, allowing users to perform complex tasks ranging from rule-based grammar parsing to machine learning-driven classification. It offers a modular pipeline for text processing, enabling the transformati

Compromise is a natural language processing library and rule-based text parser designed to analyze unstructured text. It functions as a toolkit for identifying parts of speech, linguistic patterns, and semantic meaning, while providing specialized engines for named entity recognition and the parsing of temporal and numeric data. The project is distinguished by its linguistic morphological engine, which can conjugate verbs across different tenses and inflect nouns and adjectives. It further allows for linguistic model customization through a plugin system that enables the extension of lexicons

Compromise is a natural language processing library and rule-based engine designed for English text manipulation, analysis, and parsing. It provides a toolkit for tokenizing text, identifying parts of speech, and performing linguistic analysis to achieve semantic understanding of unstructured strings. The project distinguishes itself through its ability to programmatically transform grammar, such as modifying verb tenses, noun plurality, and adjective forms. It also functions as a named entity recognizer capable of extracting people, places, organizations, dates, and contact information from

SentencePiece is a text segmentation engine and tokenization library designed for machine learning workflows. It provides a comprehensive toolkit for transforming raw text into subword units or numerical identifiers, enabling consistent data representation for neural network training and inference. The library supports the training of segmentation models from raw text, allowing for the creation of custom vocabularies tailored to specific domain requirements. The project distinguishes itself through its byte-level encoding and fallback mechanisms, which ensure that every input can be represent

This project is a conversational AI software development kit and framework used to build interactive chatbots that engage in natural language conversations and execute tasks for end users. It provides a multi-channel bot framework that connects conversational agents to various external messaging services using standardized adapters. The SDK includes a conversational workflow orchestrator and a natural language processing toolkit for analyzing user intent and extracting entities to route conversation flows. It further incorporates a speech integration framework that enables bidirectional audio

Smile is a comprehensive JVM machine learning library and statistical computing toolkit. It provides a suite of algorithms for classification, regression, and clustering, implemented natively for Java, Scala, and Kotlin. The project also functions as a deep learning framework, a natural language processing library, and an inference engine for large language models. The library distinguishes itself through GPU acceleration via LibTorch bindings and support for the ONNX model interchange format. It includes specialized capabilities for large language model inference, featuring Byte-Pair Encodin

Synonyms एक नेचुरल लैंग्वेज प्रोसेसिंग लाइब्रेरी और सिमेंटिक समानता इंजन है जिसे विशेष रूप से चीनी टेक्स्ट के लिए डिज़ाइन किया गया है। यह एक वर्ड एम्बेडिंग टूलकिट और टोकेनाइज़र के रूप में कार्य करता है जो सिमेंटिक अर्थ निकालता है और शब्दों और वाक्यों के बीच वैचारिक निकटता की गणना करके पर्यायवाची शब्दों की पहचान करता है। यह सिस्टम चीनी वर्ड एम्बेडिंग और पर्यायवाची खोज के लिए एक टूलकिट प्रदान करता है, जो शब्दावली का विस्तार करने के लिए सिमेंटिक रूप से समान शब्दों की पुनर्प्राप्ति की अनुमति देता है। यह मॉडल लोडिंग के लिए एक कॉन्फ़िगरेशन-संचालित दृष्टिकोण के माध्यम से खुद को अलग करता है, जो समानता लुकअप के लिए उपयोग किए जाने वाले सिमेंटिक स्पेस को परिभाषित करने के लिए कस्टम वर्ड एम्बेडिंग के एकीकरण का समर्थन करता है। इसकी व्यापक क्षमताओं में पार्ट-ऑफ-स्पीच टैगिंग, कीवर्ड निष्कर्षण और टेक्स्ट सारांश के साथ चीनी टेक्स्ट विभाजन शामिल है। लाइब्रेरी शब्द और वाक्य वेक्टरकरण के माध्यम से कच्चे टेक्स्ट को संख्यात्मक अभ्यावेदन में बदलती है, सिमेंटिक समानता गणना और तुलना करने के लिए दूरी मेट्रिक्स का उपयोग करती है।

यह रिपॉजिटरी एक व्यापक शैक्षिक कार्यक्रम और डीप लर्निंग फ्रेमवर्क है, जिसे नोटबुक और कोड उदाहरणों के माध्यम से PyTorch का उपयोग करके व्यावहारिक डीप लर्निंग सिखाने के लिए डिज़ाइन किया गया है। यह न्यूरल नेटवर्क बनाने, प्रशिक्षित करने और डिप्लॉय करने के लिए एक हाई-लेवल लाइब्रेरी के रूप में कार्य करता है। यह प्रोजेक्ट कंप्यूटर विज़न, नेचुरल लैंग्वेज प्रोसेसिंग और टैबुलर डेटा प्रीप्रोसेसिंग के लिए विशेष टूलकिट प्रदान करता है। यह डिस्क्रिमिनेटिव लर्निंग रेट्स, ट्रेनिंग लॉजिक को कस्टमाइज़ करने के लिए टू-वे कॉलबैक सिस्टम और हाई-लेवल लर्नर एब्स्ट्रैक्शन जैसे उन्नत ट्रेनिंग कंट्रोल्स के माध्यम से खुद को अलग करता है। यह प्रोजेक्ट Jupyter Notebooks की एक श्रृंखला के रूप में उपलब्ध है।

OpenNRE एक नेचुरल लैंग्वेज प्रोसेसिंग लाइब्रेरी और न्यूरल रिलेशन एक्सट्रैक्शन फ्रेमवर्क है जिसे असंरचित टेक्स्ट को संरचित रिलेशनल डेटा में बदलने के लिए डिज़ाइन किया गया है। यह संस्थाओं (entities) के बीच संबंध प्रकारों की पहचान करने और ज्ञान आधारों (knowledge bases) को पॉप्युलेट और विस्तारित करने के लिए एंटिटी-रिलेशन-एंटिटी ट्रिपल्स जनरेट करने के लिए एक टूलकिट के रूप में कार्य करता है। यह फ्रेमवर्क सुपरवाइज्ड और डिस्टेंटली सुपरवाइज्ड रिलेशन एक्सट्रैक्शन दोनों के लिए टूल्स प्रदान करता है, जिससे न्यूरल मॉडलों को लेबल किए गए डेटासेट पर या स्वचालित पाइपलाइन्स के माध्यम से ट्रेन किया जा सकता है जो ज्ञान आधार ट्रिपल्स को रॉ टेक्स्ट के साथ संरेखित (align) करते हैं। यह प्रोजेक्ट ट्रांसफ़ॉर्मर-बेस्ड टेक्स्ट एन्कोडिंग, रिलेशन इन्फरेंस और नॉलेज ग्राफ़ निर्माण के लिए संरचित ट्रिपल्स के आउटपुट सहित एक पूर्ण सूचना निष्कर्षण पाइपलाइन को कवर करता है।

This framework is a research-oriented toolkit designed for training, fine-tuning, and evaluating conversational agents using transformer-based language architectures. It provides an integrated environment for adapting large pre-trained models to specific dialogue datasets, enabling the development of systems capable of generating coherent, human-like responses. The project distinguishes itself through its support for multi-GPU distributed training, which accelerates the optimization of large-scale models. It also features configurable probabilistic decoding strategies, such as nucleus and gre

This project is a statistical library and computational framework designed for topic modeling within large document collections. It functions as a natural language processing toolkit that identifies hidden thematic structures by analyzing word frequency patterns across unstructured text data. The library employs Latent Dirichlet Allocation to model documents as mixtures of topics and topics as mixtures of words. It utilizes Gibbs sampling and iterative state-space updating to estimate the posterior distribution of latent variables, refining topic assignments until the model reaches statistica