Awesome GitHub RepositoriesData Mining

Fairseq is a PyTorch toolkit for sequence-to-sequence modeling, specializing in neural machine translation, automatic speech recognition, and large-scale language model training. It provides a framework for processing and aligning diverse data sources, including text, audio, and video, to support tasks such as speech-to-text conversion and multimodal sequence learning. The project is distinguished by its distributed training capabilities, which utilize parameter sharding, mixed-precision training, and CPU offloading to handle models that exceed single-device memory. It also includes specializ

Colly is a web scraping framework and concurrent crawler written in Go. It provides a system for traversing web pages, following links, and extracting structured data from HTML and XML documents. The framework includes a distributed scraping engine designed to spread data collection tasks across multiple instances to increase throughput. It ensures compliance with website owner policies by automatically reading and respecting robots.txt files. The system manages request lifecycles through domain-based rate limiting, concurrency controls, and session management via a stateful cookie jar. It s

This project provides a framework for managing multi-agent systems, designed to automate complex software development, infrastructure, and business workflows. It functions as a multi-agent workflow orchestrator that routes tasks to domain-specific workers while maintaining state persistence and infrastructure automation. By leveraging large language models, the system decomposes high-level objectives into actionable plans, ensuring that complex operations are executed with consistency and reliability. The framework distinguishes itself through its hierarchical agent registry and policy-driven

This project is a transformer-based framework for generating dense and sparse vector embeddings of text and multimodal data. It serves as a library for fine-tuning models to perform semantic similarity tasks, retrieval, and reranking. The system is distinguished by its support for diverse architectural patterns, including bi-encoders for fast similarity search and cross-encoders for high-precision reranking. It provides dedicated pipelines for multimodal embeddings, mapping text and images into a shared vector space, and implements knowledge distillation to compress large models into smaller,

Ai-Learn is an educational repository and technical reference designed to facilitate the mastery of artificial intelligence and data science workflows. It provides a structured curriculum that combines theoretical mathematical foundations with practical coding exercises, enabling users to build predictive models, neural networks, and analytical pipelines using Python. The project distinguishes itself by emphasizing a first-principles approach to machine learning. Rather than relying solely on high-level abstractions, it guides users through the reconstruction of core algorithms from scratch,

This is a large-scale collection of curated Chinese text corpora designed for training natural language processing models. The project provides a variety of datasets, including a deduplicated archive of millions of news articles with titles and keywords, high-quality categorized question-and-answer pairs, and parallel translation corpora. The collection includes millions of aligned Chinese and English sentence pairs used for cross-lingual model training and machine translation development. It also contains filtered question-and-answer data organized by label for the construction of knowledge-

This project is a machine learning implementation library featuring a collection of code examples that implement supervised, unsupervised, and reinforcement learning algorithms from scratch. It provides a comprehensive set of toolkits for core machine learning components, including a natural language processing toolkit, a reinforcement learning framework, and suites for data dimensionality reduction and pattern mining. The library includes specialized implementations for reinforcement learning, such as Q-Learning, Deep Q-Networks, and Actor-Critic agents. The natural language processing capab

Superalgos est une plateforme de trading algorithmique de cryptomonnaies utilisée pour concevoir, backtester et déployer des bots de trading automatisés. Elle se concentre sur un concepteur de stratégie visuel qui permet aux utilisateurs de créer des indicateurs et une logique de trading via une interface graphique au lieu d'écrire du code manuellement. La plateforme dispose d'un réseau de signaux token-gated qui permet un marché décentralisé pour diffuser et monétiser l'intelligence de trading. L'accès à ces signaux et prédictions est géré via des jetons numériques et des scores de réputation, tandis qu'une infrastructure de trading distribuée permet aux utilisateurs de coordonner le minage de données et l'exécution à haut volume à travers un réseau de multiples serveurs. Le système couvre un large éventail de capacités, incluant des moteurs de backtesting historique, le minage automatisé de données de marché et l'exécution de trades en direct. Il incorpore le machine learning pour la reconnaissance de modèles et fournit des outils de débogage visuels pour tracer l'état d'exécution interne des bots actifs. L'infrastructure prend en charge les déploiements auto-hébergés, permettant aux utilisateurs d'exécuter l'environnement sur site local pour garder le contrôle sur les fonds, les clés et les stratégies.

DotnetSpider est un framework de crawler web .NET et un outil programmable conçu pour parcourir les sites web et capturer des données structurées à partir de pages web. Il fonctionne comme un moteur de crawling distribué qui permet l'automatisation du crawling web pour découvrir et extraire des données. Le framework est conçu pour l'extraction de données distribuée, permettant aux tâches de crawling d'être réparties sur plusieurs serveurs pour traiter de grands volumes de contenu web. Cette architecture prend en charge le web scraping haute performance et les flux de travail de collecte de données en entreprise pour rassembler des informations structurées.

MNBVC is a dataset pipeline and toolkit designed for the collection, cleaning, and normalization of massive text and code corpora used to train large language models. It provides specialized tools for harvesting source code, commit histories, and repository metadata from version control platforms, alongside a multilingual text corpus collector for gathering parallel text and academic papers. The project distinguishes itself through comprehensive capabilities for processing diverse document types, including a PDF-to-text converter that transforms complex layouts and formulas into structured JS

Ce projet est une bibliothèque d'algorithmes de data mining et une implémentation de référence pour le machine learning. Il fournit une collection d'outils pour effectuer la classification, le clustering et l'exploration de règles d'association, ainsi qu'une boîte à outils pour l'optimisation inspirée de la nature. La bibliothèque inclut des utilitaires spécialisés pour l'exploration de graphes et de séquences, permettant l'extraction de sous-graphes fréquents et de modèles séquentiels. Elle dispose également d'un utilitaire de réduction de dimensionnalité qui utilise la théorie des ensembles approximatifs (rough set theory) pour supprimer les attributs redondants des jeux de données. Le projet couvre un large éventail de capacités analytiques, notamment l'analyse de réseaux et de graphes pour classer l'importance des nœuds, ainsi que l'utilisation de modèles probabilistes et d'arbres de décision pour la classification des données. Il implémente également des méthodes basées sur la distance et la densité pour le regroupement de données et des modèles de recherche heuristiques pour résoudre des problèmes d'optimisation complexes.

LASER is a cross-lingual sentence embedding library and multilingual text encoder. It functions as a parallel text mining tool that maps sentences from multiple languages into a shared vector space for similarity and classification tasks. The system converts raw text into fixed-length embeddings, enabling the discovery of translation pairs by calculating the vector distance between sentences. This shared representation allows for cross-lingual document classification, where a model trained on one language can be used to categorize documents in another. The library includes a sentence-piece t