Awesome GitHub RepositoriesData Retrieval Pipelines

GPT Researcher is an autonomous agent framework designed to automate the process of gathering, synthesizing, and documenting information from diverse web and local sources. It functions as a research-oriented execution environment that orchestrates specialized agents to perform complex, multi-branch research tasks, transforming raw data into structured, factual, and cited reports. The project distinguishes itself through a graph-based orchestration layer that manages state transitions and information flow between specialized agents. It employs recursive tree-search execution to explore comple

TradingAgents-CN is a multi-agent framework designed for autonomous financial market analysis and automated trading execution. It functions as a containerized orchestrator that leverages large language models to perform complex reasoning, research, and decision-making tasks within financial environments. The platform distinguishes itself through a modular architecture that integrates diverse artificial intelligence providers and financial data sources into a unified pipeline. It provides granular control over agent behavior through prompt-driven logic configuration and multi-model orchestrati

This project is a web-based user interface and multi-model API gateway for interacting with various large language model providers and local inference services. It functions as a retrieval-augmented generation chatbot for private document questioning, a manager for model fine-tuning, and an autonomous agent framework. The system distinguishes itself by integrating an autonomous assistant mode that uses web search and external tools to solve complex, multi-step tasks without manual prompting. It also features an API gateway capable of rotating multiple authentication keys to balance usage and

Falcor is a JavaScript library that models remote data as a single virtual JSON graph, providing a path-based query engine for efficient client-side data retrieval and updates. It represents multiple remote data sources as a unified document where entities are accessed via globally unique identity paths. The system distinguishes itself by treating the remote data model as a virtual JSON resource, allowing the client to query specific paths without managing individual endpoints. It uses a reference-aware graph model to handle many-to-many relationships and prevents data duplication. Network ef

StockSharp is an algorithmic trading platform and quantitative framework used for developing and deploying trading robots across stock, forex, and cryptocurrency markets. It functions as a multi-asset trading gateway and a dedicated development environment for building, debugging, and scheduling automated strategies. The platform includes a visual strategy workflow editor that maps logic blocks to executable code and a simulation engine that replays historical tick data to validate trading logic. It utilizes a plugin-based broker integration system to normalize diverse exchange protocols into

Quantaxis is a quantitative trading framework designed for building, backtesting, and executing automated strategies across global equities, futures, and cryptocurrencies. It integrates an event-driven backtesting engine, a multi-market execution gateway for order routing, and a quantitative data pipeline for ingesting and storing multi-asset market data. The system features a Rust-accelerated financial library that utilizes Apache Arrow for high-performance technical indicator calculation and zero-copy data processing. It provides a containerized infrastructure model designed for orchestrati

LearnPython is a programming tutorial consisting of a collection of practical code examples used to demonstrate Python language features and programming patterns. It serves as a comprehensive learning resource that implements core language concepts through functional code. The project provides specialized guides and samples covering several key domains. These include asynchronous network programming with event loops and coroutines, data visualization using numerical datasets for 2D and 3D plots, and web scraping for fetching content and automating login flows. It also features instructions on

This project is a quantitative trading platform and algorithmic trading bot designed for market data aggregation, strategy backtesting, and trade execution. It functions as a comprehensive system for collecting financial data via APIs and web sources, simulating investment strategies against historical records, and programmatically managing investment positions through brokerage interfaces. The platform distinguishes itself through institutional sentiment analysis and market intelligence tools. It monitors institutional fund activity, tracks corporate actions like equity pledges, and crawls f

Sui is a blockchain platform featuring an object-centric state model and resource-oriented smart contracts. It utilizes parallel transaction execution to increase network throughput and supports programmable transaction blocks that bundle multiple operations into single atomic units. The platform distinguishes itself with a capability-based access control system and zero-knowledge login mechanisms, enabling users to authenticate via identity providers without seed phrases. It also implements deterministic object addressing to allow predictable state lookups and supports the creation of soulbo

python-binance is a Python client library that provides programmatic access to the Binance cryptocurrency exchange through both REST and WebSocket APIs. It serves as a comprehensive toolkit for automated trading, account management, and market data retrieval, enabling developers to build trading bots, portfolio management tools, and data analysis applications that interact directly with the exchange. The library distinguishes itself through a dual-client architecture that separates synchronous REST calls from persistent WebSocket streams, allowing concurrent execution without blocking. It inc

ArduinoJson is a C++ library for parsing and manipulating JSON data and MessagePack binary streams on microcontrollers with limited memory and processing power. It provides the core primitives necessary for embedded data serialization and parsing, enabling devices to exchange structured data over serial or network interfaces. The library is distinguished by its focus on microcontroller memory management, employing strategies such as pool-based allocation, string deduplication, and non-owning string views to minimize RAM usage. It further optimizes for constrained environments by allowing cons

This project is a Go shell scripting library and framework designed for writing automation scripts and CLI tools. It provides a concurrent data pipeline system for chaining sources, filters, and sinks to process text and JSON streams. The library distinguishes itself through a comprehensive toolkit for shell-like operations, including a text processing engine for regular expression filtering and frequency analysis, a filesystem utility toolkit for recursive search and path manipulation, and an integrated HTTP client wrapper for building data pipelines that fetch web content. The capability s

CppGuide is a curated collection of educational resources and practical guides focused on C++ server development, Linux kernel internals, concurrent programming, network protocols, and security exploitation. It provides structured learning paths for backend developers, covering everything from interview preparation to building high-performance network servers and understanding operating system fundamentals. The guide distinguishes itself by offering in-depth, hands-on tutorials that walk through real-world implementations, including building a Redis-like server from scratch, designing custom

Ce projet est une boîte à outils complète de données de marché et un système d'analyse financière spécifiquement conçu pour les actions A chinoises. Il sert de pipeline de données pour récupérer des cotations en temps réel, agréger les états financiers des entreprises et automatiser la recherche en actions. Le système se distingue par des moniteurs spécialisés pour les mouvements de capitaux institutionnels, incluant les flux de fonds Northbound, les soldes de trading sur marge et les transactions en gros blocs. Il dispose également d'un calculateur de Grecs d'options dédié pour les dérivés ETF et d'outils pour jauger le sentiment du marché via des classements de popularité de détail et des tags de concepts tendance. Les capacités s'étendent à l'analyse fondamentale des entreprises via l'extraction de bilans et d'annonces officielles des bourses. La boîte à outils couvre également l'identification des tendances du marché, le classement des performances sectorielles et l'agrégation de rapports de recherche institutionnels professionnels et de prévisions de bénéfices. Le système inclut des fonctionnalités de gestion du trafic telles que le throttling de requêtes et le jitter pour maintenir la stabilité lors des intégrations d'API.

Ce projet fournit une documentation technique et des guides de référence pour le trading au comptant (spot trading), incluant des spécifications pour les protocoles REST, WebSocket et FIX. Il sert de ressource complète pour l'intégration avec les endpoints de trading au comptant afin d'exécuter des transactions, d'interroger les données de compte et de récupérer les statistiques de marché. Le projet se distingue par la prise en charge d'une connectivité de qualité institutionnelle via le standard Financial Information eXchange (FIX) et un encodage binaire simple pour réduire la latence et la taille de la charge utile. Il inclut également un environnement sandbox dédié pour valider la logique et les stratégies de trading sans risque financier. La documentation couvre un large éventail de capacités, notamment le streaming de données de marché en temps réel, la gestion complète du cycle de vie des ordres et des transactions, et la surveillance des comptes. Elle détaille également les types d'ordres complexes, le routage intelligent des ordres et les règles de trading strictes concernant la validation des prix et des quantités. Le dépôt contient des références API détaillées, un guide d'intégration du protocole FIX et une spécification de données de marché WebSocket pour orienter les développeurs lors de l'implémentation.

tqsdk-python est un SDK et framework de trading quantitatif conçu pour développer des stratégies automatisées pour les contrats à terme, les options et les actions en utilisant Python. Il fonctionne comme un moteur de trading algorithmique et une API de données de marché financier, fournissant les outils nécessaires pour backtester des stratégies, analyser des données historiques et exécuter des trades en direct à travers plusieurs comptes de courtage. Le projet se distingue par une bibliothèque d'analyse d'options spécialisée qui calcule les Grecs, la volatilité implicite et les surfaces de volatilité en utilisant le modèle Black-Scholes. Il prend en outre en charge des modèles d'exécution d'ordres complexes, tels que TWAP, Iceberg et POV, pour minimiser l'impact sur le marché lors de l'entrée et de la sortie de position. Le SDK couvre une large surface de capacités, y compris la récupération de données de marché en temps réel et historiques, la gestion des risques quantitatifs et le suivi de portefeuille. Il intègre un modèle d'exécution asynchrone pour le streaming de données et la planification de tâches, parallèlement à des outils pour la simulation de trading multi-actifs et l'analyse de performance. La bibliothèque fournit une interface graphique basée sur le web pour le suivi de stratégie et la visualisation de données.

Ce projet est une bibliothèque de web scraping Python et une suite d'automatisation de collecte de données. Il fournit des outils pour extraire des données structurées à partir de sites web, implémenter des crawlers pour naviguer entre les liens et analyser les structures DOM HTML pour isoler des éléments et attributs spécifiques. La boîte à outils inclut un pipeline pour traiter le texte non structuré et nettoyer le contenu web brut afin d'extraire des informations significatives. Elle propose également des capacités d'extraction de données d'image et l'intégration d'API externes pour récupérer des données structurées depuis des endpoints distants. Le système couvre de larges domaines de fonctionnalités, notamment l'extraction automatisée de données web, les workflows de crawling et des techniques pour contourner les obstacles au scraping via des proxys et des résolveurs de CAPTCHA.

pyalgotrade est une bibliothèque Python de trading algorithmique conçue pour développer, backtester et exécuter des stratégies de trading automatisées. Elle fournit un framework complet pour le backtesting de stratégies financières, une bibliothèque d'analyse technique pour calculer des indicateurs mathématiques, et des connecteurs pour l'intégration d'échanges de cryptomonnaies. Le projet se distingue par sa prise en charge du trading basé sur le sentiment grâce à l'intégration de flux de réseaux sociaux en temps réel et de flux de mots-clés. Il propose un outil de visualisation de trading quantitatif pour tracer l'évolution des prix et les courbes d'équité du portefeuille, ainsi qu'une optimisation parallèle des paramètres pour identifier les réglages de stratégie les plus efficaces. La bibliothèque couvre un large éventail de capacités, incluant la construction de pipelines de données financières pour l'ingestion et le rééchantillonnage des données de marché, la gestion du cycle de vie des ordres pour le trading réel et simulé (paper trading), et l'analyse de performance quantitative pour calculer les rendements ajustés au risque et les drawdowns. Elle inclut également des outils d'analyse technique, tels que les bandes de volatilité et les indicateurs de momentum, ainsi que des simulations prenant en compte le slippage des ordres et les commissions de transaction.

hftbacktest est un framework de backtesting de trading haute fréquence et un moteur de données de marché de niveau 3. Il sert d'environnement de simulation pour les bots de trading de cryptomonnaies et les stratégies de market-making, utilisant un simulateur de carnet d'ordres à limite pour modéliser des microstructures de marché précises et la liquidité. Le système se différencie par des composants de simulation haute fidélité, incluant la modélisation de la position dans la file d'attente pour prédire les temps d'exécution et l'exécution consciente de la latence pour simuler les délais de traitement du réseau et de l'échange. Il reconstruit les états du carnet d'ordres à partir de données de niveau 2 et de niveau 3 et utilise des flux bruts de transactions et de cotations d'échange plutôt que des bougies agrégées. Le framework couvre un large éventail de capacités incluant la simulation d'événements basée sur les ticks, la gestion du cycle de vie des ordres à limite et l'analyse de la microstructure du marché. Il inclut également des outils pour le suivi des statistiques de portefeuille afin de calculer les métriques de stratégie basées sur les états de position et la tarification.

This project is a Go library and command-line utility designed for the retrieval and local archival of remote video content. It provides a programmatic interface for fetching media streams, allowing users to extract metadata and download video files directly to local storage. The library distinguishes itself through its ability to resolve playback restrictions by performing algorithmic transformations on obfuscated authentication tokens. This signature decryption process enables the tool to bypass standard access limitations, while its interface-driven design allows for the selection of speci