Awesome GitHub RepositoriesCustom Trace Data Source Implementations

Airweave is a unified AI knowledge base platform that syncs data from external APIs into a searchable layer for retrieval-augmented generation. It provides a pre-built data connector library and a framework for building custom connectors, enabling the extraction, transformation, and synchronization of structured and unstructured data from SaaS applications. The platform includes a hybrid vector retrieval system that combines semantic, neural, and keyword search strategies to deliver grounded context for AI agents. The platform distinguishes itself through an agentic search engine that iterati

Perfetto is a platform for system-level performance tracing and analysis on Linux and Android. It combines a high-throughput trace recorder, a SQL-based query engine, and a browser-based visualizer into a single toolchain. The platform covers CPU scheduling and call-stack profiling, native and Java heap memory allocation tracking, GPU and graphics events, and system-wide counters such as CPU frequency and power consumption. The architecture decouples trace recording from offline analysis, using a compact protobuf format for event encoding and columnar storage for efficient SQL queries. The we

dlt 是一个 Python 数据摄取工具和 ETL 流水线框架，旨在从不同来源获取数据并将其持久化到结构化目标中。它作为一个模式推断引擎，可自动检测数据类型并将嵌套的 JSON 结构扁平化为关系表，将数据从源端移动到数据湖、数据仓库或向量数据库。 该项目通过 AI 驱动的流水线生成脱颖而出，利用大语言模型为 REST API 构建提取代码和连接器。它还支持多模态向量存储和向量数据库的专门填充，以支持 AI 和机器学习应用。 该框架涵盖了广泛的功能，包括自动化模式演进、通过状态跟踪进行增量数据加载，以及通过强制执行数据契约进行数据质量验证。它提供了用于关系数据规范化、加载前后转换的工具，以及针对 SQL 数据库和云对象存储的多种目标适配器。 可观测性通过流水线执行仪表板、列血缘跟踪以及使用基于内容的哈希进行模式版本验证来处理。

Haxl 是一个 Haskell 库和远程服务请求编排器，旨在协调跨多个远程服务提供商的并发数据获取、请求批处理和缓存。它作为一个框架，用于从外部数据库和 Web 服务检索数据，同时最大限度地减少网络往返次数。 该项目以其基于应用（applicative-based）的请求批处理系统而著称，该系统将多个单独的数据请求组合成单个调用，以减少网络开销。它采用异步并行请求调度器来并发执行独立请求，并利用记忆化缓存层来避免在单个请求周期内重复相同的网络调用。 该库提供了管理数据集成的大量功能，包括用于顺序请求的单子（monadic）依赖解析，以及防止远程 API 过载的并发限制。它还包括将请求类型映射到自定义数据源实现的方法。