Awesome GitHub RepositoriesApache Arrow-Based Formats

Lance is a columnar data format and storage layer designed for high-performance random access and the persistence of multimodal data. It functions as a vector database storage system, a multimodal data store, and a versioned dataset manager. The project distinguishes itself as a hybrid search engine that combines vector similarity search and full-text indexing on a single dataset. It provides unified storage for diverse data types including images, audio, and video, utilizing a system that lazy-loads large binary objects only when requested. The system manages dataset evolution through schem

GluonTS 是一个概率时间序列库和深度学习预测框架。它提供了一套工具包，用于构建、训练和评估神经网络架构，通过将未来值预测为概率分布来量化不确定性。 该项目的独特之处在于支持零样本（zero-shot）预测，并集成了多种建模方法，包括深度概率神经网络以及对 Prophet 和 R forecast 等外部统计库的封装。它实现了因果卷积和可逆残差网络等专门的架构原语，以防止信息泄露并将潜在表示映射为有效的概率分布。 该框架涵盖了全面的数据工程功能，包括时间序列缩放、双射变换和分层建模。它利用 Apache Arrow 和 Parquet 进行高性能数据集流式传输和随机访问管理。在模型评估方面，它包含一套评估套件，使用分位数损失（quantile loss）和连续排名概率分数（CRPS）等指标来衡量预测准确性和概率覆盖率。 该库支持通过集成 Amazon SageMaker 进行模型部署。