2 个仓库
Loaders that read CSV files one row at a time, converting values and separating features from targets for streaming machine learning.
Distinct from Multi-Source CSV Loading: Distinct from Multi-Source CSV Loading: focuses on row-by-row streaming for online learning, not loading from multiple source types.
Explore 2 awesome GitHub repositories matching data & databases · Streaming CSV Loaders. Refine with filters or upvote what's useful.
River 是一个用于在线机器学习的 Python 框架,旨在对流式数据进行模型训练和评估。它通过一次处理一个观测值来更新模型参数,从而实现增量学习,无需在内存中存储完整的训练数据集。 该库通过专门的概念漂移(Concept Drift)检测系统脱颖而出,该系统监控数据分布的变化以触发模型自适应。它还提供了一个渐进式验证框架,通过在训练前对样本进行测试来模拟实时部署。 该系统涵盖了广泛的流式处理功能,包括实时特征工程、时间序列预测和在线异常检测。它支持通过增量聚类和决策树进行无监督学习,以及用于模型选择的集成聚合和 Bandit 策略。 该项目包括从 CSV 文件和 API 等来源进行流式数据摄取的实用程序,以及用于计算运行统计信息和内存高效数据草图(Data Sketches)的工具。
Reads CSV files as a sequence of dictionaries, converting columns to numeric types for online learning.
ExcelDataReader 是一个 C# 库,用于从 Microsoft Excel 电子表格和 CSV 文件中提取数据和元数据。它作为一个工作簿解析器,将电子表格内容转换为结构化数据集,以便进行程序化访问和迭代。 该项目包含一个专门的元数据提取器,用于检索单元格级别的详细信息,例如数字格式、样式、行高、列宽和合并单元格范围。它还提供了一个流处理器,用于解析具有可自定义编码和分隔符检测功能的纯文本 CSV 文件。 该库支持现代电子表格文件的 OpenXML 标准,并利用基于流的解析和基于游标的行迭代来遍历工作簿。这些功能允许将多工作表工作簿转换为关系数据表。
Parses plain text streams using comma separated values with customizable encoding and separator detection.