3 个仓库
Optimization techniques for reading and writing large datasets in chunks to reduce API calls.
Distinct from Array Processing: Focuses on reducing server requests in productivity apps rather than high-performance tensor computing
Explore 3 awesome GitHub repositories matching scientific & mathematical computing · Batch Data Processing. Refine with filters or upvote what's useful.
This repository is a comprehensive sample library providing reference implementations for automating tasks and extending functionality across Google Workspace applications. It serves as a collection of code examples and templates for building workspace automation scripts, custom add-ons, and integrated productivity tools. The project distinguishes itself by providing specialized examples for integrating large language models into productivity tools for content generation and data analysis. It also includes reference implementations for creating conversational chat apps, interactive cards, and
Minimizes server requests by using two-dimensional arrays for bulk data operations in spreadsheets.
Promptify 是一套专为模型评估、提示词管理、Token 成本跟踪、结构化提取和统一 API 网关访问而设计的工具。它提供了一个标准化接口,用于管理跨多个大型语言模型提供商的请求和响应。 该项目具有一个提示词管理平台,用于工程化和版本化带有结构化输出验证的提示词。它包括一个专门的评估框架,用于根据标记数据集测量模型性能(使用精确率、召回率和 F1 分数),以及一个 Token 成本跟踪器来监控模型请求的财务支出。 该库涵盖了自然语言处理的广泛功能,包括命名实体提取、文本分类和问答。它通过异步批处理支持高容量工作流,并通过模式验证将非结构化文本转换为类型化数据结构,从而确保数据一致性。
Supports high-volume workflows through asynchronous batch processing of multiple inputs to increase total throughput.
本项目是一个针对 Ruby on Rails 的静态分析工具和 Linter,旨在识别架构异味和最佳实践违规。它充当 Rails 应用的代码质量 Linter、架构审计员、安全扫描器和性能分析器。 该工具评估控制器、模型和视图模板之间的关注点分离,以减少技术债务。它识别次优的编码模式并强制执行风格一致性,同时专门扫描安全漏洞,如模型中未受保护的批量赋值。 分析范围涵盖检测低效的数据库查询和内存密集型数据检索模式。它还审计路由设计、验证记录持久化,并识别不当的错误处理和时区配置错误。 用户可以通过配置文件定义要启用或禁用的代码检查来管理分析。
Processes large datasets in chunks to prevent memory exhaustion during data retrieval.