3 Repos
Optimization techniques for reading and writing large datasets in chunks to reduce API calls.
Distinct from Array Processing: Focuses on reducing server requests in productivity apps rather than high-performance tensor computing
Explore 3 awesome GitHub repositories matching scientific & mathematical computing · Batch Data Processing. Refine with filters or upvote what's useful.
This repository is a comprehensive sample library providing reference implementations for automating tasks and extending functionality across Google Workspace applications. It serves as a collection of code examples and templates for building workspace automation scripts, custom add-ons, and integrated productivity tools. The project distinguishes itself by providing specialized examples for integrating large language models into productivity tools for content generation and data analysis. It also includes reference implementations for creating conversational chat apps, interactive cards, and
Minimizes server requests by using two-dimensional arrays for bulk data operations in spreadsheets.
Promptify ist eine Suite von Tools für Modellevaluierung, Prompt-Management, Token-Kostenverfolgung, strukturierte Extraktion und einheitlichen API-Gateway-Zugriff. Es bietet eine standardisierte Schnittstelle zur Verwaltung von Anfragen und Antworten über mehrere Anbieter großer Sprachmodelle hinweg. Das Projekt umfasst eine Prompt-Management-Plattform für das Engineering und die Versionierung von Prompts mit strukturierter Ausgabevalidierung. Es enthält ein dediziertes Evaluierungsframework zur Messung der Modellleistung anhand von Precision-, Recall- und F1-Scores gegenüber gelabelten Datensätzen sowie einen Token-Kosten-Tracker zur Überwachung der finanziellen Ausgaben für Modellanfragen. Die Bibliothek deckt breite Funktionen für die Verarbeitung natürlicher Sprache ab, einschließlich Named-Entity-Extraktion, Textklassifizierung und Question-Answering. Sie unterstützt hochvolumige Workflows durch asynchrone Batch-Verarbeitung und stellt Datenkonsistenz sicher, indem unstrukturierter Text mittels Schema-Validierung in typisierte Datenstrukturen konvertiert wird.
Supports high-volume workflows through asynchronous batch processing of multiple inputs to increase total throughput.
This project is a static analysis tool and linter for Ruby on Rails designed to identify architectural smells and violations of best practices. It serves as a code quality linter, architectural auditor, security scanner, and performance analyzer for Rails applications. The tool evaluates the separation of concerns between controllers, models, and view templates to reduce technical debt. It identifies suboptimal coding patterns and enforces stylistic consistency, while specifically scanning for security vulnerabilities such as unprotected mass assignment in models. The analysis surface covers
Processes large datasets in chunks to prevent memory exhaustion during data retrieval.