17 Repos
Tools for importing, querying, and exporting data between various formats directly within the browser.
Distinct from Client-Side Data Filtering: Covers the full pipeline of import-query-export, which is broader than simple filtering [f6_mt4] or exporting [f6_mt5].
Explore 17 awesome GitHub repositories matching data & databases · Client-Side Data Processing. Refine with filters or upvote what's useful.
sql.js is a serverless, in-memory SQL database engine that ports SQLite to WebAssembly for use within a web browser. It provides a JavaScript interface to initialize relational databases, execute SQL queries, and manage structured data without requiring a backend server. The project enables the import and export of database states using typed arrays, allowing in-memory data to be persisted as files. It supports high-precision integer retrieval via BigInt and utilizes prepared statements to increase execution speed and security. The engine includes capabilities for client-side data management
Facilitates the complete pipeline of importing, querying, and exporting relational data directly in the browser.
AlaSQL is a JavaScript SQL database engine that allows for the filtering, grouping, and joining of in-memory object arrays and JSON data. It functions as an in-memory SQL database and client-side data processor, enabling the execution of SQL statements against JavaScript arrays and external data sources in both browser and server environments. The project serves as a universal data query tool capable of performing relational joins across diverse sources, such as merging Google Spreadsheets, SQLite files, and remote APIs into a single result set. It also acts as an IndexedDB SQL wrapper, allow
Provides a complete pipeline for importing, querying, and exporting data across CSV, Excel, and JSON formats in the browser.
zotero-gpt is an extension that integrates large language models with a reference management system to assist in the analysis and summarization of academic research papers. It functions as a research paper AI assistant capable of querying PDF documents and extracting insights directly from academic libraries. The tool features a contextual research search system that locates items within a library based on the semantic meaning of selected text. It includes a visual interface that renders AI-generated responses using Markdown and supports the display of complex mathematical formulas. The syst
Extracts and cleans content from academic papers locally before sending targeted segments to the AI model.
SandDance is a hardware-accelerated visualization library and web-based data explorer designed for the interactive analysis of large, non-aggregated datasets. It functions as an interactive data visualization tool that renders complex datasets and intricate visuals within a browser. The project provides an embeddable data canvas consisting of web components and tags, allowing for the integration of full visualization interfaces and interactive charts into external web applications. It utilizes WebGL hardware acceleration to efficiently render large volumes of data as interactive graphics. Th
Performs data filtering and type inference directly in the browser to reduce server requests.
This project is a browser extension and toolset designed to integrate real-time web search results and extracted page content into large language model prompts. It functions as a web search integrator and content parser that feeds current internet data into conversational AI interfaces to ensure responses are grounded in evidence. The system includes a prompt template manager for storing and executing pre-defined structures that trigger automated web crawls. It enables deep research workflows by performing comprehensive searches to generate detailed responses supported by citations and links
Processes and formats raw HTML and search results directly within the browser to prepare data for LLMs.
FeHelper ist eine Toolbox für Webbrowser-Erweiterungen und ein Frontend-Entwicklungs-Toolkit, das in Chrome, Firefox und Edge integriert ist. Es dient als Dienstprogramm zur Datentransformation, als Tool zum Debuggen von Webseiten und als KI-gestützter Coding-Assistent. Das Projekt zeichnet sich durch die Integration lokaler Modelle und OpenAI-kompatibler APIs aus, um Code direkt im Browser zu schreiben, zu refactoren und zu reparieren. Es bietet zudem Funktionen zur Generierung von TypeScript-Schemas und Zod-Definitionen aus Datenbeispielen mittels KI. Das Toolkit deckt ein breites Spektrum an Entwickler-Utilities ab, einschließlich Netzwerk-Debugging für HTTP- und WebSocket-Verbindungen, Daten-Encoding und -Decoding für Formate wie JWT und Base64 sowie JSON-Verarbeitungstools zum Formatieren, Reparieren und Vergleichen von Strukturen. Es enthält zudem Frontend-Tools für die Messung von Seitenlayouts, Quellcode-Formatierung und die Injektion benutzerdefinierter Skripte. Zusätzliche Funktionen umfassen eine Vielzahl von Medien- und Dokumententools für Markdown-Bearbeitung, QR-Code-Verarbeitung und Bildkonvertierung, neben Utility-Generatoren für eindeutige Identifikatoren und sichere Passwörter.
Performs complex data transformations and JSON parsing locally in the browser to ensure user data privacy.
Battery Historian ist ein Visualisierungs- und Profiling-Tool zur Analyse des Stromverbrauchs und der Batterieentladung auf Android-Geräten. Es fungiert als Bugreport-Viewer und Stromverbrauchsprofiler, der System-Logs parst, um Batteriestatistiken und Kernel-Daten in eine webbasierte Oberfläche zu extrahieren. Das Tool ist darauf spezialisiert, disparate Datenquellen auf einer synchronisierten chronologischen Zeitachse zu korrelieren. Es identifiziert stromverbrauchende Aktivitäten durch das Tracking von Userspace- und Kernel-Wakelock-Übergängen, das Mapping von Kernel-Wakeup-Quellen auf Echtzeit-Zeitstempel und das Überlagern von externen Hardware-Strommonitor-Logs auf Systemereignisse. Das System bietet Funktionen für vergleichende Analysen, die die Berechnung von Deltas zwischen mehreren Bugreports ermöglichen, um Änderungen im Stromverbrauchsverhalten zu messen. Zudem aggregiert es Metriken auf Anwendungsebene und Systemereignisse, um spezifische Software-Trigger zu identifizieren, die verhindern, dass ein Gerät in den Schlafmodus wechselt.
Processes and displays large volumes of event data within a web browser to allow interactive zooming and filtering.
PathOfBuilding is an offline build planner and character stat simulator for Path of Exile. It functions as a gear and skill modeler and a passive tree mapper to help users design characters by simulating combat statistics, passive skill trees, and gear combinations. The tool provides a simulation environment for testing item crafting outcomes and gem socket combinations to determine optimal loadouts. It also enables passive tree optimization by planning node allocations and jewel placements to maximize character power. The software covers character stat simulation for offensive and defensive
Performs all character and build calculations locally on the user's device for offline availability.
Dies ist eine Windows-Anwendung für automatische Spracherkennung, die gesprochenes Audio aus Videodateien in zeitgestempelte SRT-Untertiteldateien transkribiert. Sie dient als Untertitelgenerator und Übersetzungstool, das Medien-Sprache in synchronisierten Text umwandelt. Die Software fungiert als Batch-Medien-Transkribierer, der die gleichzeitige Verarbeitung mehrerer Audio- und Videodateien ermöglicht, um Untertitel in großen Mengen zu generieren. Sie enthält einen Übersetzungsworkflow zur Konvertierung von Transkriptionen zwischen verschiedenen Sprachen für die Erstellung zweisprachiger oder lokalisierter Dateien. Das System bietet zudem Textverfeinerungsfunktionen unter Verwendung regulärer Ausdrücke und benutzerdefinierter Filter, um Transkripte durch das Entfernen von Füllwörtern und unerwünschten Mustern zu bereinigen. Dies wird durch eine native grafische Windows-Benutzeroberfläche unterstützt.
Cleans transcription text locally using regular expressions to remove unwanted patterns.
Grid.js ist eine framework-agnostische JavaScript-Bibliothek für das Rendern interaktiver Datengitter. Sie ermöglicht die Anzeige strukturierter Informationen in tabellarischen Formaten über verschiedene Frontend-Umgebungen hinweg und unterstützt die Datenbefüllung aus statischen Arrays oder JSON-Importen. Die Bibliothek verfügt über ein Plugin-System zur Erweiterung von Benutzeroberflächenkomponenten und Logik sowie über eine benutzerdefinierte Datenpipeline zur Transformation von Informationen vor der Anzeige. Sie enthält integrierte Unterstützung für mehrsprachige Lokalisierung, um Schnittstellenelemente und Nachrichten zu übersetzen. Das Projekt deckt grundlegende Datenvisualisierungsfunktionen ab, einschließlich Sortierung, Filterung und dynamischer Gittervisualisierung. Es bietet Tools zur Verwaltung von Konfigurationseinstellungen und zur Integration in verschiedene JavaScript-Umgebungen.
Implements a client-side grid for populating and managing tabular data from static arrays or JSON imports.
Dieses Projekt ist eine umfassende Lehrressource und ein Kurs zum Aufbau neuronaler Netze mit PyTorch. Es deckt die grundlegenden Bausteine des Deep Learning ab, einschließlich Tensor-Manipulation, automatischer Differenzierung und der Konstruktion modularer Komponenten für neuronale Netze. Das Repository dient als technischer Leitfaden für verschiedene spezialisierte Bereiche. Es bietet Implementierungsdetails für Computer-Vision-Aufgaben wie Bildklassifizierung, Objekterkennung und semantische Segmentierung sowie Workflows für die Verarbeitung natürlicher Sprache (NLP) mit Transformern, rekurrenten Netzen und generativen Modellen. Zudem enthält es eine Referenz für generative KI, mit Fokus auf die Synthese von Bildern mittels Diffusionsmodellen und adversarialen Netzwerken. Das Material erstreckt sich auf Modelloptimierung und Deployment-Pipelines. Es behandelt Techniken zur Reduzierung der Modellgröße und zur Erhöhung der Inferenzgeschwindigkeit durch Quantisierung und den Export von Modellen in Formate wie ONNX und TensorRT. Weitere Kompetenzbereiche umfassen Data Engineering für paralleles Laden, Modellevaluierung mittels benutzerdefinierter Metriken und das Deployment von Open-Source Large Language Models. Das Projekt wird primär als eine Reihe von Jupyter Notebooks bereitgestellt.
Cleans raw text by removing irrelevant characters and stop words to create semantic sequences.
MikuTools ist eine Mehrzweck-Web-Utility-Suite und eine Plattform für KI-Multimedia-Generierung. Sie bietet eine Sammlung leichtgewichtiger, browserbasierter Tools zum Erstellen und Bearbeiten von Bildern, Videos und Audio unter Verwendung verschiedener künstlicher Intelligenzmodelle. Die Plattform zeichnet sich durch integrierte KI-Funktionen zur Inhaltsübersetzung und -bearbeitung aus, einschließlich Face-Swapping, Hintergrundentfernung, High-Resolution-Upscaling und Voice-Cloning. Sie ermöglicht zudem die Generierung professioneller digitaler Assets wie Visitenkarten, E-Mail-Signaturen und stilisierter Code-Screenshots. Das Toolkit deckt ein breites Spektrum technischer Dienstprogramme ab, einschließlich Online-Formatkonvertierung für Dokumente und Medien, Netzwerkkonfigurationsberechnungen für CIDR- und IP-Bereiche sowie technische Datentransformationen für Code- und Textkodierung. Zusätzliche Funktionen umfassen die Berechnung kryptografischer Hashes, die Verwaltung von Farbpaletten und den Abruf öffentlicher Daten.
Performs text manipulation and network calculations directly in the browser to reduce latency.
CrawlerTutorial is a comprehensive Python web scraping tutorial and framework designed for extracting data from static and dynamic websites. It functions as a web data extraction pipeline and an HTTP request orchestrator, covering the full lifecycle of scraping applications from initial fetching to final data storage. The project provides specialized guidance on anti-bot bypass techniques and web API reverse engineering. It includes methods for evading browser detection through identity masking and proxy rotation, as well as techniques for identifying hidden API endpoints by analyzing network
Cleans raw scraped text by removing HTML tags and fixing encoding for structured analysis.
Dieses Projekt ist ein umfassender Leitfaden und eine Roadmap für die Frontend-Entwicklung, die Ingenieuren dabei helfen soll, die Fähigkeiten und professionellen Standards für die moderne Webentwicklung zu meistern. Es dient als technische Referenz für die Beherrschung von HTML, CSS und JavaScript und bietet strukturierte Lernpfade sowie eine Übersicht der beruflichen Kompetenzen, die für den Übergang vom Anfänger zum professionellen Web-Engineer erforderlich sind. Die Ressource fungiert als kategorisiertes Verzeichnis und Ökosystem-Übersicht der JavaScript-Landschaft. Sie katalogisiert branchenübliche Frameworks, Bibliotheken und Dienstprogramme und bietet spezifische Empfehlungen für State Management, CSS-Frameworks und Static Site Generators. Der Leitfaden deckt ein breites Spektrum an technischen Fähigkeiten ab, einschließlich UI-Architektur, Web-Performance-Optimierung und Accessibility-Auditing. Zudem bietet er Orientierungshilfen für Build-Automatisierung, Deployment-Strategien und die Auswahl von Entwickler-Tools für professionelle Workflows.
Covers methods for managing and querying data directly within the browser environment.
Spark NLP is a toolkit for scalable text analysis and machine learning built on the Apache Spark distributed computing framework. It provides a multimodal machine learning framework and a distributed pipeline system for sequencing annotators to process large-scale linguistic data. The library includes a transformer text processor for generating contextual vector embeddings and a dedicated inference engine for managing large language models. The project distinguishes itself through its ability to process heterogeneous data types, including text, audio, and images, within a unified vision-langu
Cleans and prepares text data through tokenization and stop word removal for AI consumption.
python-ftfy ist eine Unicode-Textreparatur-Bibliothek, die entwickelt wurde, um Mojibake und Kodierungsfehler zu beheben. Sie bietet Dienstprogramme für die Erkennung von Byte-Kodierungen, die Dekodierung von HTML-Entitäten und die Wiederherstellung beschädigten Textes, um ihn in seine beabsichtigte Unicode-Form zurückzuführen. Das Projekt zeichnet sich durch eine mehrschichtige Dekodierungspipeline aus, die komplexe Kodierungsverwechslungen identifiziert und rückgängig macht. Es verwendet heuristikbasierte Erkennung, um Fälle zu lösen, in denen Text über mehrere Korruptionsebenen hinweg mit dem falschen Codec dekodiert wurde, und kann mit nicht standardmäßigen UTF-8-Varianten und unsauberen Kodierungszuordnungen umgehen. Die Bibliothek deckt zudem ein breites Spektrum an Textstandardisierungsaufgaben ab, einschließlich Unicode-Normalisierung, Zeilenumbruch-Standardisierung und der Erweiterung von lateinischen Ligaturen. Sie enthält Funktionen für die Normalisierung der Zeichenbreite sowie das Entfernen von Terminal-Escapes und Steuerzeichen. Eine Command-Line-Interface ist verfügbar, um die Erkennung und Reparatur von Unicode-Fehlern innerhalb von Dateien zu automatisieren.
Cleans Unicode data by removing terminal escapes and decomposing ligatures to prepare text for analysis.
Dieses Projekt ist ein Unicode-Textreparatur-Tool und eine Mojibake-Korrekturbibliothek, die entwickelt wurde, um Kodierungsfehler zu beheben und Originalzeichen aus verstümmelten Strings wiederherzustellen. Es fungiert als Textkodierungserkenner und Unicode-Normalisierungstool, um Probleme zu lösen, bei denen Text falsch dekodiert wurde. Die Bibliothek ist auf das Umkehren mehrschichtiger Kodierungsfehler und die Reparatur komplexer Mojibake-Muster spezialisiert. Sie enthält Funktionen zur Erkennung verlustbehafteter Kodierungssequenzen, zum Erraten von Byte-Kodierungen und zum Dekodieren nicht standardmäßiger UTF-8-Varianten. Das Toolset deckt ein breites Spektrum an Textbereinigungs- und Normalisierungsaufgaben ab, einschließlich der Dekodierung von HTML-Entitäten und Backslash-Escapes, der Erweiterung von lateinischen Ligaturen sowie der Standardisierung von Zeichenbreiten und Zeilenumbrüchen. Es bietet zudem Dienstprogramme zum Entfernen unsichtbarer Steuerzeichen und zur Inspektion von Unicode-Strings nach Codepoint. Eine Command-Line-Interface ist für die Reparatur von Unicode-Fehlern und Kodierungsfehlern innerhalb von Dateien oder Eingabeströmen verfügbar.
Cleans text data by removing invisible control characters and terminal escapes while standardizing ligatures.