18 dépôts
Tools for importing, querying, and exporting data between various formats directly within the browser.
Distinct from Client-Side Data Filtering: Covers the full pipeline of import-query-export, which is broader than simple filtering [f6_mt4] or exporting [f6_mt5].
Explore 18 awesome GitHub repositories matching data & databases · Client-Side Data Processing. Refine with filters or upvote what's useful.
sql.js is a serverless, in-memory SQL database engine that ports SQLite to WebAssembly for use within a web browser. It provides a JavaScript interface to initialize relational databases, execute SQL queries, and manage structured data without requiring a backend server. The project enables the import and export of database states using typed arrays, allowing in-memory data to be persisted as files. It supports high-precision integer retrieval via BigInt and utilizes prepared statements to increase execution speed and security. The engine includes capabilities for client-side data management
Facilitates the complete pipeline of importing, querying, and exporting relational data directly in the browser.
AlaSQL is a JavaScript SQL database engine that allows for the filtering, grouping, and joining of in-memory object arrays and JSON data. It functions as an in-memory SQL database and client-side data processor, enabling the execution of SQL statements against JavaScript arrays and external data sources in both browser and server environments. The project serves as a universal data query tool capable of performing relational joins across diverse sources, such as merging Google Spreadsheets, SQLite files, and remote APIs into a single result set. It also acts as an IndexedDB SQL wrapper, allow
Provides a complete pipeline for importing, querying, and exporting data across CSV, Excel, and JSON formats in the browser.
zotero-gpt is an extension that integrates large language models with a reference management system to assist in the analysis and summarization of academic research papers. It functions as a research paper AI assistant capable of querying PDF documents and extracting insights directly from academic libraries. The tool features a contextual research search system that locates items within a library based on the semantic meaning of selected text. It includes a visual interface that renders AI-generated responses using Markdown and supports the display of complex mathematical formulas. The syst
Extracts and cleans content from academic papers locally before sending targeted segments to the AI model.
SandDance is a hardware-accelerated visualization library and web-based data explorer designed for the interactive analysis of large, non-aggregated datasets. It functions as an interactive data visualization tool that renders complex datasets and intricate visuals within a browser. The project provides an embeddable data canvas consisting of web components and tags, allowing for the integration of full visualization interfaces and interactive charts into external web applications. It utilizes WebGL hardware acceleration to efficiently render large volumes of data as interactive graphics. Th
Performs data filtering and type inference directly in the browser to reduce server requests.
This project is a browser extension and toolset designed to integrate real-time web search results and extracted page content into large language model prompts. It functions as a web search integrator and content parser that feeds current internet data into conversational AI interfaces to ensure responses are grounded in evidence. The system includes a prompt template manager for storing and executing pre-defined structures that trigger automated web crawls. It enables deep research workflows by performing comprehensive searches to generate detailed responses supported by citations and links
Processes and formats raw HTML and search results directly within the browser to prepare data for LLMs.
FeHelper est une boîte à outils d'extension de navigateur web et un kit de développement frontend intégré à Chrome, Firefox et Edge. Il sert d'utilitaire de transformation de données, d'outil de débogage de page web et d'assistant de codage alimenté par l'IA. Le projet se distingue par l'intégration de modèles locaux et d'API compatibles avec OpenAI pour écrire, refactoriser et réparer du code directement dans le navigateur. Il fournit également des capacités pour générer des schémas TypeScript et des définitions Zod à partir d'échantillons de données en utilisant l'IA. La boîte à outils couvre un large éventail d'utilitaires pour développeurs, incluant le débogage réseau pour les connexions HTTP et WebSocket, l'encodage et le décodage de données pour des formats comme JWT et Base64, et des outils de traitement JSON pour formater, réparer et comparer des structures. Elle inclut également des outils frontend pour la mesure de mise en page, le formatage de code source et l'injection de scripts utilisateur personnalisés. Des capacités supplémentaires incluent une variété d'outils média et documentaires pour l'édition Markdown, le traitement de codes QR et la conversion d'images, ainsi que des générateurs d'utilitaires pour des identifiants uniques et des mots de passe sécurisés.
Performs complex data transformations and JSON parsing locally in the browser to ensure user data privacy.
Battery Historian est un outil de visualisation et de profilage pour analyser la consommation d'énergie et la décharge de la batterie sur les appareils Android. Il fonctionne comme une visionneuse de rapports de bugs et un profileur de consommation d'énergie qui analyse les logs système pour extraire les statistiques de batterie et les données du noyau dans une interface basée sur le web. L'outil se spécialise dans la corrélation de sources de données disparates sur une chronologie synchronisée. Il identifie les activités consommatrices d'énergie en suivant les transitions de wakelock de l'espace utilisateur et du noyau, en mappant les sources de réveil du noyau à des horodatages en temps réel, et en superposant les logs de moniteurs d'énergie matériels externes sur les événements système. Le système fournit des capacités pour l'analyse comparative, permettant le calcul de deltas entre plusieurs rapports de bugs pour mesurer les changements dans le comportement énergétique. Il agrège en outre les métriques au niveau de l'application et les événements système pour identifier les déclencheurs logiciels spécifiques qui empêchent un appareil d'entrer en mode veille.
Processes and displays large volumes of event data within a web browser to allow interactive zooming and filtering.
PathOfBuilding est un planificateur de build hors ligne et un simulateur de statistiques de personnage pour Path of Exile. Il fonctionne comme un modeleur d'équipement et de compétences et un cartographe d'arbre passif pour aider les utilisateurs à concevoir des personnages en simulant les statistiques de combat, les arbres de compétences passives et les combinaisons d'équipement. L'outil fournit un environnement de simulation pour tester les résultats de craft d'objets et les combinaisons de gemmes afin de déterminer les loadouts optimaux. Il permet également l'optimisation de l'arbre passif en planifiant les allocations de nœuds et les placements de joyaux pour maximiser la puissance du personnage. Le logiciel couvre la simulation des statistiques de personnage pour les valeurs offensives et défensives, la modélisation de l'itemisation et du craft, ainsi que la capacité d'importer des données de personnage ou de partager des configurations de build via des codes uniques.
Performs all character and build calculations locally on the user's device for offline availability.
Ceci est une application Windows pour la reconnaissance vocale automatique qui transcrit l'audio parlé à partir de fichiers vidéo en fichiers de sous-titres SRT horodatés. Elle sert de générateur de sous-titres et d'outil de traduction qui convertit la parole des médias en texte synchronisé. Le logiciel fonctionne comme un transcripteur de médias par lots, permettant le traitement simultané de plusieurs fichiers audio et vidéo pour générer des sous-titres en masse. Il inclut un workflow de traduction pour convertir les transcriptions entre différentes langues pour la création de fichiers bilingues ou localisés. Le système fournit également des capacités d'affinage de texte, utilisant des expressions régulières et des filtres personnalisés pour nettoyer les transcriptions en supprimant les mots de remplissage et les motifs indésirables. Ceci est supporté par une interface utilisateur graphique Windows native.
Cleans transcription text locally using regular expressions to remove unwanted patterns.
Grid.js est une bibliothèque JavaScript agnostique aux frameworks pour le rendu de grilles de données interactives. Elle permet l'affichage d'informations structurées sous forme tabulaire dans différents environnements frontend, prenant en charge le peuplement des données à partir de tableaux statiques ou d'importations JSON. La bibliothèque dispose d'un système de plugins pour étendre les composants et la logique de l'interface utilisateur, ainsi qu'un pipeline de données personnalisé pour transformer les informations avant leur affichage. Elle inclut un support intégré pour la localisation multilingue afin de traduire les éléments d'interface et les messages. Le projet couvre les capacités fondamentales de visualisation de données, notamment le tri, le filtrage et la visualisation dynamique de grilles. Il fournit des outils pour gérer les paramètres de configuration et s'intégrer avec divers environnements JavaScript.
Implements a client-side grid for populating and managing tabular data from static arrays or JSON imports.
This project is a comprehensive instructional resource and course for building neural networks using PyTorch. It covers the fundamental building blocks of deep learning, including tensor manipulation, automatic differentiation, and the construction of modular neural network components. The repository serves as a technical guide for several specialized domains. It provides implementation details for computer vision tasks such as image classification, object detection, and semantic segmentation, as well as natural language processing workflows involving transformers, recurrent networks, and gen
Cleans raw text by removing irrelevant characters and stop words to create semantic sequences.
MikuTools est une suite d'utilitaires web polyvalents et une plateforme de génération multimédia par IA. Elle fournit une collection d'outils légers basés sur navigateur pour créer et éditer des images, des vidéos et de l'audio en utilisant divers modèles d'intelligence artificielle. La plateforme se distingue par des capacités intégrées de traduction et d'édition de contenu par IA, y compris l'échange de visages, la suppression d'arrière-plan, l'upscaling haute résolution et le clonage de voix. Elle permet également la génération d'actifs numériques professionnels tels que des cartes de visite, des signatures d'e-mail et des captures d'écran de code stylisées. La boîte à outils couvre une large gamme d'utilitaires techniques, y compris la conversion de format en ligne pour les documents et les médias, les calculs de configuration réseau pour les plages CIDR et IP, et les transformations de données techniques pour l'encodage de code et de texte. Les capacités supplémentaires incluent le calcul de hachage cryptographique, la gestion de palettes de couleurs et la récupération de données publiques.
Performs text manipulation and network calculations directly in the browser to reduce latency.
CrawlerTutorial est un tutoriel complet de web scraping en Python et un framework conçu pour extraire des données de sites web statiques et dynamiques. Il fonctionne comme un pipeline d'extraction de données web et un orchestrateur de requêtes HTTP, couvrant tout le cycle de vie des applications de scraping, de la récupération initiale au stockage final des données. Le projet fournit des conseils spécialisés sur les techniques de contournement anti-bot et l'ingénierie inverse d'API web. Il inclut des méthodes pour échapper à la détection par navigateur via le masquage d'identité et la rotation de proxies, ainsi que des techniques pour identifier les points de terminaison d'API cachés en analysant le trafic réseau et les signatures de requêtes. Le framework englobe un large ensemble de capacités, incluant l'automatisation de navigateur pour les pages riches en JavaScript, l'authentification utilisateur automatisée via codes QR ou SMS, et la gestion de la persistance de session. Il dispose également d'outils de prétraitement de données pour nettoyer le texte brut, supprimer les enregistrements en double et persister les informations recueillies dans des fichiers plats ou des bases de données relationnelles.
Cleans raw scraped text by removing HTML tags and fixing encoding for structured analysis.
Ce projet est un guide complet de développement front-end et une feuille de route conçue pour aider les ingénieurs à maîtriser les compétences et les normes professionnelles requises pour le développement web moderne. Il sert de référence technique pour maîtriser HTML, CSS et JavaScript, offrant des parcours d'apprentissage structurés et une carte des compétences professionnelles nécessaires pour passer de débutant à ingénieur web professionnel. La ressource fonctionne comme un répertoire catégorisé et un aperçu de l'écosystème JavaScript. Elle répertorie les frameworks, bibliothèques et utilitaires standards de l'industrie, offrant des recommandations spécifiques pour la gestion d'état, les frameworks CSS et les générateurs de sites statiques. Le guide couvre un large spectre de capacités d'ingénierie, incluant l'architecture UI, l'optimisation des performances web et l'audit d'accessibilité. Il fournit également des conseils sur l'automatisation des builds, les stratégies de déploiement et la sélection d'outils de développement pour les flux de travail professionnels.
Covers methods for managing and querying data directly within the browser environment.
Spark NLP est une boîte à outils pour l'analyse de texte évolutive et l'apprentissage automatique construite sur le framework de calcul distribué Apache Spark. Il fournit un framework d'apprentissage automatique multimodal et un système de pipeline distribué pour séquencer les annotateurs afin de traiter des données linguistiques à grande échelle. La bibliothèque inclut un processeur de texte transformer pour générer des embeddings vectoriels contextuels et un moteur d'inférence dédié pour gérer les grands modèles de langage. Le projet se distingue par sa capacité à traiter des types de données hétérogènes, y compris le texte, l'audio et les images, au sein d'une architecture vision-langage unifiée. Il prend en charge des capacités avancées d'IA générative telles que le prompt engineering, l'extraction d'entités structurées avec sortie JSON contrainte, et l'inférence locale pour éliminer la latence réseau. De plus, il fournit des outils pour la traduction inter-langues et la classification zero-shot à travers les modalités texte et image. Le framework couvre un large éventail de capacités, y compris l'entraînement de modèles supervisés pour la reconnaissance d'entités et l'analyse de sentiment, ainsi que la réponse aux questions extractive et la synthèse de documents. Il intègre la prise en charge des bases de données vectorielles pour la recherche de similarité et offre une infrastructure pour l'accélération GPU et la gestion du cycle de vie des modèles via un registre centralisé. La boîte à outils permet la distribution de modèles et de pipelines personnalisés via un dépôt public et prend en charge le déploiement de modèles via des API REST.
Cleans and prepares text data through tokenization and stop word removal for AI consumption.
python-ftfy est une bibliothèque de réparation de texte Unicode conçue pour corriger le mojibake et les problèmes d'encodage. Elle fournit des utilitaires pour la détection d'encodage d'octets, le décodage d'entités HTML et la récupération de texte corrompu pour le restaurer sous sa forme Unicode prévue. Le projet se distingue par un pipeline de décodage multicouche qui identifie et inverse les mélanges d'encodage complexes. Il utilise une détection basée sur l'heuristique pour résoudre les cas où le texte a été décodé en utilisant le mauvais codec à travers plusieurs couches de corruption, et il peut gérer les variantes UTF-8 non standard et les mappages d'encodage négligents. La bibliothèque couvre également un large éventail de tâches de normalisation de texte, notamment la normalisation Unicode, la normalisation des sauts de ligne et l'expansion des ligatures latines. Elle inclut des capacités pour la normalisation de la largeur des caractères et la suppression des échappements de terminal et des caractères de contrôle. Une interface en ligne de commande est disponible pour automatiser la détection et la réparation des problèmes Unicode dans les fichiers.
Cleans Unicode data by removing terminal escapes and decomposing ligatures to prepare text for analysis.
Ce projet est un outil de réparation de texte Unicode et une bibliothèque de correction de mojibake conçus pour corriger les problèmes d'encodage et restaurer les caractères originaux à partir de chaînes corrompues. Il fonctionne comme un détecteur d'encodage de texte et un outil de normalisation Unicode pour résoudre les problèmes où le texte a été incorrectement décodé. La bibliothèque se spécialise dans l'inversion des erreurs d'encodage multicouches et la réparation des modèles de mojibake complexes. Elle inclut des capacités pour détecter les séquences d'encodage avec perte, deviner les encodages d'octets et décoder les variantes UTF-8 non standard. L'ensemble d'outils couvre un large éventail de tâches de nettoyage et de normalisation de texte, notamment le décodage des entités HTML et des échappements par barre oblique inverse, l'expansion des ligatures latines et la normalisation des largeurs de caractères et des sauts de ligne. Il fournit également des utilitaires pour supprimer les caractères de contrôle invisibles et inspecter les chaînes Unicode par point de code. Une interface en ligne de commande est disponible pour réparer les problèmes Unicode et les erreurs d'encodage dans les fichiers ou les flux d'entrée.
Cleans text data by removing invisible control characters and terminal escapes while standardizing ligatures.
Parse Dashboard is a web-based administrative interface designed for managing applications powered by the Parse Server framework. It functions as a centralized console that enables developers and administrators to oversee backend configurations, user accounts, and operational settings through a graphical environment. The dashboard provides a comprehensive suite of tools for database administration, allowing users to browse, filter, and modify relational data records directly. It includes integrated capabilities for data visualization, enabling the generation of charts and graphs to track tren
Processes raw JSON responses into visual charts and formatted tables within the browser to reduce server load.