17 dépôts
Mechanisms for appending computed results as new columns to tabular data structures.
Distinct from Distributed Dataframes: Existing candidates focus on disk storage or distributed dataframes, not the specific act of adding columns to an in-memory pandas DataFrame.
Explore 17 awesome GitHub repositories matching data & databases · DataFrame Integration. Refine with filters or upvote what's useful.
Perspective is a columnar data analytics engine and high-performance visualization component powered by WebAssembly. It provides a system for analyzing and visualizing large or streaming datasets through interactive data grids and charts, utilizing a compiled binary to achieve near-native performance within the browser. The project distinguishes itself through a WebSocket-based data streaming interface and deep Apache Arrow integration, which minimize memory overhead when synchronizing tables between servers and clients. It acts as a remote query proxy capable of translating visualization con
Converts pandas or polars DataFrame objects into internal high-performance tables while preserving indexing.
FastUI is a server-driven UI system and Pydantic UI framework that transforms backend data models into functional web interfaces. It operates as a model-based frontend generator where the server controls the layout and behavior of the user interface through structured data schemas, enabling a low-code approach to web development. The project allows for the definition of visual hierarchies and component properties on the backend, using a JSON-based protocol to communicate UI structure between the server and client. It utilizes schema-driven generation to automate the creation of interfaces, in
Displays tabular data from models with configurable columns, interactive links, and formatted fields.
Jeesite is a full-stack low-code development framework designed for building enterprise administrative portals using Spring Boot, MyBatis, and Vue. It functions as a comprehensive platform for creating administrative dashboards with integrated role-based access control and organizational data permission systems. The framework distinguishes itself through a combination of automated CRUD code generation and an integrated RAG platform that connects large language models to enterprise data via vector stores. It further incorporates a BPMN-based workflow engine to automate complex business process
Provides interactive data tables featuring sorting, pagination, and frozen columns for efficient administrative data management.
Mesop is a stateful, declarative Python web UI framework and component library designed for building interactive web applications and AI demos. It allows for the construction of data-driven interfaces and chat systems using only Python, removing the need to write separate HTML or CSS. The framework is specifically tailored for AI application development, offering dedicated tools for conversational UI design and the creation of dashboards for large language model applications. It distinguishes itself with a visual UI editor for real-time property adjustments and the ability to embed custom Jav
Renders data frames as interactive tables with sticky headers, columns, and clickable cells.
Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer
Converts Spark DataFrames into offline segment files and writes them to a specified filesystem path for ingestion.
dtale est une grille interactive basée sur le web et un visualiseur pour les dataframes pandas, conçu comme un outil d'analyse exploratoire des données. Il fournit une interface basée sur le navigateur pour analyser les structures de données tabulaires, permettant aux utilisateurs de calculer des statistiques, de détecter des valeurs aberrantes et de calculer des corrélations sans écrire de code manuel. Le projet fonctionne comme un visualiseur de données intégré qui peut être intégré dans des applications web via des iframes ou des routes personnalisées, avec une prise en charge spécifique pour Django, Flask et Streamlit. Il permet l'exploration des jeux de données grâce à une combinaison d'une grille de données interactive et d'une bibliothèque de visualisation de données capable de générer des histogrammes, des boîtes à moustaches et des graphiques de dispersion 3D. La plateforme couvre un large éventail de capacités de gestion et d'analyse de données, notamment le nettoyage des données tabulaires, le remodelage et le filtrage interactif. Elle inclut des outils d'observabilité pour l'analyse des données manquantes, le calcul de corrélation et le score de puissance prédictive. Pour la gestion de session, elle prend en charge le suivi multi-instance et la persistance de l'état à travers les processus de travail concurrents. L'interface est protégée par une authentification par nom d'utilisateur et mot de passe et prend en charge l'ingestion de données à partir de fichiers délimités, de feuilles de calcul et de datastores ArcticDB.
Connects to high-performance ArcticDB datastores to load and filter large-scale dataframes.
This is a pandas-based technical analysis library and financial feature engineering tool. It serves as a vectorized indicator calculator that transforms raw price and volume data into derived metrics for time series analysis. The library uses a NumPy-based engine to perform mathematical operations across entire arrays, avoiding iterative loops to maintain high performance. It organizes technical indicators into a modular class hierarchy with a consistent interface, allowing for bulk feature generation and the direct appending of results as new columns to a pandas DataFrame. The system covers
Appends computed indicator results as new columns to a pandas DataFrame to maintain time series alignment.
Mimesis est un générateur de données synthétiques Python utilisé pour créer des jeux de données fictifs réalistes et des données de test pour le développement logiciel. Il fonctionne comme un générateur de jeux de données basé sur des schémas, capable de produire des enregistrements structurés et des jeux de données relationnels, tout en servant d'anonymiseur de données de production pour remplacer les informations sensibles par des valeurs synthétiques. La bibliothèque se distingue par une prise en charge multilingue complète, permettant la génération d'informations spécifiques à une locale pour simuler des profils utilisateur régionaux. Elle garantit la reproductibilité grâce à une génération de données déterministe utilisant des graines (seeds), permettant la création de jeux de données cohérents sur différentes exécutions. L'outil couvre un large éventail de contenus synthétiques, notamment l'identité personnelle, les données financières, les adresses géographiques, les métadonnées réseau et les séquences scientifiques. Ses capacités s'étendent à la transformation de données via une logique conditionnelle et le piping, ainsi qu'à l'intégration avec des dataframes et des modèles de fabrique (factory patterns). Il prend également en charge la génération de codes système standardisés, de jetons cryptographiques et le mocking de fichiers binaires. Le framework est extensible via des fournisseurs de données personnalisés et des gestionnaires de champs, permettant aux utilisateurs d'intégrer une logique spécifique au domaine et des fichiers JSON externes pour une génération de données spécialisée.
Generates synthetic columns for use in tabular data structures like pandas DataFrames.
statsforecast est une bibliothèque de prévision de séries temporelles statistiques haute performance conçue pour générer des prévisions ponctuelles et des intervalles de prédiction. Elle fonctionne comme un framework de séries temporelles distribué qui utilise un moteur de prévision basé sur C et un sélecteur de modèle automatisé pour identifier et ajuster le modèle statistique optimal pour chaque série unique dans un jeu de données. Le système inclut également un détecteur d'anomalies de séries temporelles pour identifier les points de données inhabituels en comparant les valeurs observées aux intervalles de prévision probabilistes. Le projet se distingue par sa capacité à gérer la prévision parallèle à très grande échelle pour des millions de séries individuelles. Il y parvient grâce à un framework de calcul distribué, une exécution parallèle multi-cœur et des noyaux C compilés qui accélèrent la logique de base ARIMA et de lissage exponentiel. Le système optimise davantage le traitement à grande échelle en utilisant une disposition de données au format long et un pipeline de données à évaluation paresseuse (lazy-evaluation) pour réduire la surcharge mémoire. La bibliothèque fournit une suite complète de modèles, notamment AutoARIMA, diverses méthodes de lissage exponentiel pour la demande intermittente ou saisonnière, la décomposition Theta et la modélisation de volatilité GARCH pour le risque financier. Elle couvre des domaines de capacités plus larges tels que la prévision multivariée avec des variables exogènes, la décomposition de séries temporelles et l'évaluation de modèles via la validation croisée historique et l'analyse par fenêtre glissante. La bibliothèque s'intègre avec des structures de données haute performance comme Polars et fournit des utilitaires pour servir les modèles enregistrés en tant qu'endpoints REST pour des prédictions accessibles par réseau.
Integrates with Polars data structures to accelerate memory management and processing during forecasting.
Plotnine is a data visualization library for Python based on the Grammar of Graphics. It serves as a declarative statistical plotting framework and multi-panel plotting engine, allowing users to create complex charts by mapping data variables to visual properties such as position, color, and size. The project is distinguished by its use of a layered composition model and a statistical transformation engine that performs aggregations and computations before rendering visuals. It features a comprehensive system for multi-panel faceting, which enables the splitting of a single visualization into
Integrates tabular dataframes via piping operations, converting external pandas or polars objects into internal plotting formats.
aws-sdk-pandas est une bibliothèque Python qui intègre les dataframes pandas avec les services AWS, agissant comme un outil ETL de données cloud et un connecteur de lac de données. Elle fournit une interface unifiée pour déplacer et transformer les données entre des dataframes en mémoire et le stockage cloud, les bases de données et les entrepôts de données. Le projet se distingue comme un orchestrateur de calcul distribué capable de soumettre des charges de travail basées sur pandas à des clusters EMR et des environnements de traitement sans serveur. Il se spécialise davantage dans la coordination du traitement de données distribué via l'initialisation de clusters Ray pour gérer des jeux de données qui dépassent la mémoire d'une seule machine. La bibliothèque couvre un large éventail de capacités, incluant la gestion du stockage d'objets pour S3, l'exécution de requêtes SQL pour Athena et Redshift, et l'intégration avec des bases de données NoSQL, graphes et séries temporelles. Elle inclut également des utilitaires pour la gestion des métadonnées via le catalogue Glue, l'indexation de données OpenSearch et la gestion des actifs de business intelligence dans QuickSight. La fonctionnalité supplémentaire inclut la récupération de secrets, l'analyse des journaux CloudWatch et la gestion des ensembles de règles de qualité des données.
Wraps multiple cloud service APIs to convert remote query results directly into Pandas dataframes.
dcat-admin est un framework de panneau d'administration Laravel utilisé pour construire rapidement des interfaces d'administration pilotées par les données. Il fonctionne comme un générateur de CRUD et un outil de scaffolding backend qui produit automatiquement des interfaces de création, lecture, mise à jour et suppression basées sur les schémas de tables de base de données. Le système se distingue par une architecture d'extension basée sur des plugins et la capacité d'exécuter plusieurs instances administratives indépendantes au sein d'une seule installation. Il fournit des outils spécialisés pour mapper des API externes vers des formulaires et des tableaux, ainsi qu'un cycle de vie de formulaire piloté par les événements pour exécuter une logique personnalisée lors de la résolution et de la soumission. Le framework couvre un large éventail de domaines de capacités, notamment le contrôle d'accès basé sur les rôles pour gérer les permissions hiérarchiques, une suite complète de grilles de gestion de données avec édition en ligne et des workflows de formulaires multi-étapes. Il inclut également des outils de visualisation de données pour les tableaux de bord opérationnels et une variété d'utilitaires de gestion de contenu pour les téléchargements de fichiers volumineux par morceaux et l'édition de texte riche. Des utilitaires en ligne de commande sont fournis pour automatiser la génération de composants administratifs et de classes d'action.
Renders database records in an expandable tree structure with lazy-loading for child nodes.
Vizro is a low-code Python framework for building production-ready data visualization applications. It functions as a UI orchestrator that allows users to define multi-page analytical dashboards through structured configurations in Python, YAML, or JSON, reducing the need for extensive frontend engineering. The project distinguishes itself through generative AI integration, utilizing a model context protocol server to translate natural language descriptions into validated dashboard configurations, charts, and layouts. It also features a decoupled data cataloging system that separates data sou
Displays dataframes in interactive tables with pre-configured sorting and pagination.
This project is a Python library that wraps official NBA endpoints to retrieve player, team, and game statistics as structured data. It serves as a programmatic interface for fetching professional basketball league records and real-time scoreboards via HTTP requests. The library integrates with Pandas to transform raw JSON responses from sports servers into DataFrames for statistical analysis and data science. It functions as a data retrieval utility for tracking league-wide performance trends and scouting professional basketball players. The tool covers a broad range of capabilities includi
Transforms raw JSON responses from sports servers into Pandas DataFrames for statistical analysis and data science.
This is a structured deep learning curriculum for programmers, delivered as a collection of Jupyter notebooks. It teaches the fundamentals of training neural networks for computer vision, natural language processing, tabular data analysis, and collaborative filtering using PyTorch and the fastai library. The course is designed to be hands-on, guiding learners from building a training loop from scratch to fine-tuning pretrained models for a variety of practical tasks. The curriculum distinguishes itself by covering the full lifecycle of a deep learning project, from data preparation and augmen
Reads column values from DataFrame rows as labels for supervised learning tasks.
Ce projet est une collection de composants d'interface accessibles et réutilisables conçus pour le framework Svelte. Il fonctionne comme une implémentation complète de système de design, fournissant une boîte à outils standardisée pour construire des interfaces utilisateur réactives et inclusives qui respectent les directives de design et d'accessibilité établies. La bibliothèque se distingue par une intégration profonde avec Svelte, utilisant des transformations basées sur le compilateur pour optimiser le rendu des composants et la synchronisation de l'état réactif. Elle dispose d'un système de gestion de thèmes robuste qui applique des styles visuels via des propriétés personnalisées CSS, permettant un changement de thème dynamique à l'exécution. De plus, la bibliothèque utilise un rendu basé sur des portails pour les éléments d'interface flottants afin de garantir que les superpositions ne soient pas obstruées par les contraintes des conteneurs parents. La suite de composants couvre un large éventail de besoins d'interface, y compris la gestion de tableaux de données structurés, la construction de formulaires dynamiques avec validation intégrée et des conteneurs de mise en page réactifs. Elle fournit également des utilitaires spécialisés pour suivre les points de rupture d'écran, gérer la persistance de l'état de l'application et envoyer des notifications utilisateur via des systèmes en ligne ou modaux. La bibliothèque est conçue pour soutenir des workflows de développement efficaces en élaguant les styles inutilisés et en optimisant la livraison des assets lors du processus de build.
Renders structured datasets into sortable, interactive tables with defined headers and row identifiers.
React Base Table est une bibliothèque de composants d'interface réutilisables conçus pour construire des grilles de données complexes et réactives au sein d'applications web. Elle fournit une base haute performance pour le rendu de grands ensembles de données en utilisant la virtualisation de lignes basée sur la fenêtre, ce qui garantit que l'interface utilisateur reste réactive même lors de l'affichage de vastes collections de données. La bibliothèque se distingue par des capacités de mise en page et de navigation flexibles, y compris la prise en charge de structures de données hiérarchiques qui peuvent être rendues sous forme de lignes d'arborescence extensibles. Elle permet un contrôle précis sur la géométrie du tableau grâce au dimensionnement proportionnel des colonnes et au suivi automatique des conteneurs, tout en permettant aux utilisateurs d'épingler des colonnes spécifiques aux bords de la fenêtre d'affichage pour maintenir la visibilité lors du défilement horizontal. Les développeurs peuvent créer des affichages de données hautement personnalisés en injectant des composants personnalisés directement dans les cellules du tableau et en appliquant des remplacements de style pour répondre à des exigences de conception spécifiques. Le système s'ajuste automatiquement aux changements de taille du conteneur parent, garantissant que la mise en page du tableau reste cohérente sur différentes dimensions d'écran et configurations d'interface.
Organizes and renders nested data structures as expandable tree rows to allow exploration of parent-child relationships.