Awesome GitHub RepositoriesTabular Data Import

Danfo.js est une bibliothèque d'analyse et de prétraitement de données pour JavaScript qui fournit des structures de données étiquetées haute performance. Elle implémente des dataframes et des séries pour permettre une analyse de données complexe, le calcul statistique et la manipulation de données tabulaires structurées. Le projet sert de bibliothèque de prétraitement pour le machine learning, offrant des utilitaires pour l'encodage d'étiquettes catégorielles, l'encodage one-hot, ainsi que la mise à l'échelle et la standardisation des caractéristiques numériques. Elle facilite spécifiquement la conversion de structures de données étiquetées en tenseurs pour l'entraînement et l'évaluation de modèles. La bibliothèque couvre un large ensemble de capacités incluant les statistiques descriptives, les opérations relationnelles comme la fusion et la jointure, et le traitement de séries temporelles. Elle inclut des outils pour le nettoyage, le filtrage et le regroupement de données, ainsi qu'une interface de visualisation pour générer des graphiques interactifs directement à partir des dataframes. Le système prend en charge l'importation et l'exportation de données via les formats CSV, JSON et Excel.

Tablib est une bibliothèque Python conçue pour importer, exporter et manipuler des jeux de données tabulaires. Elle fonctionne comme un convertisseur et gestionnaire de données multi-formats, permettant aux utilisateurs de déplacer des informations entre différents standards de fichiers. La bibliothèque prend en charge la transformation de données à travers les formats CSV, JSON, YAML et Excel. Elle fournit une interface programmatique pour gérer ces jeux de données en ajoutant des lignes, en filtrant des colonnes et en séparant des enregistrements. Le système utilise une représentation interne commune et un mapping basé sur des adaptateurs pour normaliser diverses sources d'entrée. Cela permet des routines de lecture et d'écriture cohérentes à travers les formats de fichiers pris en charge.

Ce projet est un pilote de base de données MySQL pour Node.js qui établit des connexions réseau et exécute des requêtes SQL en utilisant un protocole de communication natif. Il fonctionne comme un client SQL asynchrone, fournissant une interface de requête basée sur les promesses et la prise en charge des modèles async/await pour gérer les opérations de base de données non bloquantes. La bibliothèque inclut une implémentation complète du protocole MySQL, servant de boîte à outils pour construire des serveurs de base de données personnalisés, des proxys ou des clients. Elle fonctionne également comme un gestionnaire de pool de connexions et un outil de prévention des injections, utilisant des requêtes préparées et paramétrées pour sécuriser les interactions avec la base de données. Le projet couvre une large gamme de capacités d'intégration de base de données, y compris la coordination de transactions atomiques, le streaming de journaux binaires et le streaming de données tabulaires pour les importations en masse. Il gère les cycles de vie des ressources par un nettoyage automatique des connexions et fournit divers mécanismes d'authentification, tels que l'authentification par hachage de mot de passe et la négociation de poignée de main sécurisée. La connectivité est en outre prise en charge par le chiffrement SSL, la compression du trafic réseau et la possibilité d'acheminer le trafic via des transports de flux duplex personnalisés.

Mapshaper est un outil pour traiter, simplifier et convertir des données vectorielles géographiques, disponible sous forme d'interface en ligne de commande, d'outil de navigateur web et de bibliothèque Node.js. Il fonctionne comme un projecteur de coordonnées, un convertisseur de données vectorielles et un optimiseur d'actifs de carte web conçu pour transformer les jeux de données spatiaux entre différents systèmes de référence de coordonnées et formats de fichiers. Le projet se distingue par sa simplification de géométrie préservant la topologie, qui réduit le nombre de sommets tout en maintenant les limites partagées pour éviter les lacunes et les chevauchements. Il optimise davantage les actifs pour le web grâce à la quantification des coordonnées et au filtrage des attributs pour réduire la taille des fichiers. Le système couvre un large éventail de capacités, y compris la reprojection de coordonnées utilisant des chaînes PROJ et des codes EPSG, et la conversion de données entre des formats tels que Shapefile, GeoJSON, TopoJSON, GeoPackage et KML. Il fournit des outils de traitement de géométrie étendus pour la mise en mémoire tampon, le découpage, la dissolution et la réparation des topologies, ainsi que des utilitaires de gestion de données pour la jointure, le filtrage et la transformation d'attributs. De plus, il inclut des fonctionnalités de visualisation pour générer des exportations SVG stylisées, des graticules et des cartes à symboles proportionnels. Les capacités de traitement spatial peuvent être intégrées directement dans les applications JavaScript et les pipelines de build via sa bibliothèque Node.js.