Awesome GitHub RepositoriesDuplicate Row Filtering

pysheeet est une bibliothèque de référence technique fournissant une collection organisée d'extraits de code et de modèles d'implémentation pour le développement Python avancé, l'intégration système et le calcul haute performance. Il sert de guide complet pour implémenter la programmation réseau de bas niveau, les extensions C natives, et la programmation asynchrone et concurrente. Le projet fournit des frameworks spécialisés pour le développement et le déploiement de grands modèles de langage, y compris des outils pour l'inférence GPU distribuée et le service haute performance. Il inclut également des modèles détaillés pour l'orchestration de clusters de calcul haute performance, couvrant l'allocation des ressources GPU et la gestion des charges de travail multi-nœuds. La bibliothèque couvre une large surface de capacités, y compris la communication réseau sécurisée et la cryptographie, l'ORM et la gestion de base de données, et l'implémentation de structures de données et d'algorithmes complexes. Elle fournit également des utilitaires pour la gestion de la mémoire, l'interopérabilité native via des interfaces de fonctions étrangères (FFI) et l'intégration au niveau du système d'exploitation.

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

Ce projet est un tutoriel complet d'analyse de données pandas et un guide pédagogique conçu pour apprendre la manipulation et l'analyse de données. Il sert de guide de traitement de données tabulaires et de manuel pour l'analyse de séries temporelles, fournissant une approche structurée pour nettoyer, fusionner et transformer les jeux de données. Le dépôt fonctionne comme un cours d'ingénierie de caractéristiques de données, fournissant des tutoriels sur la construction et la sélection de caractéristiques de jeu de données pour améliorer les performances des modèles d'apprentissage automatique. Il inclut également un guide d'opérations de données vectorisées pour effectuer des calculs mathématiques élément par élément et des manipulations de matrices. Le matériel couvre un large éventail de capacités, notamment les flux de travail de nettoyage de données, les tâches d'intégration de données et l'analyse de données tabulaires. Il fournit des conseils sur le traitement des informations textuelles, la gestion des données catégorielles et l'optimisation de la vitesse d'exécution pour les grands jeux de données. Le projet est livré sous forme d'une série de Jupyter Notebooks contenant des exercices pratiques et des problèmes d'entraînement ciblés.

dtale est une grille interactive basée sur le web et un visualiseur pour les dataframes pandas, conçu comme un outil d'analyse exploratoire des données. Il fournit une interface basée sur le navigateur pour analyser les structures de données tabulaires, permettant aux utilisateurs de calculer des statistiques, de détecter des valeurs aberrantes et de calculer des corrélations sans écrire de code manuel. Le projet fonctionne comme un visualiseur de données intégré qui peut être intégré dans des applications web via des iframes ou des routes personnalisées, avec une prise en charge spécifique pour Django, Flask et Streamlit. Il permet l'exploration des jeux de données grâce à une combinaison d'une grille de données interactive et d'une bibliothèque de visualisation de données capable de générer des histogrammes, des boîtes à moustaches et des graphiques de dispersion 3D. La plateforme couvre un large éventail de capacités de gestion et d'analyse de données, notamment le nettoyage des données tabulaires, le remodelage et le filtrage interactif. Elle inclut des outils d'observabilité pour l'analyse des données manquantes, le calcul de corrélation et le score de puissance prédictive. Pour la gestion de session, elle prend en charge le suivi multi-instance et la persistance de l'état à travers les processus de travail concurrents. L'interface est protégée par une authentification par nom d'utilisateur et mot de passe et prend en charge l'ingestion de données à partir de fichiers délimités, de feuilles de calcul et de datastores ArcticDB.

dplyr est une bibliothèque de manipulation de données pour R qui fournit une grammaire pour transformer les data frames tabulaires. Elle fonctionne comme un processeur de data frames en mémoire et un outil d'algèbre relationnelle, utilisant un ensemble cohérent de verbes pour filtrer, sélectionner et résumer les données. Le projet inclut un moteur de traduction SQL qui convertit des expressions de manipulation de données de haut niveau en requêtes optimisées. Cela permet aux utilisateurs d'effectuer des transformations directement sur des bases de données relationnelles distantes et du stockage cloud sans rapatrier les données localement. La bibliothèque couvre une large gamme d'opérations tabulaires, incluant la mutation de colonnes, le sous-ensemble de lignes et la jointure de données relationnelles. Elle offre également des capacités pour l'analyse de données groupées, permettant de partitionner les jeux de données pour des agrégations et des résumés indépendants.

Kùzu is an embedded property graph database engine designed for high-performance analytical queries and local data management. It operates as a library within the host application process, utilizing a columnar-based storage architecture and just-in-time query compilation to execute complex graph traversals and pattern matching efficiently. By mapping database files directly into system memory, it ensures data durability and high-speed access while maintaining ACID-compliant transactional integrity. The engine distinguishes itself by integrating vector similarity search and full-text search di

Ce projet est un framework de traitement de données tabulaires haute performance pour R, conçu pour gérer des jeux de données massifs avec efficacité mémoire et vitesse. Il fournit une structure de données améliorée qui utilise la sémantique de référence et la modification sur place pour effectuer des transformations complexes sans la surcharge de copies d'objets inutiles. La bibliothèque se distingue par ses optimisations architecturales de bas niveau, incluant le traitement parallèle multi-threadé, le tri basé sur radix et l'analyse de fichiers mappés en mémoire. En déchargeant les routines critiques de manipulation et d'agrégation de données vers du code C compilé, elle permet une exécution rapide des tâches qui seraient autrement coûteuses en calcul. Son moteur principal prend en charge des opérations relationnelles avancées, telles que les jointures non-équi, glissantes et à intervalles chevauchants, parallèlement à l'indexation secondaire automatique pour accélérer l'accès répété aux données. Au-delà de ses capacités de traitement principales, le projet offre une suite complète d'outils pour la gestion du cycle de vie des données. Cela inclut des utilitaires d'ingestion et de sérialisation à haute vitesse avec détection automatique de type, ainsi qu'un support spécialisé pour l'analyse de séries temporelles et l'agrégation multidimensionnelle. Le framework est conçu pour évoluer, permettant aux utilisateurs d'effectuer des opérations complexes de regroupement, de filtrage et de remodelage sur des jeux de données contenant des milliards de lignes tout en maintenant la stabilité et les performances du système.