Awesome GitHub RepositoriesDataframe Interoperability

Ibis is a portable Python dataframe library and multi-backend query engine that provides a unified interface for executing data transformations across diverse compute engines. It functions as a Python SQL expression compiler and dialect transpiler, allowing users to define data logic once and execute it across cloud warehouses, embedded databases, and distributed clusters without rewriting code. The project distinguishes itself through a database backend abstraction that decouples transformation logic from the underlying execution engine. It enables polyglot data workflows by mixing raw SQL s

cuml ist eine GPU-beschleunigte Machine-Learning-Bibliothek und ein Framework, das CUDA nutzt, um die Vorverarbeitung tabellarischer Daten und die Modellausführung zu beschleunigen. Es bietet eine Suite von Tools zum Trainieren und Bereitstellen von Klassifizierungs-, Regressions- und Clustering-Modellen auf NVIDIA-GPUs und GPU-Clustern. Die Bibliothek ist auf Skalierbarkeit ausgelegt und bietet eine verteilte GPU-Machine-Learning-Umgebung, die Berechnungen und Daten über mehrere Hardware-Beschleuniger und Knoten hinweg verteilen kann, um Datensätze zu verarbeiten, die den Speicher eines einzelnen Geräts überschreiten. Sie spiegelt Standard-Estimator-Schnittstellen wider, um den Austausch von CPU-basierten Modellen durch GPU-beschleunigte Versionen innerhalb bestehender Workflows zu ermöglichen. Das Projekt deckt ein breites Spektrum an Machine-Learning-Funktionen ab, einschließlich überwachtem Lernen, unüberwachtem Clustering, Nearest-Neighbor-Suche und hochdimensionaler Dimensionsreduktion. Es enthält zudem hardwarebeschleunigte Vorverarbeitung tabellarischer Daten für Feature-Skalierung und -Kodierung, Text-Feature-Extraktion, Zeitreihenanalyse und Erklärbarkeit von Modellvorhersagen. Unterstützende Hilfsmittel umfassen Tools zur Generierung synthetischer Datensätze, zur Serialisierung des Modellzustands und zur Berechnung von Modell-Performance-Metriken.