Awesome GitHub RepositoriesDataframe Format Conversion

Ibis is a portable Python dataframe library and multi-backend query engine that provides a unified interface for executing data transformations across diverse compute engines. It functions as a Python SQL expression compiler and dialect transpiler, allowing users to define data logic once and execute it across cloud warehouses, embedded databases, and distributed clusters without rewriting code. The project distinguishes itself through a database backend abstraction that decouples transformation logic from the underlying execution engine. It enables polyglot data workflows by mixing raw SQL s

cuml este o bibliotecă de machine learning accelerată pe GPU și un framework care utilizează CUDA pentru a accelera preprocesarea datelor tabelare și execuția modelelor. Oferă o suită de instrumente pentru antrenarea și implementarea modelelor de clasificare, regresie și clustering pe GPU-uri NVIDIA și clustere GPU. Biblioteca este concepută pentru scalabilitate, oferind un mediu de machine learning GPU distribuit care poate răspândi calculul și datele pe mai multe acceleratoare hardware și noduri pentru a gestiona seturi de date care depășesc memoria unui singur dispozitiv. Oglindește interfețele standard ale estimatorilor pentru a permite înlocuirea modelelor bazate pe CPU cu versiuni accelerate pe GPU în cadrul fluxurilor de lucru existente. Proiectul acoperă o gamă largă de capabilități de machine learning, incluzând învățarea supervizată, clustering-ul nesupervizat, căutarea celui mai apropiat vecin și reducerea dimensionalității de înaltă dimensiune. Include, de asemenea, preprocesarea datelor tabelare accelerată hardware pentru scalarea și codificarea caracteristicilor, extracția caracteristicilor textuale, analiza seriilor temporale și explicabilitatea predicțiilor modelului. Utilitarele de suport includ instrumente pentru generarea de seturi de date sintetice, serializarea stării modelului și calcularea metricilor de performanță ale modelului.

GluonTS este o bibliotecă de serii temporale probabilistice și un framework de prognoză prin deep learning. Oferă un toolkit pentru construirea, antrenarea și evaluarea arhitecturilor de rețele neuronale care prezic valori viitoare ca distribuții de probabilitate pentru a cuantifica incertitudinea. Proiectul se distinge prin suportul pentru prognoza zero-shot și integrarea unor abordări de modelare diverse, incluzând rețele neuronale probabilistice profunde și wrapper-e pentru biblioteci statistice externe precum Prophet și R forecast. Implementează primitive arhitecturale specializate precum convoluțiile cauzale și rețelele reziduale inversabile pentru a preveni scurgerea informațiilor și a mapa reprezentările latente în distribuții de probabilitate valide. Framework-ul acoperă o suprafață cuprinzătoare de inginerie a datelor, incluzând scalarea seriilor temporale, transformări bijective și modelare ierarhică. Utilizează Apache Arrow și Parquet pentru streaming-ul seturilor de date de înaltă performanță și gestionarea accesului aleatoriu. Pentru evaluarea modelului, include o suită de evaluare pentru măsurarea acurateței prognozei și a acoperirii probabilistice folosind metrici precum quantile loss și continuous rank probability scores. Biblioteca suportă implementarea modelului prin integrarea cu Amazon SageMaker.