Awesome GitHub RepositoriesApache Arrow-Based Formats

Lance is a columnar data format and storage layer designed for high-performance random access and the persistence of multimodal data. It functions as a vector database storage system, a multimodal data store, and a versioned dataset manager. The project distinguishes itself as a hybrid search engine that combines vector similarity search and full-text indexing on a single dataset. It provides unified storage for diverse data types including images, audio, and video, utilizing a system that lazy-loads large binary objects only when requested. The system manages dataset evolution through schem

GluonTS este o bibliotecă de serii temporale probabilistice și un framework de prognoză prin deep learning. Oferă un toolkit pentru construirea, antrenarea și evaluarea arhitecturilor de rețele neuronale care prezic valori viitoare ca distribuții de probabilitate pentru a cuantifica incertitudinea. Proiectul se distinge prin suportul pentru prognoza zero-shot și integrarea unor abordări de modelare diverse, incluzând rețele neuronale probabilistice profunde și wrapper-e pentru biblioteci statistice externe precum Prophet și R forecast. Implementează primitive arhitecturale specializate precum convoluțiile cauzale și rețelele reziduale inversabile pentru a preveni scurgerea informațiilor și a mapa reprezentările latente în distribuții de probabilitate valide. Framework-ul acoperă o suprafață cuprinzătoare de inginerie a datelor, incluzând scalarea seriilor temporale, transformări bijective și modelare ierarhică. Utilizează Apache Arrow și Parquet pentru streaming-ul seturilor de date de înaltă performanță și gestionarea accesului aleatoriu. Pentru evaluarea modelului, include o suită de evaluare pentru măsurarea acurateței prognozei și a acoperirii probabilistice folosind metrici precum quantile loss și continuous rank probability scores. Biblioteca suportă implementarea modelului prin integrarea cu Amazon SageMaker.