Awesome GitHub RepositoriesStreaming CSV Loaders

River este un framework Python pentru online machine learning, conceput pentru a antrena și evalua modele pe date de tip streaming. Permite învățarea incrementală prin actualizarea parametrilor modelului la fiecare observație, eliminând nevoia de a stoca seturi de date complete de antrenament în memorie. Biblioteca se distinge printr-un sistem dedicat de detectare a concept drift-ului, care monitorizează schimbările în distribuțiile datelor pentru a declanșa adaptarea modelului. De asemenea, oferă un framework de validare progresivă care simulează deployment-ul în timp real prin testarea modelelor pe eșantioane înainte de a le utiliza pentru antrenament. Sistemul acoperă o gamă largă de capabilități de streaming, inclusiv feature engineering în timp real, prognoza seriilor temporale și detectarea anomaliilor online. Suportă învățarea nesupervizată prin clustering incremental și arbori de decizie, precum și agregarea de tip ensemble și politici de tip bandit pentru selecția modelelor. Proiectul include utilitare pentru ingestia de date de streaming din surse precum fișiere CSV și API-uri, precum și instrumente pentru calcularea statisticilor în mișcare și a schițelor de date eficiente din punct de vedere al memoriei.

ExcelDataReader este o bibliotecă C# utilizată pentru a extrage date și metadate din foile de calcul Microsoft Excel și fișierele CSV. Funcționează ca un parser de workbook care convertește conținutul foilor de calcul în seturi de date structurate pentru acces și iterație programatică. Proiectul include un extractor de metadate specializat pentru recuperarea detaliilor la nivel de celulă, cum ar fi formatele numerice, stilurile, înălțimile rândurilor, lățimile coloanelor și intervalele de celule îmbinate. De asemenea, oferă un procesor de flux pentru parsarea fișierelor text CSV simple cu codificare personalizabilă și detectarea separatorilor. Biblioteca suportă standardul OpenXML pentru fișierele moderne de tip foaie de calcul și utilizează parsarea bazată pe flux și iterația rândurilor bazată pe cursor pentru a parcurge workbook-urile. Aceste capabilități permit conversia workbook-urilor cu mai multe foi în tabele de date relaționale.