Awesome GitHub RepositoriesMachine Learning Data Preparation

Leaf este un framework de machine learning și toolkit de arhitectură de rețele neuronale utilizat pentru construirea, antrenarea și implementarea modelelor. Funcționează ca un strat de abstractizare hardware, mapând grafuri computaționale de nivel înalt către instrucțiuni de nivel scăzut pe diverse backend-uri CPU și GPU și sisteme de operare. Sistemul permite designul unor structuri flexibile de modele printr-o arhitectură modulară unde straturile container reutilizabile încapsulează ponderi și operații matematice. Acest lucru permite compunerea rețelelor neuronale complexe prin componente imbricate. Framework-ul include un pipeline de inginerie a datelor pentru transformarea seturilor de date brute în tensori curați și un profiler de performanță computațională pentru a identifica blocajele de runtime folosind instrumentație de diagnosticare. Aceste capabilități susțin optimizarea calculului de înaltă performanță și implementarea modelelor cross-hardware.

Danfo.js este o bibliotecă de analiză și preprocesare a datelor pentru JavaScript care oferă structuri de date etichetate de înaltă performanță. Implementează data frame-uri și serii pentru a permite analiza complexă a datelor, calculul statistic și manipularea datelor tabulare structurate. Proiectul servește ca o bibliotecă de preprocesare pentru învățarea automată, oferind utilitare pentru codificarea etichetelor categorice, one-hot encoding și scalarea și standardizarea caracteristicilor numerice. Acesta facilitează în mod specific conversia structurilor de date etichetate în tensori pentru antrenarea și evaluarea modelelor. Biblioteca acoperă un set larg de capabilități, inclusiv statistici descriptive, operațiuni relaționale precum îmbinarea și unirea, și procesarea seriilor temporale. Include instrumente pentru curățarea, filtrarea și gruparea datelor, precum și o interfață de vizualizare pentru generarea de grafice și diagrame interactive direct din data frame-uri. Sistemul suportă importul și exportul datelor prin formate CSV, JSON și Excel.

Acest proiect este un program educațional cuprinzător și un framework de deep learning conceput pentru a preda deep learning practic folosind PyTorch prin notebook-uri și exemple de cod. Servește drept bibliotecă de nivel înalt pentru construirea, antrenarea și implementarea rețelelor neuronale, acționând ca un orchestrator de antrenare a modelelor care coordonează modelele PyTorch, optimizatoarele și funcțiile de loss. Proiectul oferă toolkit-uri specializate pentru computer vision, procesarea limbajului natural și preprocesarea datelor tabelare. Se distinge prin controale avansate de antrenare, cum ar fi rate de învățare discriminative, un sistem de callback bidirecțional pentru personalizarea logicii de antrenare și o abstractizare de nivel înalt a learner-ului care automatizează plasarea pe dispozitiv și buclele de antrenare. Framework-ul acoperă o suprafață largă de capabilități, inclusiv construcția automată a pipeline-urilor de date, analiza arhitecturii modelelor și evaluarea performanței în sarcini de clasificare, regresie și segmentare. Include, de asemenea, utilitare pentru antrenarea distribuită pe mai multe GPU-uri, antrenarea cu precizie mixtă pentru optimizarea memoriei și suport specializat pentru date de imagistică medicală. Proiectul este livrat sub formă de serie de Jupyter Notebooks.

Aerosolve este un framework de machine learning conceput pentru antrenarea și implementarea modelelor interpretabile. Acesta funcționează ca un instrument de feature engineering și un antrenor de modele care utilizează modelarea cu caracteristici rare (sparse feature modeling) pentru a simplifica depanarea ponderilor și a accelera iterația datelor. Sistemul include un limbaj de transformare specific domeniului pentru convertirea seturilor de date brute în reprezentări pregătite pentru model. De asemenea, oferă capabilități pentru analiza conținutului vizual prin maparea imaginilor în spații vectoriale dense de înaltă dimensiune, pentru a clasifica și organiza datele după stil sau conținut. Framework-ul permite antrenarea centrată pe om prin injectarea credințelor anterioare și a ponderilor specifice în procesul de învățare al modelului. Pentru deployment, utilizează un runtime de inferență minimal pentru a executa predicții ușoare și un mecanism de scoring cu context partajat pentru a procesa mai multe elemente într-o singură operațiune.

This project is a PyTorch-based deep learning framework and supervised learning baseline for person and vehicle re-identification. It provides a complete pipeline for training and evaluating models designed to extract identity-based feature embeddings and match the same entity across different camera views. The framework distinguishes itself with support for cross-modality identity matching, enabling the retrieval of identities across different imaging sensors such as RGB and infrared. It also includes advanced retrieval refinement through re-ranking techniques, utilizing reciprocal encoding

VoTT este un software de adnotare pentru computer vision și un instrument de pregătire a seturilor de date pentru machine learning. Este o aplicație desktop concepută pentru desenarea bounding box-urilor și atribuirea de etichete obiectelor din imagini și videoclipuri, pentru a crea seturi de date de antrenament pentru modele de detecție a obiectelor. Aplicația utilizează o interfață desktop cross-platform pentru a gestiona resursele de imagine și video. Dispune de o integrare de stocare local-first pentru a gestiona resursele media mari direct din sistemul de fișiere al mașinii gazdă și include eșantionare video controlată prin frame-rate pentru a extrage imagini specifice din fluxurile video în scopul etichetării. Software-ul acoperă întregul ciclu de viață al datelor, inclusiv importul de resurse din stocare locală sau cloud și conversia datelor adnotate în diverse formate de machine learning prin exporturi bazate pe schemă. Include, de asemenea, criptare bazată pe token-uri pentru a securiza setările sensibile ale proiectului.

Acest proiect este un set de date de viziune computerizată și un depozit de adnotări de imagini conceput pentru antrenarea și evaluarea modelelor de învățare automată. Oferă o colecție mare de imagini etichetate, servind ca benchmark pentru detecția obiectelor și o sursă de date de segmentare la nivel de pixel. Depozitul se distinge ca un set de date vizual multimodal prin asocierea imaginilor cu voce, text și urme de mouse sincronizate pentru a susține înțelegerea narativă. De asemenea, permite analiza echității modelelor prin includerea atributelor demografice și a adnotărilor exhaustive. Setul de date acoperă o gamă largă de capabilități de viziune computerizată, inclusiv detecția obiectelor prin casete de delimitare, segmentarea instanțelor de imagine folosind măști de pixeli și maparea relațiilor vizuale prin triplete obiect-atribut. De asemenea, suportă clasificarea la nivel de punct, recunoașterea textului ierarhic și recuperarea subseturilor de date curatate pe baza filtrării după clasă sau atribut.

Acest proiect este un tutorial de deep learning în PyTorch și o resursă educațională. Oferă un curriculum structurat și ghiduri pas cu pas pentru proiectarea, antrenarea și validarea rețelelor neuronale de la zero. Resursa include ghiduri specifice privind implementarea viziunii computerizate, concentrându-se pe detectarea obiectelor și clasificarea imaginilor folosind rețele neuronale convoluționale. De asemenea, oferă instrucțiuni pentru optimizarea performanței modelului prin accelerare hardware pentru a reduce timpul de antrenare. Materialele acoperă întregul ciclu de viață al dezvoltării modelului, inclusiv operațiunile cu tensori, pregătirea seturilor de date de imagini și utilizarea funcțiilor de pierdere (loss functions) și a optimizatoarelor. De asemenea, abordează gestionarea ciclului de viață al modelului prin salvarea și reîncărcarea ponderilor antrenate.

This project is a diffusion model framework for training and sampling from denoising probabilistic models to generate images from noise. It functions as a generative image model that creates visual content by iteratively refining random noise into coherent images. The system includes a distributed GPU trainer designed to scale complex neural network architectures across multiple graphics processing units. It also provides an image dataset preprocessor to prepare, scale, and standardize raw image collections for training. The framework covers model training and image generation, utilizing noi

This project is a structured TensorFlow deep learning curriculum and an interactive machine learning course delivered through Jupyter Notebooks. It serves as a technical guide and model zoo providing reference implementations for neural networks and machine learning algorithms. The curriculum focuses on practical implementations of computer vision, including object detection, semantic segmentation, and style transfer. It also provides tutorials for natural language processing, specifically covering word embeddings and encoder-decoder architectures for sequence modeling. The material covers t

This project is a machine learning educational archive and technical documentation collection. It serves as a deep learning tutorial series and implementation guide, providing theoretical explanations and practical walkthroughs for constructing and optimizing neural networks. The content focuses on the design and construction of diverse model architectures, including convolutional neural networks, Long Short-Term Memory networks, and generative adversarial networks. It details specific implementation patterns for autoencoders, sentiment analysis models, and various classification approaches.

mimic-code is a clinical data analysis framework and toolset for processing deidentified electronic health records and intensive care unit data. It provides a healthcare SQL query library and a processing tool to transform raw health records into formats suitable for longitudinal analysis and machine learning. The project features a medical research notebook environment that integrates with cloud-hosted datasets, allowing for remote querying and analysis. It includes a DICOM imaging pipeline to retrieve chest radiographs and link medical imaging with structured clinical metadata. The framewo

Cloud Annotations este o platformă bazată pe web concepută pentru adnotarea colaborativă a imaginilor și pregătirea seturilor de date pentru computer vision. Oferă o interfață pentru echipe pentru a desena bounding box-uri și poligoane peste media digitală, transformând imaginile brute în date de antrenare structurate pentru modelele de machine learning. Platforma se distinge printr-un motor de sincronizare în timp real care permite mai multor utilizatori să editeze aceeași imagine simultan. Prin utilizarea stocării locale bazate pe browser și a serializării standardizate a datelor, suportă fluxuri de lucru offline și asigură că adnotările exportate rămân compatibile cu pipeline-urile comune de antrenare a machine learning-ului. Aplicația gestionează date vizuale complexe printr-o arhitectură de stare centralizată și tehnici de randare de înaltă performanță. Aceste capabilități facilitează etichetarea consistentă a datelor în echipe distribuite, eficientizând crearea seturilor de date pentru sarcini de detecție și clasificare a obiectelor.

BBox-Label-Tool este un utilitar web conceput pentru etichetarea colecțiilor de imagini și definirea limitelor spațiale ale obiectelor, pentru a susține sarcinile de învățare automată supervizată. Oferă o interfață pentru desenarea casetelor de delimitare (bounding boxes) dreptunghiulare pe imagini, permițând utilizatorilor să înregistreze date de coordonate pentru seturi de date de detectare a obiectelor și recunoaștere vizuală. Instrumentul operează în întregime în browser, utilizând procesarea locală a fișierelor pentru a citi imaginile direct de pe sistemul utilizatorului, fără a necesita încărcarea datelor. Menține înregistrările de adnotare prin stocarea bazată pe browser, asigurându-se că datele spațiale persistă după reîmprospătarea paginii. Prin capturarea interacțiunilor mouse-ului pe un canvas HTML, software-ul permite manipularea directă și în timp real a dimensiunilor casetelor de delimitare în timpul procesului de adnotare. Aplicația include utilitare de gestionare pentru navigarea prin colecțiile de imagini și modificarea înregistrărilor de coordonate, cum ar fi salvarea, ștergerea sau curățarea adnotărilor pentru fișiere individuale. Această funcționalitate susține pregătirea structurată a datelor de tip ground truth pentru antrenarea algoritmilor de viziune computerizată.