Awesome GitHub RepositoriesDistributed GPU Task Runners

XGBoost is a distributed machine learning library for implementing scalable gradient boosting decision trees used for regression, classification, and ranking. It functions as a predictive model framework and a cross-language toolkit, providing a core implementation with native bindings for Python, R, Java, Scala, and C++. The system is designed as a GPU-accelerated library that utilizes CUDA and NCCL to speed up the training of decision tree ensembles. It operates as a distributed framework capable of scaling training and prediction across multi-node clusters and GPU environments to process m

Dask este un framework de calcul paralel și un scheduler de sarcini distribuit conceput pentru a scala fluxurile de lucru de știința datelor în Python de la mașini individuale la clustere mari. Acesta funcționează ca un manager de resurse de cluster care orchestrează logica computațională prin reprezentarea sarcinilor și a dependențelor acestora sub formă de grafuri aciclice direcționate. Această arhitectură permite sistemului să automatizeze distribuția sarcinilor de lucru pe hardware-ul disponibil, gestionând în același timp cerințe complexe de execuție. Proiectul se distinge printr-un motor de evaluare leneșă (lazy) care amână operațiunile pe date până când sunt solicitate explicit, permițând optimizarea globală a grafului și alocarea eficientă a resurselor. Acesta încorporează „spilling” de date conștient de memorie pentru a preveni blocarea sistemului la procesarea seturilor de date care depășesc memoria disponibilă și utilizează fuziunea grafului de sarcini pentru a combina secvențe de operațiuni în pași de execuție unici, minimizând overhead-ul de programare și comunicarea între noduri. Platforma oferă o suprafață cuprinzătoare de capabilități pentru analiza datelor la scară largă, inclusiv suport pentru învățare automată distribuită, integrare cu calcul de înaltă performanță și procesare paralelă a datelor. Oferă instrumente extinse pentru gestionarea ciclului de viață al clusterului, profilarea performanței și monitorizarea în timp real a execuției sarcinilor. Utilizatorii pot implementa aceste medii pe diverse infrastructuri, inclusiv hardware local, furnizori de cloud, sisteme containerizate și clustere de calcul de înaltă performanță.

Feast is an open-source feature store for machine learning that provides a central platform for defining, storing, and serving features across both training and inference workflows. It operates as a declarative system where feature definitions are written as code in Python files, synchronized to a central registry, and made available for low-latency online retrieval or point-in-time correct historical joins for training datasets. The project abstracts storage behind a pluggable architecture, allowing offline and online backends to be swapped without changing retrieval logic, and coordinates ma

StableSwarmUI este o interfață web și un orchestrator backend pentru generarea de imagini Stable Diffusion. Acesta funcționează ca un generator de imagini GPU distribuit și un pipeline modular de imagini AI, oferind un controler centralizat pentru a gestiona cererile de generare de imagini. Sistemul se distinge prin abilitatea de a împărți sarcinile de generare între mai multe procesoare grafice pentru a crește throughput-ul batch-urilor. Utilizează o interfață agnostică față de backend pentru a se conecta la servere locale, servere la distanță și API-uri cloud, și include un designer de flux de lucru vizual bazat pe grafuri pentru definirea operațiunilor complexe de procesare a imaginilor. Platforma include un sistem dinamic de extensii plugin pentru adăugarea de funcționalități personalizate și utilitare automatizate pentru provizionarea dependențelor la nivel de sistem. Combină instrumente de generare modulare și interfețe de editare rapidă cu capacitatea de a ruta sarcinile de lucru pe hardware distribuit.

SwarmUI este o interfață web și un orchestrator pentru Stable Diffusion, conceput pentru a genera imagini și video. Funcționează ca un manager de fluxuri de lucru modular și un gateway API care permite configurarea și execuția pipeline-urilor AI generative. Sistemul se caracterizează prin capacitatea de a distribui sarcinile de generare pe mai multe plăci grafice pentru a crește viteza de procesare și throughput-ul total. Utilizează o arhitectură decuplată client-server și o interfață agnostică față de backend, permițând interfeței utilizator să rămână separată de mediul de execuție al modelului. Platforma suportă extensibilitatea printr-o arhitectură bazată pe plugin-uri pentru adăugarea de noi componente UI și handlere de logică. Oferă control programatic prin endpoint-uri HTTP și WebSocket pentru ca aplicațiile externe să declanșeze generări și să sincronizeze starea în timp real. Sunt incluse instrumente de administrare pentru a acorda și gestiona accesul utilizatorilor remote la mediul generativ prin rețea.