Awesome GitHub RepositoriesDebugging and Profiling Tools

RenderDoc este un debugger grafic cross-platform și un profiler GPU utilizat pentru a captura și analiza apelurile API grafice 3D și starea pentru un singur cadru de randare. Acesta funcționează ca un instrument de depanare pentru Vulkan, OpenGL, OpenGL ES și Direct3D 11 și 12. Instrumentul oferă capabilități de depanare specializate pentru inspectarea pipeline-urilor grafice și a stărilor resurselor pe Windows, Linux, Android și Nintendo Switch. Permite analiza shaderelor DirectX, profilarea aplicațiilor OpenGL și dezvoltarea API-ului Vulkan pentru a verifica comportamentul de randare și a remedia bug-urile vizuale.

Mage AI este un orchestrator de pipeline-uri de date bazat pe Python și un mediu de dezvoltare integrat (IDE) pentru date, self-hosted. Este conceput pentru construirea, programarea și monitorizarea workflow-urilor de date folosind un design de pipeline bazat pe blocuri și o interfață de notebook interactivă. Platforma se distinge prin integrarea capabilităților de AI generativ, permițând utilizatorilor să conecteze furnizori de modele de limbaj mari (LLM) prin API pentru a încorpora inteligența artificială în fluxurile de date automatizate. De asemenea, funcționează ca un procesor de date Apache Spark, gestionând kernel-urile și infrastructura necesară pentru analize de mare volum și procesarea datelor la scară largă. Sistemul acoperă o gamă largă de capabilități de inginerie a datelor, inclusiv automatizarea workflow-urilor ETL, gestionarea modelelor dbt și descoperirea fluxurilor de date. Oferă instrumente pentru integrarea controlului versiunilor prin Git, deployment containerizat și controlul accesului bazat pe roluri pentru a gestiona pipeline-urile în medii de dezvoltare și producție. Monitorizarea este gestionată prin telemetria performanței sistemului și debugging-ul execuției pipeline-urilor.

BertViz este un set de instrumente de diagnosticare pentru vizualizarea capetelor de atenție și a comportamentelor interne ale modelelor pentru a interpreta modul în care modelele de limbaj procesează textul. Servește ca un instrument de interpretabilitate și debugger pentru modelele de procesare a limbajului natural, oferind în mod specific hărți interactive ale mecanismelor de atenție în cadrul arhitecturilor Transformer. Proiectul permite analiza relațiilor dintre token-uri prin vizualizări detaliate ale capetelor și straturilor de atenție specifice. Suportă vizualizarea atenției globale pe toate straturile, maparea atenției encoder-decoder și inspecția neuronilor individuali în vectorii de interogare și cheie pentru a dezvălui contribuția lor la calculele de atenție. Instrumentul oferă capabilități pentru filtrarea vizualizărilor după strat, cap sau perechi de propoziții. Vizualizările sunt randate direct în mediile de notebook prin injectare HTML și JavaScript și pot fi exportate ca fișiere HTML independente pentru partajare externă.

This is an open-source educational website that translates and localizes MIT's Missing Semester course, teaching practical computing skills for computer science students. The curriculum covers developer tooling, shell scripting, version control, security fundamentals, and open-source collaboration, with a focus on core computing skills including data processing pipelines, workflow automation, secure remote access, shell productivity, Vim editing, and Git version control. The project distinguishes itself by teaching command-line mastery, shell scripting, and automation to boost daily developer

Data-Juicer is an open-source framework for cleaning, filtering, deduplicating, and transforming multimodal datasets to prepare them for training large language and vision models. It functions as a distributed data pipeline engine that runs processing jobs across Ray clusters, handling billions of samples with automatic operator fusion and adaptive parallelism. The framework provides a library of operators that leverage large language models for semantic extraction, filtering, and data synthesis within processing pipelines. The project distinguishes itself through a YAML-based data recipe sys

Perfetto is a platform for system-level performance tracing and analysis on Linux and Android. It combines a high-throughput trace recorder, a SQL-based query engine, and a browser-based visualizer into a single toolchain. The platform covers CPU scheduling and call-stack profiling, native and Java heap memory allocation tracking, GPU and graphics events, and system-wide counters such as CPU frequency and power consumption. The architecture decouples trace recording from offline analysis, using a compact protobuf format for event encoding and columnar storage for efficient SQL queries. The we

dlt este un instrument de ingestie a datelor Python și un framework de pipeline ETL conceput pentru a prelua date din surse diverse și a le persista în destinații structurate. Funcționează ca un motor de inferență a schemei care detectează automat tipurile de date și aplatizează structurile JSON imbricate în tabele relaționale, mutând datele din surse către lakehouse-uri, depozite de date sau baze de date vectoriale. Proiectul se distinge prin generarea de pipeline-uri bazată pe AI, utilizând modele lingvistice mari pentru a crea codul de extracție și conectorii pentru API-urile REST. De asemenea, suportă stocarea vectorială multimodală și popularea specializată a bazelor de date vectoriale pentru a susține aplicațiile AI și machine learning. Framework-ul acoperă o gamă largă de capabilități, inclusiv evoluția automată a schemei, încărcarea incrementală a datelor prin urmărirea stării și validarea calității datelor prin aplicarea contractelor de date. Oferă instrumente pentru normalizarea datelor relaționale, transformări pre- și post-încărcare și o varietate de adaptoare de destinație pentru baze de date SQL și stocare de obiecte în cloud. Observabilitatea este gestionată prin dashboard-uri de execuție a pipeline-ului, urmărirea lineage-ului coloanelor și verificarea versiunii schemei folosind hash-uri bazate pe conținut.

Jitsu is an open-source customer data platform designed to orchestrate event data pipelines. It captures, transforms, and routes behavioral data from web and server sources into data warehouses and analytics tools, providing a unified infrastructure for managing event streams. The platform distinguishes itself through its focus on self-hosted, containerized operations that grant users full control over their data security and privacy. It features a robust identity resolution engine that stitches disparate user identifiers into persistent profiles across sessions and devices, alongside program

SHADERed este un mediu de dezvoltare și debugger de shadere cross-platform, utilizat pentru crearea de shadere de tip vertex, pixel și compute. Funcționează ca un editor integrat pentru scrierea și compilarea codului de shader, oferind în același timp previzualizări vizuale live și posibilitatea de a configura stările pipeline-ului de randare. Instrumentul dispune de un debugger de shadere GLSL care permite execuția linie cu linie cu breakpoint-uri și watch-uri de variabile pentru a rezolva erorile de logică vizuală. Include un manager de active pentru shadere, pentru importul modelelor 3D și al texturilor ca date de intrare, și suportă un sistem extensibil de plugin-uri pentru a integra limbaje noi și instrumente externe. Platforma acoperă, de asemenea, configurarea pipeline-ului de randare pentru blending și teste de adâncime, alături de analiza datelor de cadru pentru a identifica comportamentul nedefinit pe parcursul unui cadru complet.

ExecuTorch is a lightweight C++ runtime for deploying PyTorch models on mobile, embedded, and edge hardware. It provides an ahead-of-time compilation pipeline that exports, quantizes, and lowers model graphs into compact serialized programs, then executes them through a minimal runtime with hardware acceleration and on-device large language model inference capabilities. The project distinguishes itself through a hardware accelerator delegate system that partitions model subgraphs and offloads computation to specialized backends including NPUs, GPUs, and DSPs from Apple, Arm, Intel, MediaTek,

Devtool is a suite of developer tools designed to execute server-side JavaScript code within a browser environment. It functions as a bridge that allows Node.js programs to run inside a Chromium instance, enabling the use of built-in browser developer tools for visual debugging and performance profiling. The project provides a read-eval-print loop for interactive command execution with support for relative imports and piped input. It also includes a file watcher that monitors source files for changes and automatically reloads programs to accelerate the iteration cycle. The system integrates

Habitat-sim is a high-performance 3D simulation platform designed for training and benchmarking embodied AI agents within photorealistic indoor and outdoor environments. It serves as a simulator for AI and robotics, providing a system for generating synthetic data and simulating physical interactions. The project is distinguished by a native C++ core that enables high-throughput simulation and a rendering pipeline using physically based rendering and baked global illumination. It features a navigation system based on pre-computed navigation meshes to ensure collision-free traversal and a rigi

WebGPU devtools is a Web browser extension that helps debug WebGPU applications by monitoring WebGPU usage.

Install node. Note: I recommend using nvm(mac/linux) or nvm-windows(windows). run these commands: