Awesome GitHub RepositoriesDebugging and Profiling Tools

RenderDoc ist ein plattformübergreifender Grafik-Frame-Debugger und GPU-Profiler, der verwendet wird, um 3D-Grafik-API-Aufrufe und den Status für einen einzelnen Frame des Renderings zu erfassen und zu analysieren. Es fungiert als Debugging-Tool für Vulkan, OpenGL, OpenGL ES sowie Direct3D 11 und 12. Das Tool bietet spezialisierte Debugging-Funktionen zur Inspektion von Grafik-Pipelines und Ressourcen-Status unter Windows, Linux, Android und Nintendo Switch. Es ermöglicht die Analyse von DirectX-Shadern, OpenGL-Anwendungsprofiling und Vulkan-API-Entwicklung, um das Rendering-Verhalten zu verifizieren und visuelle Bugs zu beheben.

Mage AI ist ein Python-basierter Daten-Pipeline-Orchestrator und eine selbstgehostete integrierte Entwicklungsumgebung (IDE) für Daten. Er ist darauf ausgelegt, Daten-Workflows mittels eines blockbasierten Pipeline-Designs und einer interaktiven Notebook-Schnittstelle zu erstellen, zu planen und zu überwachen. Die Plattform zeichnet sich durch die Integration generativer KI-Funktionen aus, die es Benutzern ermöglichen, Anbieter großer Sprachmodelle (LLMs) per API anzubinden, um künstliche Intelligenz in automatisierte Datenströme einzubinden. Sie fungiert zudem als Apache Spark-Datenprozessor und verwaltet die Kernels und die Infrastruktur, die für hochvolumige Analysen und groß angelegte Datenverarbeitung erforderlich sind. Das System deckt ein breites Spektrum an Data-Engineering-Funktionen ab, einschließlich ETL-Workflow-Automatisierung, dbt-Modellverwaltung und Datenstrom-Discovery. Es bietet Werkzeuge für die Versionskontrollintegration via Git, containerisierte Bereitstellung und rollenbasierte Zugriffskontrolle zur Verwaltung von Pipelines in Entwicklungs- und Produktionsumgebungen. Die Überwachung erfolgt durch System-Performance-Telemetrie und Pipeline-Ausführungs-Debugging.

BertViz ist ein Diagnose-Toolset zur Visualisierung von Attention-Heads und internem Modellverhalten, um zu interpretieren, wie Sprachmodelle Text verarbeiten. Es dient als Interpretierbarkeits-Tool und Debugger für Natural-Language-Processing-Modelle und bietet speziell interaktive Karten von Attention-Mechanismen innerhalb von Transformer-Architekturen. Das Projekt ermöglicht die Analyse von Token-Beziehungen durch detaillierte Ansichten spezifischer Attention-Heads und Layer. Es unterstützt die globale Attention-Visualisierung über alle Layer hinweg, Encoder-Decoder-Attention-Mapping und die Inspektion einzelner Neuronen innerhalb von Query- und Key-Vektoren, um deren Beitrag zu Attention-Berechnungen aufzudecken. Das Tool bietet Funktionen zum Filtern von Ansichten nach Layer, Head oder Satzpaaren. Visualisierungen werden direkt innerhalb von Notebook-Umgebungen via HTML- und JavaScript-Injektion gerendert und können als eigenständige HTML-Dateien für externes Teilen exportiert werden.

This is an open-source educational website that translates and localizes MIT's Missing Semester course, teaching practical computing skills for computer science students. The curriculum covers developer tooling, shell scripting, version control, security fundamentals, and open-source collaboration, with a focus on core computing skills including data processing pipelines, workflow automation, secure remote access, shell productivity, Vim editing, and Git version control. The project distinguishes itself by teaching command-line mastery, shell scripting, and automation to boost daily developer

Data-Juicer is an open-source framework for cleaning, filtering, deduplicating, and transforming multimodal datasets to prepare them for training large language and vision models. It functions as a distributed data pipeline engine that runs processing jobs across Ray clusters, handling billions of samples with automatic operator fusion and adaptive parallelism. The framework provides a library of operators that leverage large language models for semantic extraction, filtering, and data synthesis within processing pipelines. The project distinguishes itself through a YAML-based data recipe sys

Perfetto is a platform for system-level performance tracing and analysis on Linux and Android. It combines a high-throughput trace recorder, a SQL-based query engine, and a browser-based visualizer into a single toolchain. The platform covers CPU scheduling and call-stack profiling, native and Java heap memory allocation tracking, GPU and graphics events, and system-wide counters such as CPU frequency and power consumption. The architecture decouples trace recording from offline analysis, using a compact protobuf format for event encoding and columnar storage for efficient SQL queries. The we

dlt ist ein Python-Tool zur Datenaufnahme und ein ETL-Pipeline-Framework, das darauf ausgelegt ist, Daten aus verschiedenen Quellen abzurufen und in strukturierten Zielen zu speichern. Es fungiert als Schema-Inferenz-Engine, die automatisch Datentypen erkennt und verschachtelte JSON-Strukturen in relationale Tabellen flacht, wobei Daten von Quellen in Lakehouses, Warehouses oder Vektordatenbanken verschoben werden. Das Projekt zeichnet sich durch KI-gestützte Pipeline-Generierung aus, die Large Language Models nutzt, um Extraktionscode und Konnektoren für REST-APIs zu erstellen. Es unterstützt zudem multimodale Vektorspeicherung und die spezialisierte Befüllung von Vektordatenbanken zur Unterstützung von KI- und Machine-Learning-Anwendungen. Das Framework deckt ein breites Spektrum an Funktionen ab, einschließlich automatisierter Schema-Evolution, inkrementellem Datenladen mittels Statusverfolgung und Datenqualitätsvalidierung durch die Durchsetzung von Datenverträgen. Es bietet Tools für relationale Datennormalisierung, Pre- und Post-Load-Transformationen sowie eine Vielzahl von Ziel-Adaptern für SQL-Datenbanken und Cloud-Objektspeicher. Die Observability wird durch Pipeline-Ausführungs-Dashboards, Spalten-Lineage-Tracking und Schema-Versionsverifizierung mittels inhaltsbasierter Hashes gehandhabt.

Jitsu is an open-source customer data platform designed to orchestrate event data pipelines. It captures, transforms, and routes behavioral data from web and server sources into data warehouses and analytics tools, providing a unified infrastructure for managing event streams. The platform distinguishes itself through its focus on self-hosted, containerized operations that grant users full control over their data security and privacy. It features a robust identity resolution engine that stitches disparate user identifiers into persistent profiles across sessions and devices, alongside program

SHADERed ist eine plattformübergreifende Shader-Entwicklungsumgebung und ein Debugger zum Erstellen von Vertex-, Pixel- und Compute-Shadern. Es fungiert als integrierter Editor zum Schreiben und Kompilieren von Shader-Code und bietet gleichzeitig Live-Vorschauen sowie die Möglichkeit, Render-Pipeline-Zustände zu konfigurieren. Das Tool verfügt über einen GLSL-Shader-Debugger, der eine zeilenweise Ausführung mit Breakpoints und Variablen-Watches ermöglicht, um visuelle Logikfehler zu beheben. Es enthält einen Shader-Asset-Manager zum Importieren von 3D-Modellen und Texturen als Dateneingaben und unterstützt ein erweiterbares Plugin-System zur Integration neuer Sprachen und externer Tools. Die Plattform deckt zudem die Konfiguration der Render-Pipeline für Blending und Tiefentests ab sowie die Analyse von Frame-Daten, um undefiniertes Verhalten über einen gesamten Frame hinweg zu identifizieren.

ExecuTorch is a lightweight C++ runtime for deploying PyTorch models on mobile, embedded, and edge hardware. It provides an ahead-of-time compilation pipeline that exports, quantizes, and lowers model graphs into compact serialized programs, then executes them through a minimal runtime with hardware acceleration and on-device large language model inference capabilities. The project distinguishes itself through a hardware accelerator delegate system that partitions model subgraphs and offloads computation to specialized backends including NPUs, GPUs, and DSPs from Apple, Arm, Intel, MediaTek,

Devtool is a suite of developer tools designed to execute server-side JavaScript code within a browser environment. It functions as a bridge that allows Node.js programs to run inside a Chromium instance, enabling the use of built-in browser developer tools for visual debugging and performance profiling. The project provides a read-eval-print loop for interactive command execution with support for relative imports and piped input. It also includes a file watcher that monitors source files for changes and automatically reloads programs to accelerate the iteration cycle. The system integrates

Habitat-sim is a high-performance 3D simulation platform designed for training and benchmarking embodied AI agents within photorealistic indoor and outdoor environments. It serves as a simulator for AI and robotics, providing a system for generating synthetic data and simulating physical interactions. The project is distinguished by a native C++ core that enables high-throughput simulation and a rendering pipeline using physically based rendering and baked global illumination. It features a navigation system based on pre-computed navigation meshes to ensure collision-free traversal and a rigi

WebGPU devtools is a Web browser extension that helps debug WebGPU applications by monitoring WebGPU usage.

Install node. Note: I recommend using nvm(mac/linux) or nvm-windows(windows). run these commands: