Awesome GitHub RepositoriesTensor Shape Inferences

Pyrefly is a static type checker for Python that operates as a language server, delivering real-time diagnostics, completions, and navigation in any editor supporting the Language Server Protocol. It also performs static tensor shape analysis, using symbolic dimension variables and arithmetic to verify shape consistency in deep learning models without runtime execution. Beyond core type checking, Pyrefly supports gradual adoption workflows: it can generate a baseline of known errors so only new issues are reported, migrate configuration from other type checkers, and automatically suppress exi

TileLang is a Python-embedded domain-specific language compiler that JIT-compiles and autotunes GPU kernels. It uses a tile-based DSL, automatic software pipelining, and parallel autotuning to generate optimized GPU kernels at runtime. It supports tensor core operations with Pythonic syntax, automatic memory management, and thread mapping. The compiler searches over tile sizes, thread counts, and scheduling policies, compiling and benchmarking candidates in parallel to find the fastest kernel. It also caches compiled binaries and tuning results to disk for reuse across sessions. TileLang inc

pytorch-summary ist eine Sammlung von Utilities für PyTorch-neuronale Netze, die dazu dienen, Modellzusammenfassungen zu generieren, Speicheranforderungen zu berechnen und Layer-für-Layer-Tensor-Shapes zu visualisieren. Es fungiert als Reporting-Tool, das detaillierte Aufschlüsselungen von Netzwerkschichten und Ausgabe-Shapes bereitstellt, um beim Debugging und der Inspektion von Modellen zu unterstützen. Das Projekt bietet spezialisierte Funktionen zur Schätzung des Gesamtspeicherverbrauchs von Forward- und Backward-Passes basierend auf Eingabedimensionen und Parameteranzahl. Es generiert menschenlesbare Visualisierungen von Modellstrukturen, um architektonische Entwürfe zu verifizieren und Dimensionskonflikte über Schichten hinweg zu identifizieren. Das Tool implementiert strukturelle Analysen durch rekursive Modul-Traversierung, Hook-basiertes Tensor-Tracking und eingabegesteuerte Shape-Inferenz. Diese Fähigkeiten ermöglichen die Aggregation von Parameteranzahlen und das Mapping des Datenflusses zwischen aufeinanderfolgenden Operationen.

ComfyUI-GGUF is a memory optimizer and model loader for ComfyUI that enables the execution of large transformer-based generative models using quantized weights. It provides a system for loading GGUF formatted weights within a node-based diffusion interface to reduce GPU memory consumption. The project includes a quantization tool for converting standard model checkpoints into compressed binary formats and a tensor fixer to restore missing keys and correct architectures in binary model files. These utilities ensure that compressed models remain functional during inference on hardware with limi