Awesome GitHub RepositoriesLinear Transformations

Flashlight is a C++ machine learning library and deep learning framework designed for building and training neural networks. It functions as a tensor manipulation library and an automatic differentiation engine that tracks operations to calculate gradients via backpropagation for model optimization. The project is distinguished by its role as a distributed training framework, utilizing all-reduce gradient synchronization and distributed environments to scale machine learning workloads across multiple nodes and devices. It features a backend-agnostic memory interface and RAII-based management

这是一个关于使用 PyTorch 构建神经网络的综合教学资源和课程。它涵盖了深度学习的基本构建块，包括张量操作、自动微分以及模块化神经网络组件的构建。 该仓库是多个专业领域的参考指南。它提供了计算机视觉任务（如图像分类、目标检测和语义分割）的实现细节，以及涉及 Transformer、循环网络和生成模型的自然语言处理工作流。此外，它还包括生成式 AI 的参考资料，专门关注通过扩散模型和对抗网络进行图像合成。 材料延伸至模型优化和部署流水线。它涵盖了通过量化和将模型导出为 ONNX 和 TensorRT 等格式来减小模型大小并提高推理速度的技术。其他能力领域包括用于并行加载的数据工程、使用自定义指标的模型评估，以及开源大语言模型的部署。 该项目主要以一系列 Jupyter Notebook 的形式提供。

此项目是一个自监督对比学习框架，旨在训练深度学习模型从图像中学习视觉表示，而无需使用人类提供的标签。它提供了一个系统，用于开发可适应下游计算机视觉任务的预训练视觉表示模型。 该框架包括用于半监督图像分类的工具，它结合了大型未标记数据集和小型标记集以提高准确性。它还具有线性探测评估工具，通过在冻结的表示之上训练简单的线性分类器来评估学习到的图像特征的质量。 代码库涵盖了分布式深度学习训练和硬件加速以处理大批量数据，以及优化原语，如余弦衰减学习率调度和权重衰减正则化。它还提供了模型管理实用程序，包括在不同深度学习框架格式之间转换预训练检查点，以及用于模型部署的工具。 该实现以 Jupyter Notebooks 集合的形式提供。