lswcap
Triton 是一种用于开源神经网络的编程语言，它已经发布，可以实现超越 CUDA 的生产力和快速编码，CUDA 是由 Nvidia 开发和提供的 GPU 通用并行计算平台。它是一种用于创建高效深度学习原语的语言编译器，并且对GitHub 开发存储库开放。
由人工智能研究非营利组织 OpenAI 发布的 1.0 版本作为基于 Python 的开源神经网络的编程语言发布。 OpenAI 开发 Triton 作为替代 CUDA 的编程语言的原因很简单。包括 CUDA 在内的 Nvidia 图形处理单元太难编程。具体来说，在创建 GPU 原生内核和函数时，需要在多核 GPU 内存层次结构中移动分配的数据和指令，使得编程变得复杂。
根据 OpenAI 的说法，Triton 甚至允许处理 CUDA 的研究编写与 GPU 编码器一样高效的 GPU 代码。例如，可以在不到 25 行代码中创建一个与 cuBLAS 性能相当的 FP16 内核，这是大多数 GPU 程序员无法实现的性能水平。
目标是为深度学习创建一个 CUDA 可执行替代方案，而 Triton 目标是面向具有出色软件工程技能但不熟悉 GPU 编程的机器学习工程师和研究人员。 OpenAI 研究人员呼吁 Triton 已经被使用，并且他成功地创建了一个内核，其效率高达 PyTorch 编程的两倍。
借助 Triton，开发人员可以使用专用库在 Python 中编写代码并对其进行 JIT 编译以在 GPU 上运行。这将允许与 Python 生态系统的其余部分集成，以开发机器学习解决方案。
Triton 库提供了一组让人联想到 NumPy 的基础知识，并指出了与 Nympy 的相似之处。具体来说，它提供了一个函数，可以根据某个标准执行矩阵运算或数组约简。也有人评价说它与 Numba 的相似之处在于它将基元与自己的代码集成在一起，并编译它以在 GPU 上运行。
Triton 基于 2019 年发表的一篇论文，但它是一个刚刚开始的项目。目前只支持Linux，提供的文档很少，想要尽早使用的开发者需要仔细研究源码和示例。相关信息可以在这里找到。
Add comment