有人说,我做一款AI芯片,只要原生支持PyTorch就好了呀,用户直接用PyTorch跑模型,根本接触不到CUDA呀。
没错,一般的用户只要在PyTorch层面做应用,但是总是有新的模型架构出来,这些架构都需要做特定的性能优化才能在一个芯片上得到较高的性能,这时候就涉及到算子开发了。
比如说一开始LLM在GPU上的性能不好,后来社区针对Nvidia GPU做了flash attention等的优化才把LLM的性能提升到了比较可观的程度。
CUDA已经被各种开源AI框…。
{dede:pagebreak/}
为什么买了Switch后,却发现它并没有那么好玩?
中医把脉是***吗?
中国大陆的苹果手机被阉割了哪些部分?
为什么福州吸引不了人才?
苹果为什么要给每代MacOS起个名字,真以为人们记得住分得清吗?
如何看待b站出现有关小米的大量反向标题,号称“薅千亿补贴”的现象?
电视剧《长安的荔枝》17-20 集拍得如何?有哪些值得关注的剧情点?
泡泡玛特这种又丑又贵的玩具为甚么会有人买?
你曾看到空乘做过的最傻的事情是什么?
有邻居的追求者出价三万,让我连续半个月每天找个女朋友晚上弄点动静,我该答应吗?
如看看Doinb直播松松真的回去了,疑似已经被TES换人?
为什么有的女生喜欢穿紧身牛仔裤?
Golang和J***a到底怎么选?
如何评价 Steam 新游《捞女游戏》(已改名《情感反诈模拟器》)?
如何看待 Rust 写的 PNG 解码器比 C 实现更快?
6 月 20 日,女篮热身赛,中国女篮 93-61大胜日本女篮,如何评价本场比赛?