有人说,我做一款AI芯片,只要原生支持PyTorch就好了呀,用户直接用PyTorch跑模型,根本接触不到CUDA呀。
没错,一般的用户只要在PyTorch层面做应用,但是总是有新的模型架构出来,这些架构都需要做特定的性能优化才能在一个芯片上得到较高的性能,这时候就涉及到算子开发了。
比如说一开始LLM在GPU上的性能不好,后来社区针对Nvidia GPU做了flash attention等的优化才把LLM的性能提升到了比较可观的程度。
CUDA已经被各种开源AI框…。
{dede:pagebreak/}
吵架时男生很容易被女生攻击到裆部吗?
postgresql也很强大,为何在中国大陆,mysql成为主流,postgresql屈居二线呢?
弗利萨那么害怕超级赛亚人,为啥还留着贝吉塔等人,不完全杀光?
鱼缸氨氮含量低,但是硝酸盐和亚硝酸盐爆表,已经一个多周了,咋办?
猫的什么行为证明它把你当自己人?
为什么抖音上的姑娘都那么好看,现实中我怎么一个也见不着?
体制内女老师,被关系户欺负,大吼——"不干就给老子滚",我该怎么办?
百元内的吸尘器好用吗?
现在还有人一直坚持使用 Eclipse,不使用 IntelliJ IDEA 吗?
这种裙子是不是对直男爆杀?
未来几年,市场对 AI 人才的需求会集中在哪几个方向?
公司规定所有接口都用 post 请求,这是为什么?
如何看待贾玲、沙溢、贾冰、杨天真、范湉湉均瘦身成功?为什么明星想瘦就瘦普通人却很难?
如何看待 Mac mini M4 支持可更换 SSD?
做引体向上可能会诱发腰肌劳损吗?
如何评价漫威剧《钢铁之心》?