不要想的太过复杂,就只有随机数生成的三个矩阵,原始输入已经通过矩阵相乘关联在三个随机数矩阵中,再通过一些代数游戏得到每个token对于整体输入序列的注意力权重矩阵,再和另外一个随机数矩阵进行线性的代数变化即可。
反向传播更新的是这三个矩阵的权重,三个矩阵的维度设计也是为了符合线性代数的运算。
总之这个就是一个巧妙的线性代数游戏,没有什么复杂的逻辑问题。
。
{dede:pagebreak/}
以色列为什么突然敢打伊朗了?不怕被报复?
苏炳添在 2025 全国田径大奖赛蚌埠站 100 米预赛中止步小组第三,背后的原因可能有哪些?
为什么腾讯云或者阿里云不让自建dns服务器?
为什么一部分 Go 布道师的博客不更新了?
你曾看到空乘做过的最傻的事情是什么?
《我的团长我的团》中有哪些细思极恐的细节?
程序员从幼稚走向成熟的标志是什么?
能发一张在暧昧期的聊天记录吗?
目前亚洲最厉害的五款战斗机是什么?
只能选一个,你选谁?
Linux里面usermod -L zhangsan命令是什么?
你们都什么时候对男女之事开窍的?
为什么日本人口密度这么大还能住一户建,中国只能住楼房?
鱼缸长这种藻是什么藻?是好是坏?
中国军队有多强,在世界能排第几?
胸大的女孩会自卑 吗?