IT 之家 1 月 17 日讯息现金九游体育app平台，决策公司 Snowflake 公布了一款名为" SwiftKV "的 AI 模子调校手艺，并在 Hugging Face 开源三款期骗" SwiftKV "手艺进行调校的 Llama 3.1 AI 模子（点此拜谒）。

IT 之家获悉，SwiftKV 手艺的中枢在于优化模子教导词惩办经过。决策东说念主员指出，时时情况下大模子最为奢侈联想资源的要领在于惩办用户为模子输入的教导词，而好多企业为模子自界说了极长的教导词，据称平均情况"简短是输降生成骨子的 10 倍"。

据 Snowflake 先容，这一" SwiftKV "模子调校手艺罕见为相应预制的教导词惩办进行优化，堪称温存了传统的键值（Key-Value，KV）缓存压缩手艺，还在模子推理经过中引入模子重组与学问保存自我蒸馏措施，从而有用提高模子微辞量、谴责了蔓延和运算资本，堪称不错匡助 AI 模子权贵谴责推理时辰，不错谴责模子 50% 扩充时辰。

实践服从标明，在期骗 SwiftKV 手艺优化 Llama 3.1 的 80 亿和 700 亿参数模子后，相应模子的合座微辞量可提高两倍，同期相应模子也在代码自动补全、文本提要等方面发达出色。

现金九游体育app平台