凯发·k8国际从简了近 94% 的 KV 缓存支出-凯发·k8国际「中国」首页登录入口

IT 之家 1 月 21 日音书，阶跃星辰昨日上线了 Step-2 系列讲话模子的两款新品 —— 参数目小、性价比更高的 Step-2 mini，以及特意针对本体创作领域推出的模子 Step 文豪版。

IT 之家从官方先容获悉，Step-2 mini 和万亿参数大模子 Step-2 比拟，以   3% 傍边的参数目保有了其 80% 以上的模子性能。

与此同期，Step-2 mini 领有更快的生成速率和极高的性价比。在输入 4000 tokens 的情况下，Step-2 mini 的平均首字时延仅 0.17 秒。现在，全球仍是不错在阶跃星辰绽放平台调用 Step-2 mini 的 API 接口。输入 1 元 / 百万 token；输出 2 元 / 百万 token。

▲ 网页截图

Step-2 mini 经受了阶跃星辰自主研发的新式提神力机制架构 —— MFA（Multi-matrix Factorization Attention，多矩阵意见提神力）偏激变体 MFA-Key-Reuse，比拟于常用的 MHA（Multi-Head Attention，多头提神力）架构，从简了近 94% 的 KV 缓存支出，领有更快的推理速率并大幅缩小了推理资本。

据官方先容，Step-2 文豪版是一款专为翰墨本体创作研发的模子，因循了 Step-2 的常识储备、对翰墨浩繁的细节把控才略凯发·k8国际，性情在于具有愈加浩繁的本体创作才略。Step-2 文豪版辛劳搞定市面上讲话模子过度对王人导致的本体"假大空"，衰败新意和真情实感的问题。