导语：Kimi大模型的最新发布引起了广泛关注。本文揭秘了Kimi大模型的核心技术——无损压缩技术，探讨了其在减少存储需求、推理算力和数据传输带宽占用方面的重大作用。此外，文章还透露了Kimi大模型的算力支持背后的秘密：之前的算力支持来自抖音火山引擎，现在更有阿里的A800和A100机型的扩容支持。这一切使得Kimi大模型能够达到惊人的1000万峰值算力。快来了解一下吧！
核心技术：1）最核心的技术是无损压缩技术，这个技术就是类似于我们在开会的时候会有一个纪要。这个纪要会把我们讲的很长的话，拿一种编码的方式去缩短，然后用一种认证码的方式去关联上下文，同时用速写的方式去把几个小时的话全写在一张A4纸上。2）这种无损压缩的技术可以减少参数对存储的需求，同时也会减少推理的算力，以及减少数据传输的带宽占用。3）无损压缩的技术壁垒主要是在没有太多开源的东西可以参照，只有一些论文。整个过程都需要厂家自己去探索，想要做到工程化是很困难的。
算力支持：1）之前的算力支持是放在抖音火山引擎那边的，当时是按照每个人每天20万字200k左右的上下文，去做输入输出。当时是用了1600个H800去作为算力支持。2）现在有去做扩容，借调了阿里的A800以及A100的机型。Kimi使用弹性计算的方式，可以做到1000万的峰值。
© 版权声明
1、本网站名称：99学社
2、本站永久网址：https://www.xueshe9.com
3、本网站的文章部分内容可能来源于网络，仅供大家学习与参考，如有侵权，请点击跳转到免责声明页面处理。
4、本站一切资源不代表本站立场，并不代表本站赞同其观点和对其真实性负责。
5、本站一律禁止以任何方式发布或转载任何违法的相关信息，访客发现请向站长举报。
6、本站资源大多存储在云盘，如发现链接失效，请联系我们我们会第一时间更新。
THE END
暂无评论内容