啃书文学网

手机浏览器扫描二维码访问

第157章 迎敌陷马（第2页）

第一，解决成本的问题。精度可以通过数据堆积解决，在真正落地的时候，推理的成本是绕不过去的，我们的核心要义是解决高效的推理引擎问题。

为此，我们自主研发了Space推理引擎，它与算子层高效融合，实现了无损的推理，并将推理速度提升了50%以上。具体来说，像生成式大模型，通常是进行单字符的向前预测，但我们想办法一次性预测多个字符，同时保持无损、精度不变。在这种情况下，我们通过对算法结构进行改进，实现了一次性预测多个词条，从而提升了推理效率。

第二，降低核心成本。我们致力于提高效率和减少GpU存储需求，通过研究分布式切块，包括自适应的稀疏缓存解码等技术，我们成功将GpU需求降低了50%。

第三，优化训练技术。优化训练是大模型落地的根基，所有的应用都在这个根基上长起来。我们研发了一套可伸缩的大模型训练技术，简单来说，训练一个大模型，这个大模型要考虑如果扩展它的参数或者说扩展它的规模、优化它的结构，能不能复用原有的大模型？

答案是肯定的，这种方法也节省了训练成本。从深度和广度的角度来看，通过复用已训练的参数，达到深度扩展和宽度扩展，使训练效率翻倍，同时降低了达50%的训练成本。

第四，神经网络处理器和推理芯片是我们近十年来的重点。如今已经历了四代迭代，从第一代NNp100到目前的NNp400t，我们已经完全灵活适配多种深度学习架构，特别是在transformer架构下，我们进行了指令集优化、算子的协同设计以及高效的联合设计，支撑了transformer结构的高效推理。此外，我们还是最早一批使用chiplet结构适配大模型的公司之一。

利用这四项核心技术，我们构建了支持边缘大模型的算法芯片化系统。我们的底层技术支持了神经网络处理器和自主研发的推理芯片，促进了国产化进程，避免了对供应链的依赖，并在此基础上实现了多模态大模型的运行。从行业应用的角度来看，我们有基于行业到边缘的场景大模型。更重要的是，我们支持用户进行无感知的在线微调，同时保护用户的数据隐私，而且成本极低。

六、实现每秒30字高效推理，多模态大模型已落地G端

云天天书的多模态大模型在文本理解和生成方面表现卓越，每秒可实现30字的高效推理速度，并能处理超过45万字的上下文。通过指定要求，快速生成符合特定格式的通知、决议等文件，从而有效推动办公自动化。大家可以看到整个生成过程内容极其简洁，速度极其快。

此外，我们也支持带参考内容的文章修改和润色，可以复制一部分已有的参考内容，高效地进行润色、修改，变成大家所需要的东西。目前这一块的内容已成功地在多个地级市、省厅局委办落地。采用我们的多模态大模型进行办公赋能，对于项目报告的内容生成也是非常灵活。

最后，在文本内容的理解和生成方面，很重要的一点是生成的质量。我们自带校阅功能，生成完之后可以多次优化里面的内容，达到自迭代、自进化的效果。云天天书多模态大模型支撑视频数据的理解和生成，很多数据训练过程结束之后，有一些数据是需要优化、编辑的，尤其在消费端的场景，比如对图片编辑，对3d数据合成。

我们可以通过多模态大模型进行数据的合成，达到我们想要的3d数据。对于图片的数据理解，比如通过指令去渲染，通过指令去编辑整个图片，让大模型去理解，根据指令操作图片，甚至画出不同的风格。多模态大模型的Agent能力，以开源目标检测为例，这种技术为城市发展提供了支持，正如我们之前提到的，我们发布了一个AI模盒，旨在促进AI技术在城市领域的应用，其中就包括基于多模态大模型的支持。

我们非常荣幸，能够身处在这个AI蓬勃发展，引领各行各业不断变革的时代。如今，AI大模型技术在各行各业遍地开花，我们希望携手各行各业的专家及朋友，共同引领多模态技术的落地，并迈向AGI大方向。

以上是余晓填演讲内容的完整整理。

搜索

云天励飞

国内大模型最新排名

孙正义评价云天励飞

云天励飞国内最强ai

惊艳到极致的ai图片

国资入股云天励飞

穿成虐文女主的反派情敌[快穿]+番外  掌院+番外  酒香肆溢  心念往之（穿越）  全帝国的小鱼干都属于猫王妃  我在古早校园文里拐女主gl  全世界最要紧的初恋  重生了，还是个北电高职生  我生命里的意外只有你  开局兽医：肝词条，创怪物序列  （风声同人）玉牵梦萦  咱两谁拐的谁？  梦回卅年巅峰人生不是梦  影后求我复合  中国大妞闯纽约（gl)  宠婢为后/洞房花烛遇仇人+番外  回到古代当太傅  愿阿生良辰不负  网游：蓝星online  小霸王和美先生gl