9479威尼斯

9479威尼斯最新消息

9479威尼斯

9479威尼斯

11月13日，彩云科技在北京总部与媒体进行一场主题为“From Paper to App”的沟通会。会上，彩云科技CEO袁行远，就通用大模型未来进化之路，与人工智能的落地场景等热点话题进行了交流，并正式推出了首款基于DCFormer架构开发的通用大模型云锦天章，与此同时，彩云科技旗下AI RPG平台彩云小梦，也成为首款基于DCFormer架构开发的AI产品。

早在2017年，谷歌发布《Attention Is All You Need》论文，首次提出Transformer架构9479威尼斯，掀开了人工智能自然语言处理(NLP)领域发展的全新篇章。Transformer架构作为神经网络学习中最重要的架构，成为后来席卷全球的一系列通用大模型如ChatGPT、Gemini的底层技术支撑。而提升Transformer的运行效率也成为人工智能领域的研究热点，2024年4月，谷歌最近一次更新了Transformer架构，提出了Mixture-of-Depths(MoD)方法，使得训练后采样过程中提速50%，成为Transformer架构提速升级的又一重要事件。

同样在今年，一家来自国内的人工智能企业彩云科技，在国际机器学习领域的顶级会议ICML(国际机器学习大会)上，发布全新大模型论文《Improving Transformers with Dynamically Composable Multi-Head Attention》。在该论文中，彩云科技团队首次发布DCFormer架构，并在基于DCFormer打造的模型DCPythia-6.9B上，实现了在预训练困惑度和下游任务评估上都优于开源Pythia-12B。这意味着，DCFormer模型在性能上，实现了对Transformer模型1.7-2倍的提升。

沟通会现场，袁行远首先向参会者展示了一个ChatGPT o1的问答：“假设ChatGPT4每天响应用户约2亿个请求，消耗超过50万千瓦时的电力。假设全球网络都使用ChatGPT作为访问入口，ChatGPT每天消耗多少电力？另外按照这个速度发展下去，到2050年全球人工智能的耗电量会达到目前地球发电能力的多少倍？”ChatGPT o1给出的答案是，“到2050年，全球人工智能的耗电量可能会达到目前地球发电能力的8倍”。

彩云科技团队构建DCFormer框架，提出可动态组合的多头注意力(DCMHA)，替换Transformer核心组件多头注意力模块(MHA)，解除了MHA注意力头的查找选择回路和变换回路的固定绑定，让它们可以根据输入动态组合，从根本上提升了模型的表达能力，由此实现了对Transformer架构1.7—2倍的性能提升。

袁行远表示：我们的工作表明，Transformer架构距离“理想模型架构”还有很大的提升空间，除了堆算力堆数据的“大力出奇迹”路线，模型架构创新同样大有可为。往小了说，在大模型领域，利用效率更高的模型架构，小公司也可以在与世界顶级人工智能企业的对抗中取得优势。往大了说，模型效率的提升，可以有效地降低人工智能升级迭代的成本，加速AI时代的到来。

“世界最强的小说续写通用模型。”沟通会上，袁行远向大家展示了首个基于DCFormer架构的通用大模型云锦天章。“这个成语是比喻文章极为高雅、华美，和我们的大模型想要实现的效果有共通之处。”袁行远介绍，云锦天章可以实现在虚构世界观的基础上，赋予小说人物编程、数学等基础能力，可以高速针对大量文字进行扩写、缩写，针对文章风格进行大容量更换，同时兼具其他模型的问答、数学、编程等基础能力。

而在应用端，拥有四百万用户的彩云小梦，也迎来了基于全新DCFormer架构的V.3.5版本。与之前的版本相比，彩云小梦V3.5整体流畅性和连贯性提升了20%，支持前文长度由2000字提升至10000字，故事背景设定最长长度高达10000字。“这意味着，在故事创作或者与人工智能对话中，人工智能能够记住之前发生的事情，记住之前故事里发生的细节，人物记得自己明确的目标，并且会根据剧情及时进行反思修正。在做到自主创作的同时，发散性收敛，不会天马行空，人物性格前后一致，故事逻辑性更强。”

9479威尼斯

例如，通过对三星堆遗址考古出土文物的研究来加强考古技术、方法及经验分享；探索如何更好地展示利用三星堆遗址及金沙遗址等古代遗迹；针对桃花河旧石器时代遗址进行石器技术与人类行为模式演变的研究；加强旧石器时代考古学人才培养及实验室建设方面的合作；在数据分析、信息化技术应用于考古遗址管理以及提升博物馆展览质量等方面增进沟通。此外，双方还将共同组织线上线下相结合的年度工作会和高水平学术研讨会，互相交流考古研究方面的经验与方法。

9479威尼斯

11月11日至11月22日，《联合国气候变化框架公约》第29次缔约方大会(COP29)在阿塞拜疆首都巴库举行。在会场，格林纳达总理迪肯·米切尔(Dickon Mitchell)接受了中新网的独家采访。米切尔高度评价中国在南南合作中的引领作用，指出中国与全球南方国家签署了多项合作协议，并始终尊重各国主权，从不干涉别国内政。他强调，中国一直通过和平方式与别国开展合作，这对全球南方国家尤为重要。(记者 陈天浩)

The 2024 UN Climate Change Conference (COP29) is being held in Baku, Azerbaijan. During an exclusive interview with China News Network, Dickon Mitchell, Prime Minister of Grenada, spoke highly of China’s leadership in South-South cooperation.