通义千问开源首个MoE模型
发布日期：2024-03-29 19:00:57
导读 哈喽,阿澜今天发现不少朋友对于通义千问开源首个MoE模型,这个还不是很了解，那么现在让我们一起来看看吧。
据阿里通义千问官微，通义千...
哈喽,阿澜今天发现不少朋友对于通义千问开源首个MoE模型,这个还不是很了解，那么现在让我们一起来看看吧。
据阿里通义千问官微，通义千问团队开源首个MoE模型，名为Qwen1.5-MoE-A2.7B。它仅有27亿个激活参数，但性能可与当前公认最先进的70亿参数模型(Mistral7B、Qwen1.5-7B等)相媲美。
以上就是关于【通义千问开源首个MoE模型】的相关内容，希望对大家有帮助！
标签：
免责声明：本文由用户上传，如有侵权请联系删除！