热门:
DeepSeek深夜发布多模态大模型 图像性能跑分力压OpenAI竞品
就在华尔街周一紧张评估“DeepSeek风暴”之际,这家中国公司再度甩出新品:在图像生成基准测试中超越OpenAI“文生图”模型DALL-E 3的多模态大模型Janus-Pro,同样也是开源的。
![image](https://np-newspic.dfcfw.com/download/D25469092136621690629_w1980h1058.jpg)
除夕凌晨钟声敲响前不久,DeepSeek工程师们在“抱抱脸”平台上传了Janus Pro 7B和1.5B模型。这俩模型是对去年10月发布的Janus模型的升级。
![image](https://np-newspic.dfcfw.com/download/D24709815495356912654_w1881h925.jpg)
(Janus与Janus Pro 7B生成图像的对比,来源:技术报告)
15亿和70亿的参数量,意味着这两个模型具备在消费级电脑上本地运行的潜力。与R1一样,Janus Pro采用MIT许可证,在商用方面没有限制。
据DeepSeek介绍,Janus-Pro是一个新颖的自回归框架,统一了多模态理解和生成。通过将视觉编码分离为“理解”和“生成”两条路径,同时仍采用单一的Transformer架构进行处理,解决了以往方法的局限性。这种分离不仅缓解了视觉编码器在理解和生成中的角色冲突,还提升了框架的灵活性。
![image](https://np-newspic.dfcfw.com/download/D24933604931294739580_w1405h717.jpg)
从报告给出的“跑分”数据来看,在部分文生图基准测试中,Janus-Pro 70亿参数模型表现好于OpenAI的DALL-E 3、Stability AI的Stable Diffusion 3-Meduim等。
![image](https://np-newspic.dfcfw.com/download/D25402668612743844476_w1620h720.jpg)
(来源:技术报告)
虽然DALL-E 3是OpenAI在2023年发布的一款“老模型”,同时Janus Pro目前只能分析和生成规格较小的图像(384 x 384)。DeepSeek在如此紧凑的模型尺寸中依然展现了令人印象深刻的性能。
技术报告显示,在视觉生成方面,Janus-Pro通过添加7200万张高质量合成图像,使得在统一预训练阶段真实数据与合成数据的比例达到1:1,实现“更具视觉吸引力和稳定性的图像输出”。在多模态理解的训练数据方面,新模型参考了DeepSeek VL2并增加了大约9000万个样本。
作为一个多模态模型,Janus-Pro不仅可以“文生图”,同样也能对图片进行描述,识别地标景点(例如杭州的西湖),识别图像中的文字,并能对图片中的知识(例如下图中的“猫和老鼠”蛋糕)进行介绍。
![image](https://np-newspic.dfcfw.com/download/D25759390209334232917_w1361h517.jpg)
![image](https://np-newspic.dfcfw.com/download/D25056353030316462715_w1364h559.jpg)
(来源:技术报告)
公司也在报告中,给出了更多图像生成的案例。
![image](https://np-newspic.dfcfw.com/download/D25007205300954894106_w1527h1028.jpg)
(来源:技术报告)
(文章来源:财联社)
(责任编辑:27)
![滴汗 [滴汗]](http://gbfek.dfcfw.com/face/emot_default_28x28/emot7.png)
![旺柴 [旺柴]](http://gbfek.dfcfw.com/face/emot_default_28x28/emot45.png)
![捂脸 [捂脸]](http://gbfek.dfcfw.com/face/emot_default_28x28/emot42.png)
![捂脸 [捂脸]](http://gbfek.dfcfw.com/face/emot_default_28x28/emot42.png)
![捂脸 [捂脸]](http://gbfek.dfcfw.com/face/emot_default_28x28/emot42.png)
关于我们|资质证明|研究中心|联系我们|安全指引|免责条款|隐私条款|风险提示函|意见建议|在线客服|诚聘英才
天天基金客服热线:95021 |客服邮箱:vip@1234567.com.cn|人工服务时间:工作日 7:30-21:30 双休日 9:00-21:30
郑重声明:天天基金系证监会批准的基金销售机构[000000303]。天天基金网所载文章、数据仅供参考,使用前请核实,风险自负。
中国证监会上海监管局网址:www.csrc.gov.cn/pub/shanghai
CopyRight 上海天天基金销售有限公司 2011-现在 沪ICP证:沪B2-20130026 网站备案号:沪ICP备11042629号-1