首页 > 正文

中海基金姚晨曦:算力与数据并重 大模型门槛高企

2023年04月13日 07:49
来源: 东方财富网

手机上阅读文章

  • 提示:
  • 微信扫一扫
  • 分享到您的
  • 朋友圈

  中海基金姚晨曦在节目中表示,数据主要影响模型训练的效果,在专业数据方面有门槛;训练和推理阶段都需要大量的算力,在服务器的投入上有基础门槛。

  以下为文字精华:

  姚晨曦:ChatGPT发展的背后有大量的数据还有算力的推动,数据和算力都比较重要。

  数据主要是影响模型训练阶段的效果,当然目前更多还是通过一些通用的数据去做训练,这些数据相对来说是公开可得的。比如说像一些知识类的数据,大家基本上都会问大英百科全书的数据,但是数据质量可能会有一些高低,比如说大家觉得英语类的数据质量会更高一些,像一些搜索引擎公司,它的数据背后还有用户搜索点击访问的跟踪。所以它可以从中筛选出来更高质量的一些数据,去给模型做训练,提高模型训练的效率,节省前期的一些算力的成本。

  如果模型需要在一些专业化的垂直领域去做应用的话,其实你还需要用这些行业的一些数据去做二次训练,这里面很多数据可能相对来说就不是那么好,可能只有行业垂直领域的一些公司才拥有,像法律医学这些比较专业的领域,就会有数据的门槛。

  算力对大模型来说是非常重要的,目前大模型更多还是靠提高参数,大力出击的方式来实现人工智能的质变,对于算力的要求是非常高的。这里面分成两个阶段,第一个是模型的训练阶段,这个时候就需要有足够的算力去做保证。

  目前来看,可能至少要小几百台AI服务器的数据中心才能实现训练,现在大模型的训练主要基于海外开源的算法,这些算法更多还是基于英伟达的GPU去做调试和优化,需要使用英伟达的AI服务器,成本就很高。可能现在单台的AI服务器就要约20多万美元,如果搭建小几百台的话,基本上投资规模接近10亿人民币,这是基础门槛,可能也不是很多公司能够承受的。

  在后期的推理阶段,还需要大量的算力,这个跟用户的访问使用量直接相关,访问使用量越大,算力需求就更大,需求量其实是没有上限的。即便是像OpenAI和微软,基于微软的运营算力,目前算力也是有限的,所以在用户的访问上面,也需要设置访问量的限制,最近我们可以看到,GPT的访问经常出现宕机的情况,也是因为算力遭遇了阶段性的不足。

  更重要的是,算力本身的成本是非常重要的,当整个大模型真正进入商业化的运营和落地阶段,这个时候就必须要考虑商业成本的问题,它的单次访问成本和使用成本,能不能通过你的商业模式去覆盖。所以这个方面我们可能还得指望摩尔定律发挥作用,让算力成本可以不断下降。

(责任编辑:33)

 
 
 
 

网友点击排行

 
  • 基金
  • 财经
  • 股票
  • 基金吧
 
郑重声明:天天基金网发布此信息目的在于传播更多信息,与本网站立场无关。天天基金网不保证该信息(包括但不限于文字、数据及图表)全部或者部分内容的准确性、真实性、完整性、有效性、及时性、原创性等。相关信息并未经过本网站证实,不对您构成任何投资决策建议,据此操作,风险自担。数据来源:东方财富Choice数据。

将天天基金网设为上网首页吗?      将天天基金网添加到收藏夹吗?

关于我们|资质证明|研究中心|联系我们|安全指引|免责条款|隐私条款|风险提示函|意见建议|在线客服|诚聘英才

天天基金客服热线:95021 |客服邮箱:vip@1234567.com.cn|人工服务时间:工作日 7:30-21:30 双休日 9:00-21:30
郑重声明:天天基金系证监会批准的基金销售机构[000000303]。天天基金网所载文章、数据仅供参考,使用前请核实,风险自负。
中国证监会上海监管局网址:www.csrc.gov.cn/pub/shanghai
CopyRight  上海天天基金销售有限公司  2011-现在  沪ICP证:沪B2-20130026  网站备案号:沪ICP备11042629号-1

A
安信证券资产安信基金
B
博时基金渤海汇金博道基金贝莱德基金管理北京京管泰富基金百嘉基金北信瑞丰宝盈基金博远基金
C
长盛基金长城基金诚通证券财通基金长安基金淳厚基金创金合信基金长城证券财通资管长信基金财达证券长江证券(上海)资管财信证券
D
东方红资产管理东莞证券东海基金德邦基金东方阿尔法基金东财基金东海证券德邦证券资管东兴证券东兴基金第一创业东吴基金达诚基金东证融汇证券资产管理大成基金东方基金东吴证券
F
方正富邦基金富国基金富达基金(中国)方正证券富荣基金富安达基金蜂巢基金
G
国海富兰克林基金国投瑞银基金广发资产管理国寿安保基金国联安基金光大保德信基金国投证券国联证券国都证券国海证券国新国证基金国泰基金国新证券股份国金基金国信证券国融基金格林基金广发基金国联基金工银瑞信基金国元证券
H
华润元大基金华泰证券(上海)资产管理华宸未来基金华泰柏瑞基金华富基金宏利基金华鑫证券汇百川基金汇丰晋信基金华安基金华商基金红土创新基金华泰保兴基金弘毅远方基金华安证券华西基金泓德基金汇泉基金合煦智远基金恒越基金惠升基金汇安基金恒生前海基金华夏基金红塔红土恒泰证券华创证券汇添富基金华宝基金海富通基金
J
嘉实基金建信基金金元顺安基金交银施罗德基金九泰基金景顺长城基金嘉合基金金信基金金鹰基金江信基金