切换到宽版
开启辅助访问
登录
立即注册
搜索
搜索
搜索
首页
Portal
论坛
同城
人才网
工具
菲龙网工具
个人中心
关于我们
每日签到
本地新闻
时事评论
华人世界
中国新闻
新闻视频
国际新闻
娱乐新闻
科技新闻
菲龙广场
房产网
菲龙速聘
二手交易
便民电话
美食餐厅
旅游签证
物流速运
商品买卖
二手车市场
严选
话费充值
便民电话
贺词页面
瀑布流页
汇率查询
APP下载
每日签到
我的任务
道具商店
每日签到
我的任务
道具商店
更改用户名
关于菲龙网
About US
联系菲龙网
活动回顾
加入我们
本版
用户
菲龙网
»
论坛
›
新闻频道
›
科技新闻
›
百川智能发布Baichuan-13B:参数量130亿
菲龙网编辑部7
有 744 人收听 TA
144430
主题
144447
回复
170449
积分
收听TA
发消息
加好友
本文来自
科技新闻
订阅
|
收藏
(
2953
)
菲龙网编辑部7发布过的帖子
0/45
现货白银大涨4%
0/53
出海商家的超级助攻,Antom为中国企业打通全球市场
0/43
北京交行携手睦邻开展消保教育宣传 践行金融为民初心
0/42
美元存款进入降息通道,5%利率高地逐渐消失
0/43
海南橡胶:受超强台风“摩羯”影响,共计收到预付保险赔款3.45亿元
0/41
付鹏、陆挺、高善文……最近的发言,把形势说透了
0/58
浙江省13家城商行半年成绩单:8家银行总资产两位数扩张,温州银行、绍兴银行、稠州银行净利润下滑
0/43
余宏辞任平安人寿总经理 董事长杨铮拟任临时负责人
0/37
平安银行高管继续调整 行助孙芳滔接任首席信息执行官
查看TA的全部帖子>>
百川智能发布Baichuan-13B:参数量130亿
时间:2023-7-12 10:40
0
554
|
复制链接
|
互动交流
显示全部楼层
阅读模式
直达楼层
马上注册,结交更多好友
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
7月11日,百川智能正式发布参数量130亿的通用大语言模型Baichuan-13B-Base、对话模型Baichuan-13B-Chat及其INT4/INT8两个量化版本。
这是百川智能发布的第二款通用大语言模型,而在前不久的6月15日,百川智能就已经推出了首款70亿参数量的中英文语言模型Baichuan-7B。
百川智能在发布预训练模型Baichuan-13B-Base的同时还发布了其对话模型Baichuan-13B-Chat,Baichuan-13B-Chat部署简单、开箱即用,极大降低了开发者的体验成本。
百川智能表示,相比此前发布的Baichuan-7B,Baichuan-13B在1.4万亿token数据集上训练,超过LLaMA-13B 40%,是当前开源13B尺寸下训练数据量最大的模型,
据百川智能介绍,Baichuan-13B上下文窗口长度为4096,不同于Baichuan-7B的RoPE编码方式,Baichuan-13B使用了ALiBi位置编码技术,能够处理长上下文窗口,甚至可以推断超出训练期间读取数据的上下文长度,从而能够更好的捕捉文本中上下文的相关性,做出更准确的预测或生成。
百川智能表示,Baichuan-13B是一款中英文双语大模型,采用了相对平衡的中英文语料配比和多语言对齐语料,在中英两种语言上表现均很优异.
Baichuan-13B-Base目前不仅对学术研究完全开放,所有开发者均可通过邮件向百川智能申请授权,在获得官方商用许可后即可免费商用;此外,为了降低模型的使用门槛,百川智能同时开源了Baichuan-13B-Chat的INT8和INT4两个量化版本,在近乎无损的情况下可以很方便的将模型部署在如3090等消费级显卡上。
百川智能创始人王小川表示,“Baichuan-13B是百川智能为科技强国送上的一份礼物,我们期待国内大模型行业以及垂直领域能够在此基础上开发出更多优秀产品及行业应用,让技术在真实、丰富的应用场景中快速迭代创新,我们愿与众多企业、开发者一道为国内开源社区的生态繁荣贡献自己的力量。”
延伸阅读
富士康也被宰了,价值1400亿的半导体合资企业不要了
理想汽车再公布周销量数据 小鹏高管质疑“在线打假”
爱奇艺TV版被曝在电视息屏状态时仍占用宽带流量!客服回应
回复
举报
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
点我进行验证
本版积分规则
发表回复
回帖后跳转到最后一页
关闭
站长推荐
/2
【点击免费下载】菲龙网移动APP客户端
【点击免费下载】菲龙网移动APP客户端,新闻/娱乐/生活资讯生活通,带你了解菲律宾多一点!
查看 »
这件事被多人提起,周六周日到底发生了什么?
第三届菲律宾华人线下招聘会精彩回顾
查看 »
快速回复
返回列表
返回顶部