视野AI今日(1月17日)消息,商汤科技与上海 AI 实验室联合香港中文大学和复旦大学今日发布了新一代大语言模型书生・浦语 2.0(InternLM2)。
据介绍,InternLM2 是在
2.6 万亿 token 的语料上训练得到的。沿袭第一代书生・浦语(InternLM)设定,InternLM2 包含 7B 及
20B 两种参数规格及基座、对话等版本,继续开源,提供免费商用授权。
目前,浦语背后的数据清洗过滤技术已经历三轮迭代升级,号称仅使用约 60% 的训练数据即可达到使用第二代数据训练 1T tokens 的性能表现。
与第一代InternLM相比,InternLM2在大规模高质量的验证语料上的Loss分布整体左移,表明其语言建模能力增强。
通过拓展训练窗口大小和位置编码改进,InternLM2支持20万tokens的上下文,能够一次性接受并处理约30万汉字(约五六百页的文档)的输入内容。
下面表格对比了InternLM2各版本与ChatGPT(GPT-3.5)以及GPT-4在典型评测集上的表现。可以看到,InternLM2在20B参数的中等规模上,整体表现接近ChatGPT。
猜您喜欢
-
ChatGPT Windows版客户端将于今年晚些时候发布 Mac版客户端现已推出
前沿科技Highlights: 昨天OpenAI发布了一款新的ChatGPT原生桌面App 该应用仅发布在MacOS上(Mac版目前已经向ChatGPT Plus用户推送),Windows版客户端应用将在今年晚些时候发布 即使微软向OpenAI投资了100多亿美元,Windows版应用···
-
传苹果接近与OpenAI达成协议 将ChatGPT技术引入到iPhone
前沿科技此前有报道称,有研究机构的分析师对苹果今年的iPhone 16系列升级持怀疑态度,虽然配备了更大的内存、装备更好的麦克风、以及升级神经引擎,以更好地满足运行生成式AI任务的要求,传闻iOS 18更新本身就会进一步整合AI技术,但是iPho···
-
传OpenAI最快下周一公布自家搜索引擎 ChatGPT驱动
前沿科技据路透社报道,OpenAI将在下周一公布自家搜索引擎,由人工智能ChatGPT驱动,对标世界第一搜索引擎谷歌。 据两位知情人士透露, OpenAI计划下周宣布其人工智能搜索产品,这将加剧其与搜索巨头谷歌的竞争。宣布日期可能是在下···
-
OpenAI澄清:下周不会发布搜索引擎
前沿科技当地时间5月10日,OpenAI澄清了将推出AI搜索引擎的传言。 OpenAI在社交平台上宣布,下周一将以直播形式宣布ChatGPT和GPT-4的更新。“不是GPT-5,不是搜索引擎,我们在努力开发一些认为人们会喜欢的东西。”OpenAI CEO奥尔特曼···
-
ChatGPT之父认为iPhone是最伟大的技术产品
前沿科技ChatGPT之父、OpenAI首席执行官山姆·奥特曼日前参加了播客节目“All-in Podcast”。 在访谈中奥特曼表示,iPhone是人类历史上制造出的最伟大的技术产品之一。 当被问及“语言模型在设备端的情况如何呢”时,奥特曼回答称对这···
-
阿里云发布通义千问2.5 全面赶超GPT-4 Turbo
前沿科技快科技5月9日消息,阿里云正式发布了通义千问2.5,模型性能全面赶超GPT-4 Turbo,声称地表最强中文大模型。 据了解,通义千问2.5最新开源的1100亿参数模型在多个基准测评中均取得了最佳成绩,成功超越了Meta的Llama-3-70B模···
-
OpenAI以泄密为由解雇两名研究人员 包括首席科学家盟友
前沿科技据可靠消息透露,人工智能初创公司OpenAI最近解雇了两名涉嫌泄密的研究人员,此事在业界引起了广泛关注。 据悉,这两名研究人员分别是利奥波德·阿申布伦纳(Leopold Aschenbrenner)和帕维尔·伊兹梅洛夫(Pavel Izmailov)。···
-
OpenAI高管:2024年是AI的“应用之年”
前沿科技美东时间周四,OpenAI的首席运营官Brad Lightcap预测,2024年是人工智能(AI)的“应用之年”,已经看到了这种巨大的趋势。 在当天接受媒体采访时,Lightcap透露,尽管面临越来越多同行竞争,但ChatGPT企业版需求正在急剧增长。···