( AI Lab 策略协作型 AI “绝悟”在与职业选手赛区联队的 5v5 竞技中获胜。这表明绝悟 AI 已经达到了《王者荣耀》电竞职业水平。

训练数据是来自互联网的 40GB 高质量语料,具体来说这些语料来自 Reddit 论坛中出现的高评分外链页面;高评分表示这些页面中的内容有较高的质量。这样筛选出的语料内容多达 800 万个页面。模型在无监督训练阶段的目标是,给定一组单词组成的句子之后预测下文的下一个词。

另外,版本相关的技术论文被顶级学术会议 AAAI 2020 接收。 

“不要挤,排好队……”春节临近,渝(重庆)怀(怀化)铁路郭公坪站比往日更加拥挤,短短的站台上挤满了挑着新鲜果蔬、活鱼、牛羊肉的沿线农民,他们准备搭乘怀化开往梅江的7272次列车去赶集,列车员一边引导一边帮忙把货物拽上火车。

如果坐汽车,沿线的农民大多要先坐农用车到镇上,再坐中巴车,辗转几小时才能到临近县、市的市场,很难赶上早集,往返车费也要几十元。

下午一点半,卖完货的农民又从铜仁站搭火车返回。鲁毅 摄

由于数据库有足够高的文本质量和足够高的多样性,模型也有很高的容量,即便这样简单的训练目标也得出了惊人的结果:模型不仅可以根据给定的文本流畅地续写句子,甚至可以形成成篇的文章,就像人类的续写文章一样。

然而这个NLP 除了做阅读理解、问答、生成文章摘要、翻译之外,还能用来干嘛?好奇心很强的网友便拿OpenAI 的 GPT-2 做了个实验。它除了能生成文本,竟然还能下象棋、做音乐!

短短的停站两分钟后,火车发动,原本已满载回乡旅客的列车瞬间爆满。过道上、车厢连接处,堆满了刚刚被拽上车的菜篓、果篮、鱼桶。湖南麻阳县文昌阁乡的农民张应贵杵着一根扁担,在箩筐缝里找了个下脚的地方岔开两脚站定,此次他准备到邻近的贵州铜仁市场售卖冰糖柑。

OpenAI 的 GPT-2在文本生成上有着惊艳的表现,其生成的文本在上下文连贯性和情感表达上都超过了人们对目前阶段语言模型的预期。

游戏中的难点,是 AI 要在不完全信息、高度复杂度的情况作出复杂快速的决策。在庞大且信息不完备的地图上,10位参与者要在策略规划、英雄选择、技能应用、路径探索及团队协作上面临大量、不间断、即时的选择,这带来了极为复杂的局面,预计有高达10的20000次方种操作可能性,而整个宇宙原子总数也只是10的80次方。

车厢过道被菜篮子、果篓子等占满。鲁毅 摄

AI 从0到1摸索成功经验,勤学苦练,既学会了如何站位、打野、辅助保护和躲避伤害等游戏常识。更惊喜的是,AI 也探索出了不同于人类常规做法的全新策略。

“绝悟”版本建立了基于“观察-行动-奖励”的深度强化学习模型,无需人类数据,从白板学习(Tabula Rasa)开始,让 AI 自己与自己对战,一天的训练强度高达人类 440 年。

这也是 2018 年中自然语言处理领域的研究趋势,就像计算机视觉领域流行 ImageNet 预训练模型一样。这次的 GPT-2 是 GPT 的直接技术升级版本,有多 10 倍的模型参数,多达 15 亿个,并在多 10 倍的数据上进行训练。

“绝悟”名字寓意绝佳领悟力,其技术研发始于2017年12月,并在2018年12月通过了顶尖业余水平测试(前职业选手与主播联队带来)。

仅仅经过一个小时的训练,GPT-2 1.5B 模型就表现出了国际象棋“天赋”。虽然在下了几步棋之后,就会出现无效移动,但这次实验还是证明了制造 GPT-2 国际象棋引擎并非不可能。

具体而言这种机器学习算法可以在很多任务上达到了业内最佳水平,还可以根据一小段话自动脑补出大段连贯的文本,如有需要,人们可以通过一些调整让计算机模拟不同的写作风格。

但变化早已在车窗外悄然上演。几年前还看得见的木头房子,渐渐变成了贴着闪亮外墙砖的楼房,有些房子前坪还停上了小货车或小汽车,各个小站旁也竖起了一栋又一栋楼房。向丽说:“如果许久不见哪位老乡来坐车,一打听,准是家中买了车。”

7272次列车,没有卧铺、餐车,连售卖饮料零食的小推车也没有,以平均时速约40公里的速度,穿行在湖南、贵州、重庆的交界地,是中国武陵山集中连片特困区为数不多的“慢火车”之一。全程178公里的这趟“慢火车”中间设13站,逢站就停,最低票价1元(人民币,下同)。铁路部门“开绿灯”,允许沿线乘客携带鲜活货物乘车,为山区居民串起一条致富路。

雷锋网原创文章,。详情见转载须知。

渝怀铁路沿线多为“老少边穷”地区,是苗族、侗族、土家族等少数民族聚居区,也是中国脱贫攻坚的重点区域。让山里的人和农特产品“走出去”,把外面的知识、技术、真金白银“引进来”,是当地祖祖辈辈的愿望,也正是各级政府努力的方向。

张应贵今年68岁,火车2006年开通后,在家种了一辈子地的他做起了“跨省生意”。“没有这趟火车,我这生意就做不成,地里的瓜果蔬菜就没法换成钱。”他说,只要不下雨,自己几乎每天早上8点都会从郭公坪站搭火车,40分钟后到铜仁,票价2元,在市场上卖完货,正好赶乘下午1点半的回程火车,跑一趟至少能挣一百多元。

2018 年 6 月,OpenAI 发表论文介绍了自己的语言模型 GPT,它基于 Transformer 架构,用先在大规模语料上进行无监督预训练、再在小得多的有监督数据集上为具体任务进行精细调节(fine-tune)的方式,不依赖针对单独任务的模型设计技巧就一次性在多个任务中取得了很好的表现。

贵州省松桃苗族自治县平会村村民杨胜记,正计划着再打拼两年,就回家乡开一家特色餐厅。这位有两个孩子的“80后”父亲,因贫困16岁就辍学外出打工,在上海闯荡了21年后已小有成就,如果不开车回家,7727次列车是他回乡的最后一段旅程。

果农、菜农排队上车。鲁毅 摄

“慢火车”不仅成为沿线农民脱贫致富的关键一环,还承载着外出务工青年返乡创业的梦想。

对他而言,火车带来的不仅仅是出行的便利,更联接着外界机遇。“火车把我带出了大山,让我有机会追赶快速发展的时代。”杨胜记说,相信随着交通越来越便利,更多山里的人走出去,越来越多城市游客走进来,也会给贫困山区带来更多机遇。(完)

模型生成文本有时会出现失败的现象,比如文字重复、错误的世界常识(比如有时候模型会写到在水下燃烧的火)、不自然地切换话题,但在成功的例子中,模型生成的文本有多样、全面的叙述,对事件的介绍煞有介事,接近人类的表达质量,而且在段落之间甚至全篇文章之中保持连续一致。

这趟“慢火车”开通后,因为票价便宜、停经各县乡小镇,成为沿线菜农、果农、居民、学生、务工人员还有铁路职工最便捷的交通工具。“十多年来,票价不变,停靠站点不变,天天坐车的农户也成了列车的老朋友。”在该趟列车值乘快十年的广铁集团列车员向丽说。

写作AI 跨界下象棋