gpt2基于什么神经网络

⑴ 全球十大数字创新技术出炉

点击蓝字

科技 创新世界潮。

全文共计2520字，预计阅读时间7分钟

来源 | 数据观综合（转载请注明来源）

编辑 | 蒲蒲

“

日前，联合国教科文组织2021年 Netexplo 创新论坛在网上举行。由技术领域全球知名大学组成的 Netexplo 大学网络历时一年，在全球范围内遴选出了10项极具突破性的数字创新技术，这些创新对 社会 具有深远而持久的影响。

”

阿根廷交易平台Abakus

受疫情影响，阿根廷经济遭受重创，也使该国农业部门的动荡加剧。鉴于此，阿根廷初创企业Abakus与瑞士区块链基础设施提供商CoreLedger推出了一个数字易货平台，旨在帮助农民克服金融波动带来的影响，打造数字易货经济。

Abakus系统基于一种以实物资产（例如大豆）为索引的加密货币，这种货币可能比本国不断波动的货币更稳定，而代币可以兑换成货物或比索。这两家公司表示，代币化农业资产将有助于农民对冲通货膨胀，并在国内和国际上获得流动性。

CoreLedger首席执行官Johannes Schweifer表示：“ 在一个饱受通货膨胀困扰的国家，获得有形资产的能力可能是这些农民生存与发展之间的区别。 ”

Abakus首席执行官Martin Furst表示：“ 由于国有公司的垄断地位，阿根廷的农民们难以生存，这些垄断者决定了农产品贸易的条件并大幅度削减了农产品。农业支持的代币解决了现金和股票储蓄计划固有的波动性和流动性问题。 ”

英国人工智能AlphaFold 2

在国际象棋和围棋领域取得巨大成功后，去年年底，人工智能再次大出风头。在国际蛋白质结构预测赛中，AlphaFold 2摘得桂冠，并破解了一个困扰人类50年的难题：预测蛋白质如何折叠。

据DeepMind官方宣布，该算法能够精确地基于氨基酸序列，预测蛋白质的3D结构，其准确性可以与使用冷冻电子显微镜（CryoEM）、核磁共振或X射线晶体学等实验技术解析的3D结构相媲美。

在过去50年中，“蛋白质折叠问题”一直是生物学界的重大挑战。此前，生物学家主要利用X射线晶体学或冷冻电镜等实验技术来破译蛋白质的三维结构，但这类方法耗时长、成本高。而AlphaFold 2不仅预测准确且效率高，有望促进医学领域不断取得进步。

美国图像生成系统Dall-E

美国人工智能非营利组织Open AI于今年1月份推出Dall—E，这是一个可以根据书面文字生成图像的人工智能系统。取名DALL-E，是为了向艺术家萨尔瓦多-达利（Salvador Dali ）和皮克斯的机器人WALL-E致敬。

DALL-E是OpenAI基于GPT-3开发的一种新型神经网络。它是GPT-3的一个小版本，使用了120亿个参数，而不是1750亿个参数。但它已经经过专门训练，可以从文本描述生成图像，使用的是文本-图像对的数据集，而不是像GPT-3这样非常广泛的数据集。它可以使用自然语言从文字说明中创建图像，就像GPT-3创建网站和故事一样。

德国文本AI模型GPT-Neo

OpenAI的GPT—3被认为是目前最好的人工智能文本生成器，其拥有1750亿个参数，现已被数万开发者用于300多个不同的应用程序，每天输出45亿词之多。

但它是收费的，这阻碍了更多开发人员的采用，也不利于文本AI的快速发展。有鉴于此，德国Eleuther人工智能公司于今年3月下旬推出开源的文本AI模型GPT—Neo，以弥补这方面的缺憾。研究人员称，GPT—Neo的推出将会催生出一大批崭新应用，也会以更为低廉的成本释放人们对人工智能未来的想象力。

本质上，GPT-Neo有点像是GPT系列的“高仿”项目：GPT-Neo中的各种模型，设计原理接近GPT系列，但代码并不一样。作者们打算尝试各种结构和注意力类型，最终扩展出GPT-3大小的大语言模型。为了实现这一目标，他们从复现GPT系列的模型开始，不断尝试各种模型架构、和各种注意力机制的实现方式。

中国量子计算机“九章”

“九章”是由中国科学技术大学潘建伟、陆朝阳等学者研制的76个光子的量子计算原型机。

实验显示，当求解5000万个样本的高斯玻色取样时，“九章”需200秒，而目前世界最快的超级计算机“富岳”需6亿年。等效来看，“九章”的计算速度比“悬铃木”快100亿倍，并弥补了“悬铃木”依赖样本数量的技术漏洞。

这一成果使得我国成功达到了量子计算研究的第一个里程碑：量子计算优越性（国外也称之为“量子霸权”），并牢固确立了我国在国际量子计算研究中的第一方阵地位，为未来实现可解决具有重大实用价值问题的规模化量子模拟机奠定了技术基础。

对于“九章”的突破，《科学》杂志审稿人评价该工作是“一个最先进的实验”（astate-of-the-artexperiment），“一个重大成就”（a major achievement）。

美国人工智能“神经破译”

“神经破译”是由MIT CSAIL和谷歌大脑的研究者携手开发的一款人工智能软件，基于语言进化原理，可以在不知道语言来源的情况下破译古代语言，并揭示某种语言和其他语言之间的关联。

研究者们利用同一语族内不同语言之间的联系，用该人工智能破译了两种失传的语言：乌加里特文和线性文字B，堪称现代版的“罗塞塔石碑”！（PS：罗塞塔石碑是一块用3种语言写了同一个内容的石碑，帮助语言学家们读懂古文字。）

乌加里特文（Ugaritic），是一种楔形文字，属于闪米特语族。从字面上来看，就知道它是一个叫做乌加里特（Ugarit）的文明使用的语言，这个文明位于当今地中海沿岸的叙利亚，在公元前6000年前后就初现踪迹，在公元前1190年前后灭亡。

线性文字B（Linear B），由一种人类还没有破译出来的线性文字A演化而来，主要存活于公元前1500年到公元前1200年的克里特岛和希腊南部，是希腊语的一种古代书写形式。

未来，在这项研究起作用的情况下，或许可以像借助罗曼语族三种语言的数据库一样，直接用机器借助其他已知的人类语言，实现暴力破解。

印度区块链应用程序Smashboard

Smashboard网站称自己是一个“另类的社交媒体网络，为性侵受害者提供独特的功能，目的是通过减少报案带来的心理创伤，让他们的生活更轻松”。

借助区块链技术，Smashboard允许用户创建他们所遭受犯罪的私人和加密账本，并将其安全地存储在网上。例如，Smashboard为用户提供了收集材料的选项，“这些材料可作为日记，也可作为加密个人空间中的时间戳证据”。更重要的是，该应用程序允许性虐待受害者找到法律顾问或律师，并与他们私下互动。受害者还可以与女权主义新闻工作者建立联系，甚至可以给他们匿名举报。

目前，Smashboard的另一个障碍是应用的覆盖范围。该应用程序目前只能使用三种语言-英语，法语和西班牙语。这意味着该应用无法覆盖使用印度当地语言的性虐待受害者。

澳大利亚人工智能“蠕虫大脑驱动器”

研究人员从蠕虫微小的大脑中获得灵感，开发出一种能够控制自动驾驶 汽车 的人工智能系统“蠕虫大脑驱动器”。与大多数网络中使用数百万个神经元相比，该系统只需要几个神经元。

该系统只用了控制电路中的19个神经元和7.5万个参数，就成功控制了一辆 汽车 。研究小组相信他们的新方法可减少训练时间，并使人工智能在相对简单的系统中实现成为可能。

⑵ 猴毛分身柏林工业大学研究团队用一个神经元构建神经网络

《西游记》中，齐天大圣孙悟空有一个经典技能——“猴毛分身”，即一把猴毛能变出一大群小猴子。

近日，柏林工业大学官网介绍了其研究团队用一个神经元构建神经“网络”，即一个神经元扮演所有虚拟神经元的角色。

他们称之为“分布在时间而不是空间上”的一类全新的神经网络。研究人员在计算机上模拟了数千个神经细胞的神经网络，只有一个神经元被编程到软件代码中。神经元被激活并延迟读取，于是可以在几分之一秒内扮演所有虚拟神经元的角色。

他们期望用这个方法解决目前人工智能发展过程中面对的两个硬件挑战——芯片的算力限制与超级计算机的电力消耗。

人类大脑有约860亿个神经元，这些神经元通过突触连接，并通过电和化学信号传输在一个庞大的网络中相互通信。人工神经网络的核心就是通过在各个神经元之间建立不同程度的连接来模拟人脑。

在传统的人工神经网络中，可以对每个神经元进行加权以微调结果。通常是更多的神经元产生更多的参数，而更多的参数产生更好的结果。以GPT-3为例，GPT-3有1750亿个参数，是其前身GPT-2的100倍。

但代价之一就是大量的能量消耗。Carbontracker估计，训练GPT-3一次所需的电量与丹麦126户家庭每年使用的电量相同。

据《The Register》报道，在微软数据中心使用英伟达GPU训练神经超级网络大约需要19万千瓦时。按美国的平均碳强度计算，这将产生8.5万公斤的当量，与一辆新车在欧洲行驶70万公里产生的量相同，大约是地球和月球之间距离的两倍。

柏林工业大学的研究团队希望构建一个使用单个神经元的神经网络来挑战神经网络越大越好的想法。研究题为《使用单个神经元的深度神经网络：使用反馈调制延迟环的时间折叠架构》（Deep neural networks using a single neuron: folded-in-time architecture using feedback-molated delay loops）登上《Nature》子刊《Communication》。

“我们设计了一种多层前馈DNN完全及时折叠的方法。这种Fit-DNN（时间折叠深度神经网络）方法只需要一个带有反馈调制延迟环的神经元。通过非线性操作的时间序列化，可以实现任意深度或宽度的DNN。”论文中写道。

研究团队发现，他们可以通过随着时间的推移对相同的神经元进行不同的加权，而不是在空间上散布不同加权的神经元，从而实现类似的功能。这类似于单个客人通过迅速切换座位并说出每个部分来模拟大型餐桌上的对话。

这个“迅速”是接近光速的间隔。该团队表示，他们的系统理论上可以通过激光在神经元中激发基于时间的反馈回路来达到接近宇宙极限的速度——以光速或接近光速的神经网络。

“我们现在已经用计算机证明了这在原则上是可行的。基于激光的电路特别适合在硬件中实现，因为它们的速度非常快，时间延迟特别短，”该研究的主要作者Florian Stelzer解释说。

那么真正关键的问题是，停留在时间循环中的单个神经元是否可以产生与数十亿神经元相同的结果。

在初步测试中，研究人员使用新系统执行计算机视觉功能。它能够从服装图片中去除手动添加的噪点，以生成准确的图像。

随着进一步的发展，科学家们相信该系统可以扩展，以从时间暂停的神经元中创建“无限数量”的神经元连接。柏林工业大学应用动力系统研究领域负责人Serhiy Yanchuk解释道，如果两个神经元的直接相邻时间延迟进一步缩短，理论上可以创建无限数量的神经元，“这是时间折叠网络的一项全新功能，它实现了从网络中离散的单个节点到某种连续体的过渡。”

校对：施鋆

⑶ NLP基础知识和综述

一种流行的自然语言处理库、自带语料库、具有分类，分词等很多功能，国外使用者居多，类似中文的jieba处理库

为单词序列分配概率的模型就叫做语言模型。

通俗来说， 语言模型就是这样一个模型：对于任意的词序列，它能够计算出这个序列是一句话的概率。或者说语言模型能预测单词序列的下一个词是什么。

** n-gram Language Models **

N-gram模型是一种典型的统计语言模型（Language Model，LM），统计语言模型是一个基于概率的判别模型.统计语言模型把语言（词的序列）看作一个随机事件，并赋予相应的概率来描述其属于某种语言集合的可能性。给定一个词汇集合 V，对于一个由 V 中的词构成的序列S = ⟨w1, · · · , wT ⟩ ∈ Vn，统计语言模型赋予这个序列一个概率P(S)，来衡量S 符合自然语言的语法和语义规则的置信度。用一句简单的话说，统计语言模型就是计算一个句子的概率大小的这种模型。

n-gram模型可以减轻单词序列没有在训练集中出现过而引起的问题，即数据稀疏问题

n-gram模型问题
对于n-gram模型的问题，这两页ppt说的很明白

N-gram模型基于这样一种假设，当前词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计N个词同时出现的次数得到。常用的是二元的Bi-Gram(N=2)和三元的Tri-Gram(N=3).Bi-Gram所满足的假设是马尔科夫假设。

一般常用的N-Gram模型是Bi-Gram和Tri-Gram。分别用公式表示如下：

Bi-Gram:P(T)=p(w1|begin) p(w2|w1) p(w3|w2)***p(wn|wn-1)

Tri-Gram:P(T)=p(w1|begin1,begin2) p(w2|w1,begin1) p(w3|w2w1)***p(wn|wn-1,wn-2)

注意上面概率的计算方法：P(w1|begin)=以w1为开头的所有句子/句子总数；p(w2|w1)=w1,w2同时出现的次数/w1出现的次数。以此类推。

对于其中每项的计算举个例子：

由上可见Bi-Gram计算公式中的begin一般都是加个<s>标签。

N-gram存在的问题：

举一个小数量的例子进行辅助说明：假设我们有一个语料库（注意语料库），如下：

老鼠真讨厌，老鼠真丑，你爱老婆，我讨厌老鼠。

想要预测“我爱老”这一句话的下一个字。我们分别通过 bigram 和 trigram 进行预测。

1）通过 bigram，便是要对 P(w|老)进行计算，经统计，“老鼠”出现了3次，“老婆”出现了1次，通过最大似然估计可以求得P（鼠|老）=0.75，P（婆|老）=0.25， 因此我们通过 bigram 预测出的整句话为: 我爱老鼠。

2）通过 trigram，便是要对便是要对 P(w|爱老)进行计算，经统计，仅“爱老婆”出现了1次，通过最大似然估计可以求得 P（婆|爱 老）=1，因此我们通过trigram 预测出的整句话为: 我爱老婆。显然这种方式预测出的结果更加合理。

问题一：随着 n 的提升，我们拥有了更多的前置信息量，可以更加准确地预测下一个词。但这也带来了一个问题，当N过大时很容易出现这样的状况：某些n-gram从未出现过， 导致很多预测概率结果为0， 这就是稀疏问题。 实际使用中往往仅使用 bigram 或 trigram 。（这个问题可以通过平滑来缓解参考： https://mp.weixin.qq.com/s/NvwB9H71JUivFyL_Or_ENA ）

问题二：同时由于上个稀疏问题还导致N-gram无法获得上下文的长时依赖。

问题三：n-gram 基于频次进行统计，没有足够的泛化能力。

n-gram总结：统计语言模型就是计算一个句子的概率值大小，整句的概率就是各个词出现概率的乘积，概率值越大表明该句子越合理。N-gram是典型的统计语言模型，它做出了一种假设，当前词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。它其中存在很多问题，再求每一个词出现的概率时，随着N的提升，能够拥有更多的前置信息量，可以使得当前词的预测更加准确，但是当N过大时会出现稀疏问题，导致很多词的概率值为0，为解决这一问题，因此常用的为bigram 或 trigram，这就导致N-gram无法获得上文的长时依赖。另一方面N-gram 只是基于频次进行统计，没有足够的泛化能力。

神经网络语言模型

2003年 Bengio 提出，神经网络语言模型( neural network language model, NNLM)的思想是提出词向量的概念，代替 ngram 使用离散变量(高维)，采用连续变量(具有一定维度的实数向量)来进行单词的分布式表示，解决了维度爆炸的问题，同时通过词向量可获取词之间的相似性。

结合下图可知它所建立的语言模型的任务是根据窗口大小内的上文来预测下一个词，因此从另一个角度看它就是一个使用神经网络编码的n-gram模型。

它是一个最简单的神经网络，仅由四层构成，输入层、嵌入层、隐藏层、输出层。（从另一个角度看它就是一个使用神经网络编码的n-gram模型）

输入是单词序列的index序列，例如单词‘这’在字典（大小为∣V∣）中的index是10，单词‘是’的 index 是23，‘测’的 index 是65，则句子“这是测试”通过‘这是测’预测‘试’，窗口大小内上文词的index序列就是 10, 23, 65。嵌入层（Embedding）是一个大小为∣V∣×K的矩阵（注意：K的大小是自己设定的，这个矩阵相当于随机初始化的词向量，会在bp中进行更新，神经网络训练完成之后这一部分就是词向量），从中取出第10、23、65行向量拼成3×K的矩阵就是Embedding层的输出了。隐层接受拼接后的Embedding层输出作为输入，以tanh为激活函数，最后送入带softmax的输出层，输出概率,优化的目标是使得待预测词其所对应的softmax值最大。

缺点：因为这是通过前馈神经网络来训练语言模型，缺点显而易见就是其中的参数过多计算量较大，同时softmax那部分计算量也过大。另一方面NNLM直观上看就是使用神经网络编码的 n-gram 模型，也无法解决长期依赖的问题。

RNNLM

它是通过RNN及其变种网络来训练语言模型，任务是通过上文来预测下一个词，它相比于NNLM的优势在于所使用的为RNN，RNN在处理序列数据方面具有天然优势， RNN 网络打破了上下文窗口的限制，使用隐藏层的状态概括历史全部语境信息，对比 NNLM 可以捕获更长的依赖，在实验中取得了更好的效果。RNNLM 超参数少，通用性更强；但由于 RNN 存在梯度弥散问题，使得其很难捕获更长距离的依赖信息。

Word2vec中的CBOW 以及skip-gram，其中CBOW是通过窗口大小内的上下文预测中心词，而skip-gram恰恰相反，是通过输入的中心词预测窗口大小内的上下文。

Glove 是属于统计语言模型，通过统计学知识来训练词向量

ELMO 通过使用多层双向的LSTM（一般都是使用两层）来训练语言模型，任务是利用上下文来预测当前词，上文信息通过正向的LSTM获得，下文信息通过反向的LSTM获得，这种双向是一种弱双向性，因此获得的不是真正的上下文信息。

GPT是通过Transformer来训练语言模型，它所训练的语言模型是单向的，通过上文来预测下一个单词

BERT通过Transformer来训练MLM这种真正意义上的双向的语言模型，它所训练的语言模型是根据上下文来预测当前词。

以上部分的详细介绍在NLP之预训练篇中有讲到

语言模型的评判指标

具体参考： https://blog.csdn.net/index20001/article/details/78884646

Perplexity可以认为是average branch factor（平均分支系数），即预测下一个词时可以有多少种选择。别人在作报告时说模型的PPL下降到90，可以直观地理解为，在模型生成一句话时下一个词有90个合理选择，可选词数越少，我们大致认为模型越准确。这样也能解释，为什么PPL越小，模型越好。
一般用困惑度Perplexity（PPL）衡量语言模型的好坏，困惑度越小则模型生成一句话时下一个词的可选择性越少，句子越确定则语言模型越好。

简单介绍
Word2vec是一种有效创建词嵌入的方法，它自2013年以来就一直存在。但除了作为词嵌入的方法之外，它的一些概念已经被证明可以有效地创建推荐引擎和理解时序数据。在商业的、非语言的任务中。

背景
由于任何两个不同词的one-hot向量的余弦相似度都为0，多个不同词之间的相似度难以通过onehot向量准确地体现出来。
word2vec⼯具的提出正是为了解决上⾯这个问题。它将每个词表⽰成⼀个定⻓的向量，并使得这些向量能较好地表达不同词之间的相似和类⽐关系。

word2vec模型
word2vec⼯具包含了两个模型，即跳字模型（skip-gram）和连续词袋模型（continuous bag of words，CBOW）。word2vec的input/output都是将单词作为one-hot向量来表示，我们可以把word2vec认为是词的无监督学习的降维过程。

MaxEnt 模型（最大熵模型）： 可以使用任意的复杂相关特征，在性能上最大熵分类器超过了 Byaes 分类器。但是，作为一种分类器模型，这两种方法有一个共同的缺点：每个词都是单独进行分类的，标记（隐状态）之间的关系无法得到充分利用，具有马尔可夫链的 HMM 模型可以建立标记之间的马尔可夫关联性，这是最大熵模型所没有的。

最大熵模型的优点：首先，最大熵统计模型获得的是所有满足约束条件的模型中信息熵极大的模型；其次，最大熵统计模型可以灵活地设置约束条件，通过约束条件的多少可以调节模型对未知数据的适应度和对已知数据的拟合程度；再次，它还能自然地解决统计模型中参数平滑的问题。

最大熵模型的不足：首先，最大熵统计模型中二值化特征只是记录特征的出现是否，而文本分类需要知道特征的强度，因此，它在分类方法中不是最优的;其次，由于算法收敛的速度较慢，所以导致最大熵统计模型它的计算代价较大，时空开销大;再次，数据稀疏问题比较严重。

CRF(conditional random field) 模型（条件随机场模型）：首先，CRF 在给定了观察序列的情况下，对整个的序列的联合概率有一个统一的指数模型。一个比较吸引人的特性是其为一个凸优化问题。其次，条件随机场模型相比改进的隐马尔可夫模型可以更好更多的利用待识别文本中所提供的上下文信息以得更好的实验结果。并且有测试结果表明：在采用相同特征集合的条件下，条件随机域模型较其他概率模型有更好的性能表现。

CRF 可以用于构造在给定一组输入随机变量的条件下,另一组输出随机变量的条件概率分布模型。经常被用于序列标注，其中包括词性标注，分词，命名实体识别等领域。

建一个条件随机场，我们首先要定义一个特征函数集，每个特征函数都以整个句子s，当前位置i，位置i和i-1的标签为输入。然后为每一个特征函数赋予一个权重，然后针对每一个标注序列l，对所有的特征函数加权求和，必要的话，可以把求和的值转化为一个概率值。

CRF 具有很强的推理能力，并且能够使用复杂、有重叠性和非独立的特征进行训练和推理，能够充分地利用上下文信息作为特征，还可以任意地添加其他外部特征，使得模型能够 获取的信息非常丰富。

CRF 模型的不足：首先，通过对基于 CRF 的结合多种特征的方法识别英语命名实体的分析，发现在使用 CRF 方法的过程中，特征的选择和优化是影响结果的关键因素，特征选择问题的好与坏，直接决定了系统性能的高低。其次，训练模型的时间比 MaxEnt 更长，且获得的模型很大，在一般的 PC 机上无法运行。

潜在语义分析(Latent Semantic Analysis，LSA)模型
在潜在语义分析(LSA)模型首先给出了这样一个 ‘‘分布式假设” :一个 单词的属性是由它所处的环境刻画的。这也就意味着如果两个单词在含义上比较接近，那么它们也会出现在相似的文本中，也就是说具有相似的上下文。
LSA模型在构建好了单词-文档矩阵之后，出于以下几种可能的原因，我们会使用奇异值分解(Singular Value Decomposition，SVD) 的方法来寻找该矩阵的一个低阶近似。

概率潜在语义分析(Probability Latent Semantic Analysis ，PLSA)模型
概率潜在语义分析(PLSA)模型其实是为了克服潜在语义分析(LSA)模型存在的一些缺点而被提出的。LSA 的一个根本问题在于，尽管我们可以把 U k 和 V k 的每一列都看成是一个话题，但是由于每一列的值都可以看成是几乎没有限制的实数值，因此我们无法去进一步解释这些值到底是什么意思，也更无法从概率的角度来理解这个模型。
PLSA模型则通过一个生成模型来为LSA赋予了概率意义上的解释。该模型假设，每一篇文档都包含一系列可能的潜在话题，文档中的每一个单词都不是凭空产生的，而是在这些潜在的话题的指引下通过一定的概率生成的。

在 PLSA 模型里面，话题其实是一种单词上的概率分布，每一个话题都代表着一个不同的单词上的概率分布，而每个文档又可以看成是话题上的概率分布。每篇文档就是通过这样一个两层的概率分布生成的，这也正是PLSA 提出的生成模型的核心思想。

PLSA 通过下面这个式子对d和 w 的联合分布进行了建模:

该模型中的 *z * 的数量是需要事先给定的一个超参数。需要注意的是，上面这 个式子里面给出了 P (w, d ) 的两种表达方式，在前一个式子里， *d * 和 w 都是在给定 *z * 的前提下通过条件概率生成出来的，它们的生成方式是相似的，因此是 ‘‘对称’’ 的;在后一个式子里，首先给定 d ，然后根据 P ( z | d ) 生成可能的话题 z ，然后再根据 P (w| z ) 生成可能的单词 w，由于在这个式子里面单词和文档的生成并不相似， 所以是 ‘‘非对称’’ 的。

上图给出了 PLSA 模型中非对称形式的 Plate Notation表示法。其中d表示 一篇文档，z 表示由文档生成的一个话题，w 表示由话题生成的一个单词。 在这个模型中， d和w 是已经观测到的变量，而z是未知的变量(代表潜在的话题)。

容易发现，对于一个新的文档而言，我们无法得知它对应的 P ( d ) 究竟是什么， 因此尽管 PLSA 模型在给定的文档上是一个生成模型，它却无法生成新的未知的文档。该模型的另外的一个问题在于，随着文档数量的增加， P ( z | d ) 的参数也会随着线性增加，这就导致无论有多少训练数据，都容易导致模型的过拟合问题。这两点成为了限制 PLSA 模型被更加广泛使用的两大缺陷。

潜在狄利克雷分配(Latent Dirichlet Analysis ， LDA)模型

为了解决 PLSA 模型中出现的过拟合问题，潜在狄利克雷分配(LDA)模型被 Blei 等人提出，这个模型也成为了主题模型这个研究领域内应用最为广泛的模 型。LDA就是在PLSA的基础上加层贝叶斯框架，即LDA就是PLSA的贝叶斯版本（正因为LDA被贝叶斯化了，所以才需要考虑历史先验知识，才加的两个先验参数）。

从上一节我们可以看到，在 PLSA 这个模型里，对于一个未知的新文档 d ，我们对于 P ( d ) 一无所知，而这个其实是不符合人的经验的。或者说，它没有去使用本来可以用到的信息，而这部分信息就是 LDA 中所谓的先验信息。

具体来说，在 LDA 中，首先每一个文档都被看成跟有限个给定话题中的每一个存在着或多或少的关联性，而这种关联性则是用话题上的概率分布来刻画的， 这一点与 PLSA 其实是一致的。

但是在 LDA 模型中，每个文档关于话题的概率分布都被赋予了一个先验分布，这个先验一般是用稀疏形式的狄利克雷分布表示的。 这种稀疏形式的狄利克雷先验可以看成是编码了人类的这样一种先验知识:一般而言，一篇文章的主题更有可能是集中于少数几个话题上，而很少说在单独一篇文章内同时在很多话题上都有所涉猎并且没有明显的重点。

此外，LDA 模型还对一个话题在所有单词上的概率分布也赋予了一个稀疏形式的狄利克雷先验，它的直观解释也是类似的:在一个单独的话题中，多数情况是少部分(跟这个话题高度相关的)词出现的频率会很高，而其他的词出现的频率则明显较低。这样两种先验使得 LDA 模型能够比 PLSA 更好地刻画文档-话题-单词这三者的关系。

事实上，从 PLSA 的结果上来看，它实际上相当于把 LDA 模型中的先验分布转变为均匀分布，然后对所要求的参数求最大后验估计(在先验是均匀分布的前提下，这也等价于求参数的最大似然估计) ，而这也正反映出了一个较为合理的先验对于建模是非常重要的。

分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。
现有的分词算法可分为三大类：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。
按照是否与词性标注过程相结合，又可以分为单纯分词方法和分词与标注相结合的一体化方法。

中文分词根据实现原理和特点，主要分为以下2个类别：

（1）基于词典分词算法
也称字符串匹配分词算法。该算法是按照一定的策略将待匹配的字符串和一个已建立好的“充分大的”词典中的词进行匹配，若找到某个词条，则说明匹配成功，识别了该词。常见的基于词典的分词算法分为以下几种：正向最大匹配法、逆向最大匹配法和双向匹配分词法等。
基于词典的分词算法是应用最广泛、分词速度最快的。很长一段时间内研究者都在对基于字符串匹配方法进行优化，比如最大长度设定、字符串存储和查找方式以及对于词表的组织结构，比如采用TRIE索引树、哈希索引等。

（2）基于统计的机器学习算法
这类目前常用的是算法是HMM、CRF（条件随机场）、SVM、深度学习等算法，比如stanford、Hanlp分词工具是基于CRF算法。以CRF为例，基本思路是对汉字进行标注训练，不仅考虑了词语出现的频率，还考虑上下文，具备较好的学习能力，因此其对歧义词和未登录词的识别都具有良好的效果。

常见的分词器都是使用机器学习算法和词典相结合，一方面能够提高分词准确率，另一方面能够改善领域适应性。

随着深度学习的兴起，也出现了 基于神经网络的分词器 ，例如有人员尝试使用双向LSTM+CRF实现分词器， 其本质上是序列标注 ，所以有通用性，命名实体识别等都可以使用该模型，据报道其分词器字符准确率可高达97.5%。算法框架的思路与论文《Neural Architectures for Named Entity Recognition》类似，利用该框架可以实现中文分词，如下图所示：

首先对语料进行字符嵌入，将得到的特征输入给双向LSTM，然后加一个CRF就得到标注结果。

目前中文分词难点主要有三个：
1、分词标准 ：比如人名，在哈工大的标准中姓和名是分开的，但在Hanlp中是合在一起的。这需要根据不同的需求制定不同的分词标准。

2、歧义 ：对同一个待切分字符串存在多个分词结果。
歧义又分为组合型歧义、交集型歧义和真歧义三种类型。

一般在搜索引擎中，构建索引时和查询时会使用不同的分词算法。常用的方案是，在索引的时候使用细粒度的分词以保证召回，在查询的时候使用粗粒度的分词以保证精度。

3、新词 ：也称未被词典收录的词，该问题的解决依赖于人们对分词技术和汉语语言结构的进一步认识。

典型的文本分类过程可以分为三个步骤：
1. 文本表示（Text Representation）
这一过程的目的是把文本表示成分类器能够处理的形式。最常用的方法是向量空间模型，即把文本集表示成词－文档矩阵，矩阵中每个元素代表了一个词在相应文档中的权重。选取哪些词来代表一个文本，这个过程称为特征选择。常见的特征选择方法有文档频率、信息增益、互信息、期望交叉熵等等。为了降低分类过程中的计算量，常常还需要进行降维处理，比如LSI。
2. 分类器构建（Classifier Construction）
这一步骤的目的是选择或设计构建分类器的方法。不同的方法有各自的优缺点和适用条件，要根据问题的特点来选择一个分类器。我们会在后面专门讲述常用的方法。选定方法之后，在训练集上为每个类别构建分类器，然后把分类器应用于测试集上，得到分类结果。
3. 效果评估（Classifier Evaluation）
在分类过程完成之后，需要对分类效果进行评估。评估过程应用于测试集（而不是训练集）上的文本分类结果，常用的评估标准由IR领域继承而来，包括查全率、查准率、F1值等等。

1. Rocchio方法
每一类确定一个中心点（centroid），计算待分类的文档与各类代表元间的距离，并作为判定是否属于该类的判据。Rocchio方法的特点是容易实现，效率高。缺点是受文本集分布的影响，比如计算出的中心点可能落在相应的类别之外。

2. 朴素贝叶斯（naïve bayes）方法
将概率论模型应用于文档自动分类，是一种简单有效的分类方法。使用贝叶斯公式，通过先验概率和类别的条件概率来估计文档对某一类别的后验概率，以此实现对此文档所属类别的判断。

3. K近邻(K-Nearest Neightbers, KNN)方法
从训练集中找出与待分类文档最近的k个邻居（文档），根据这k个邻居的类别来决定待分类文档的类别。KNN方法的优点是不需要特征选取和训练，很容易处理类别数目多的情况，缺点之一是空间复杂度高。KNN方法得到的分类器是非线性分类器。

4. 支持向量机（SVM）方法
对于某个类别，找出一个分类面，使得这个类别的正例和反例落在这个分类面的两侧，而且这个分类面满足：到最近的正例和反例的距离相等，而且是所有分类面中与正例（或反例）距离最大的一个分类面。SVM方法的优点是使用很少的训练集，计算量小；缺点是太依赖于分类面附近的正例和反例的位置，具有较大的偏执。

文本聚类过程可以分为3个步骤：
1. 文本表示（Text Representation）
把文档表示成聚类算法可以处理的形式。所采用的技术请参见文本分类部分。
2. 聚类算法选择或设计（Clustering Algorithms）
算法的选择，往往伴随着相似度计算方法的选择。在文本挖掘中，最常用的相似度计算方法是余弦相似度。聚类算法有很多种，但是没有一个通用的算法可以解决所有的聚类问题。因此，需要认真研究要解决的问题的特点，以选择合适的算法。后面会有对各种文本聚类算法的介绍。
3. 聚类评估（Clustering Evaluation）
选择人工已经分好类或者做好标记的文档集合作为测试集合，聚类结束后，将聚类结果与已有的人工分类结果进行比较。常用评测指标也是查全率、查准率及F1值。

1．层次聚类方法
层次聚类可以分为两种：凝聚（agglomerative）层次聚类和划分（divisive）层次聚类。凝聚方法把每个文本作为一个初始簇，经过不断的合并过程，最后成为一个簇。划分方法的过程正好与之相反。层次聚类可以得到层次化的聚类结果，但是计算复杂度比较高，不能处理大量的文档。

2．划分方法
k-means算法是最常见的划分方法。给定簇的个数k，选定k个文本分别作为k个初始簇，将其他的文本加入最近的簇中，并更新簇的中心点，然后再根据新的中心点对文本重新划分；当簇不再变化时或经过一定次数的迭代之后，算法停止。k-means算法复杂度低，而且容易实现，但是对例外和噪声文本比较敏感。另外一个问题是，没有一个好的办法确定k的取值。

3．基于密度的方法
为了发现任意形状的聚类结果，提出了基于密度的方法。这类方法将簇看作是数据空间中被低密度区域分割开的高密度区域。常见的基于密度的方法有DBSCAN, OPTICS, DENCLUE等等。

4．神经网络方法
神经网络方法将每个簇描述为一个标本，标本作为聚类的"原型"，不一定对应一个特定的数据,根据某些距离度量，新的对象被分配到与其最相似的簇中。比较着名的神经网络聚类算法有:竞争学习（competitive learing）和自组织特征映射（self-organizing map）[Kohonen, 1990]。神经网络的聚类方法需要较长的处理时间和复杂的数据复杂性，所以不适用于大型数据的聚类。

⑷ GPT的auto-regressive语言模型架构在信息表示方面有什么架构上的缺陷具体如何改进

1） GPT

在Bert 之后，OpenAI 的 GPT-2 就是其中之一。它在文本生成上有着惊艳的表现，其生成的文本在上下文连贯性和情感表达上都超过了人们对目前阶段语言模型的预期。仅从模型架构而言，GPT-2 并没有特别新颖的架构，它和 transformer 的 Decoder 类似。相比较于GPT-1，GPT -2 使用了更大的预料，更大和更深的模型。

从transformer的decoder里移除了decoder对encoder的attention部分。也就是消除掉了seq2seq的过程。

GPT是一个语言模型，每一个时刻只能看见当前时刻前面时刻的信息，是一个auto regressive的过程。

GPT2，hidden state的大小有变化，根据层数的多少有small，mem，large，extra large的划分。

GPT的训练过程是交叉式的预测下一个单词，测试的时候是输入一个句子生成另外一个句子。

GPT的预训练就是训练一个语言模型。而bert的预训练是masked language model和nsp的任务。

GPT由多个decocer block组成，每一个decoder block由masked self-attention和feed forward neural network组成。

一个timestamp的hidden state经过线性层转换为vocab size大小的embedding， 然后经过softmax，算出每个词汇的概率，找出其中概率最大的词作为预测输出，然后下一个时刻的词作为真实输出，计算两者的cross entropy来训练模型。

每一个timestamp后面的位置都mask掉，设置一个负无群大的值，做softmax的时候，该位置的值就为0。

2）总结

• transformer decoder的构造

• 预训练的时候做语言模型的训练

• GPT2用更多更深的block

• BERT是做NLU，generation做不了

• GPT天生就是语言模型，非常适合做generation的任务，在bert里能做的在gpt里也可以做

除了GPT-2 ，GPT-3依旧延续自己的单向语言模型训练方式，只不过把模型尺寸增大到了1750亿，并且使用45TB数据进行训练

⑸ GRT-2模型是什么

GPT-2 language model 是一种人工智能范畴里，机器学习语言能力的模型。
GPT-2模型在文本生成上有着出出色的表现，其生成的文本在上下文连贯性和情感表达上都超过了人们对目前阶段语言模型的预期。仅从模型架构而言，GPT-2 并没有特别新颖的架构，它和只带有解码器的 transformer 模型很像。本质上，它是一个在海量数据集上训练的基于 transformer 的巨大模型。

⑹ AI人工智能正在改变计算的整个本质

机器学习，特别是深度学习，迫使重新评估芯片和系统的设计方式，这将改变未来几十年的行业方向。
从芯片到软件再到系统，计算领域将在未来几年内因机器学习的普及而发生巨大变化。我们可能仍然将这些计算机称为“通用图灵机”，正如我们已有八十年或更长时间。但在实践中，它们将与迄今为止构建和使用的方式不同。
任何关心计算机工作的人以及对所有形式的机器学习感兴趣的人都会感兴趣。
今年2月，Facebook负责人工智能研究的负责人Yann LeCun在旧金山举行的国际固态电路会议上发表了演讲，该会议是世界上运行时间最长的计算机芯片会议之一。在ISSCC，LeCun明确了计算机技术对人工智能研究的重要性。 LeCun说：“硬件功能和软件工具既激励又限制了AI研究人员想象并将允许自己追求的想法类型，我们所掌握的工具比我们承认的更能影响我们的想法”。
不难看出情况是怎样的。从2006年开始，深度学习的兴起不仅是因为大量数据和机器学习中的新技术，例如“辍学”，而且还因为计算能力越来越强。特别是，越来越多地使用来自Nvidia的图形处理单元或“GPU”，导致计算的更大并行化。这使得对比以往更大的网络的培训成为可能。20世纪80年代提出的“并行分布式处理”的前提，即人工网络的节点同时被训练，最终成为现实。
一些人认为，机器学习现在有望接管世界上大部分的计算活动。在2月份的ISSCC期间，LeCun 向ZDNet讲述了计算方向的变化。LeCun说：“如果你走了五年，未来十年，你会看到计算机花费时间做些什么，大多数情况下，我认为他们会做一些像深度学习这样的事情 - 就计算量而言”。他还指出，深度学习可能无法通过收入占据计算机销售的大部分，但是，“就我们如何每秒花费我们的毫瓦或我们的运营而言，他们将花在神经网络上。

深度学习成倍增长
随着深度学习成为计算的焦点，它正在推动当今计算机能够做到的界限，在某种程度上推动神经网络进行预测的“推理任务”，但对于训练神经网络更是如此，计算密集型功能。

注：据OpenAI称，自2012年以来，深度学习网络对计算的需求每3.5个月翻一番。
诸如OpenAI的GPT-2之类的现代神经网络需要并行训练超过十亿个参数或网络权重。作为Facebook的热门机器学习培训库PyTorch的产品经理，5月份告诉ZDNet，“模型越来越大，它们真的非常大，而且培训成本非常高。” 如今最大的模型通常不能完全存储在GPU附带的存储器电路中。

此外：谷歌表示人工智能的“指数”增长正在改变计算的本质
计算周期的需求速度越来越快。根据OpenAI提供的数据，早在2012年创建的令人尊敬的AlexNet图像识别系统在总培训时间内耗费了相当于每秒1000万次浮点运算的“千万亿次浮点运算”，总时间达到一天。但AlphaZero是由谷歌的DeepMind在2016年建立的神经网络，它击败了世界上的国际象棋冠军，并且每秒消耗超过一千天的千万亿次飞越。AlexNet和AlphaZero之间计算周期的增加使得每3.5个月的计算消耗量翻了一番。这是2016年收集的数据。到目前为止，步伐无疑会增加。

计算机芯片危机
世界甚至没有佩戴千万亿次筹码，用于深度学习培训的顶级芯片，如Nvidia的Tesla V100，每秒运行112万亿次。因此，你必须运行其中的八天1000天，否则将许多人聚集成一个耗费越来越多能量的系统。
更糟糕的是，近年来芯片改进的步伐已经触底。正如加州大学伯克利分校教授大卫帕特森和英国航空公司董事长约翰轩尼诗在今年早些时候的一篇文章中所指出的那样，摩尔定律即每十二至十八个月芯片功率增加一倍的经验法则，已经耗尽了气体。英特尔长期以来一直否认这一点，但数据是帕特森和轩尼诗的一面。正如他们在报告中提到的那样，芯片性能现在每年仅增长3％。

这两位作者都认为，这意味着芯片的设计，众所周知，它们的架构必须彻底改变，以便从不会产生性能优势的晶体管中获得更高的性能。（帕特森帮助谷歌创建了“Tensor Processing Unit”芯片，因此他对硬件如何影响机器学习非常了解，反之亦然。）
由于处理器的改进停滞不前，但机器学习需求每隔几个月翻一番，就必须付出代价。令人高兴的是，如果以正确的方式看待，机器学习本身可以成为芯片设计的福音。因为机器学习需要很少的遗留代码支持 - 它不必运行Excel或Word或Oracle DB - 并且正如他们所说的，对于芯片设计师，由于其最基本计算的高度重复性，机器学习是一种绿地机会。

建造一台新机器
卷积神经网络和长期短期记忆网络的核心，深度学习的两个主要支柱，甚至在像谷歌的变形金刚这样的更现代的网络中，大多数计算都是线性代数计算，称为张量数学。最常见的是，将一些输入数据转换为矢量，然后将该矢量乘以神经网络权重矩阵的列，并将所有这些乘法的乘积相加。称为乘法相加，这些计算使用所谓的“乘法 - 累加”电路或“MAC”在计算机中呈现。因此，只需改进MAC并在芯片上创建更多的MAC来增加并行化，就可以立即改善机器学习。

主导AI培训的Nvidia和其CPU主导机器学习推理的英特尔都试图调整他们的产品以利用那些原子线性代数函数。Nvidia为其Tesla GPU添加了“张量核心”，以优化矩阵乘法。英特尔已花费300亿美元收购那些从事机器学习的公司，包括Mobileye，Movidius和Nervana Systems，其中最后一个应该在某个时候导致“Nervana神经网络处理器”，尽管有延迟。
到目前为止，这些举措并不能满足机器学习的需求，例如Facebook的LeCun。在2月与ZDNet聊天期间，LeCun认为，“我们需要的是竞争对手，现在，你知道，主导供应商Nvidia”。 他还指出，这不是因为Nvidia没有做出好的筹码。这是“因为他们做出了假设，并且拥有一套不同的硬件可以用来做当前GPUS擅长的补充事物，这样做会很不错。

另外：为什么人工智能报告如此糟糕？
他说，其中一个有缺陷的假设是假设训练神经网络将是一个可以操作的“整齐阵列”的问题。相反，未来的网络可能会使用大量的网络图，其中神经网络的计算图的元素作为指针流式传输到处理器。LeCun表示，芯片必须进行大量的乘法增加，但对于如何将这些乘法增加呈现给处理器的期望不同。
作为TPU芯片贡献者之一的谷歌软件工程师Cliff Young，去年10月在硅谷举行的芯片活动上发表了主题演讲时更直言不讳。Young说：“很长一段时间，我们都拒绝了，并说英特尔和Nvidia非常擅长构建高性能系统，”“五年前我们超越了这个门槛”。

创业公司的崛起
在这个漏洞中，新的芯片来自谷歌等人工智能巨头，还有一大批风险投资支持的创业公司。
除了谷歌的TPU，现在已经进行了第三次迭代，微软还有一个可编程处理器，一个名为Project Brainwave的“FPGA”，客户可以通过其Azure云服务租用它。亚马逊表示，它将在今年晚些时候推出自己的定制芯片，名为“Inferentia”。当LeCun在2月份与ZDNet谈话时，他提到Facebook有自己的筹码。
他指出，像谷歌和Facebook这样拥有大量产品的公司，对你自己的引擎工作是有道理的，这方面有内部活动。
创业公司包括Graphcore，一家位于布里斯托尔的五年创业公司，一个位于伦敦西南一个半小时的港口城市; Cornami，Effinix和Flex Logix，所有这些都是由ZDNet描述的和硅谷的洛斯阿尔托斯的s系统公司仍然处于秘密模式。
许多这些初创公司都有一个共同点，那就是大大增加用于矩阵乘法的计算机芯片区域的数量，即MAC单元，以便在每个时钟周期内挤出最多的并行化。Graphcore是所有初创公司中最远的，是第一个真正向客户发送生产芯片的公司。关于它的第一个芯片最引人注目的事情之一是大量的内存。为了纪念世界上第一台数字计算机，Colossus 被称为芯片，面积巨大，面积为806平方毫米。首席技术官Simon Knowles称其为“迄今为止最复杂的处理器芯片”。

Colossus由1,024个被称为“智能处理单元”的独立核心组成，每个核心都可以独立处理矩阵数学。众所周知，每个IPU都有自己的专用内存，256千字节的快速SRAM内存。总共有304兆字节的内存是芯片中最常用的内存。
没有人知道芯片上存在如此多的内存会如何改变构建的神经网络的种类。可能是通过访问越来越多的内存，访问速度非常低，更多的神经网络将专注于以新的和有趣的方式重用存储在内存中的值。

软件难题
对于所有这些芯片的努力，问题当然是由于该公司的“CUDA”编程技术，他们没有为Nvidia建立多年的软件。Graphcore和其他人的答案将是双重的。一个是用于机器学习的各种编程框架，例如TensorFlow和Pytorch，提供了一种避免芯片本身细节并专注于程序结构的方法。所有进入市场的芯片都支持这些框架，他们的创造者认为这些框架与Nvidia的竞争环境。
第二点是Graphcore和其他人正在构建自己的编程技术。他们可以证明他们的专有软件既可以转换框架，也可以智能地将并行计算分配给芯片上的众多MAC单元和向量单元。这就是Graphcore为其“Poplar”软件所做的论证。Poplar将神经网络的计算图分解为“codelets”，并将每个codelet分配到Colossus的不同核心，以优化并行处理。

在过去的二十年中，大数据和快速并行计算成为常态，推动了机器学习，带来了深度学习。下一波计算机硬件和软件可能是关于大量的内存和神经网络，它们是动态构建的，以利用高度并行的芯片架构。未来看起来很有趣。
本文翻译自：AI is changing the entire nature of compute（Machine learning, especially deep learning, is forcing a re-evaluation of how chips and systems are designed that will change the direction of the instry for decades to come.）

⑺ 2019年AI人工智能领域都发生了什么

作者 | David Foster
译者 | Sambodhi

2019 年无疑是忙碌的一年。人工智能的进步和新闻频频登上头条新闻，让我们的生活充满了敬畏和自豪的时刻，但一些其他时刻充却斥着一种恼人的想法，那就是这项技术让人们发现，我们的社会并没有准备好迎接人工智能的普及。

2019 年，究竟是人工智能进步的一年，还是幻灭的一年呢？随着研究人员攻城略地，迅速攻克以前难以企及的基准，今天，我们可不可以这样认为，这个领域已经正在步入稳步发展的轨道呢？

在 ADSP（Applied Data Science Partners，意即“应用数据科学合作伙伴”）网站上，我们想后退一步，把 2019 年的人工智能界发生的事件整理好，以让公众能够有个全新的视角。在聚光灯下，重要的是要将一项工作最初吸引人们的兴趣，与它的实际重要性，以及它对该领域产生的影响区分开来。为此，本文将展开人工智能故事的平行线索，并试图分离出它们的意义。多亏了我们出色的内容作家 Elena Nisioti，她将这些故事讲得如此精彩！

让我们坐下来，一起回顾 2019 年的人工智能领域的方方面面。

处在文艺复兴时期的领域

如果让我们用一句话来描述 2019 年的人工智能现状，那很可能是：“强化学习（Reinforcement Learning ）回归，看起来将永存”。

到目前为止，我们中的大多数人可能已经熟悉了监督式学习（Supervised Learning）：有些人收集了大量的训练数据，将它们馈送到机器学习算法中，然后得到一个模型，这个模型可以为我们进行预测和分类。我们中的一些人甚至可能有这样的印象：即，人工智能就是监督式学习的同义词。然而，监督式学习只不过是我们今天拥有的 众多类型的机器学习 中的一种罢了。

在强化学习（Reinforcement Learning，RL）中，智能体用试错的方法，通过与环境进行交互来学习，这种环境会给它们的行为提供奖励回报。当涉及到多个智能体时，它们被称为多智能体强化学习系统（Multi-agent Reinforcement Learning System）。

这个领域已经存在几十年，从概念上来讲，它听起来比监督式学习更像是一种合理的创造智能的学习机制。然而，直到 2015 年，DeepMind 才获得了人们的关注，当时 DeepMind 使用深度 Q 学习（Deep Q-learning）创建了 Atari（雅达利） 游戏的智能体，这是一种结合了经典强化学习算法和深度神经网络的算法。2018 年，OpenAI 也通过 解决 Montezuma’s Revenge（一款被认为难度特别高的 Atari 游戏），从而在这一领域确立了自己的地位。

在过去的几个月里，事态升级了：

这些工作重新唤起了学术界对强化学习的信念，在过去，人们曾经认为强化学习效率低下，过于简单，无法解决复杂的问题，甚至连游戏的问题也不能解决。

今年，另一个大受欢迎的应用是自然语言处理（Natural Language Processing，NLP）。尽管研究人员在这一领域工作了几十年，但近些年的自然语言处理系统生成的文本听起来还是不够自然。自 2018 年底以来，人们的注意力已经从过去的词嵌入转移到预训练语言模型，这是自然语言处理从计算机视觉中借鉴来的一种技术。这些模型的训练是以非监督的方式进行的，这使得现代系统能够从互联网上的大量文本中进行学习。因此，这些模型变得“博闻强识”，并发展出了理解上下文的能力。然后，可以通过监督式学习进一步提高它们在特定任务上的表现。这种通过在不同任务上训练机器学习模型来改进模型的做法，属于迁移学习（transfer learning）的范畴，被认为具有巨大的潜力。

自去年 Google BERT、ELMo 和 ulmfit 等系统在 2018 年底推出以来，自然语言处理一直风头正茂，但今年的聚光灯被 OpenAI 的 GPT-2 给“夺走了”，它的表现引发了人们对 自然语言处理系统的道德使用的大讨论。

实践走向成熟

今年，人们也见证了最近一些深度学习技术走向成熟。应用监督式学习，特别是计算机视觉技术，已经催生了现实生活中成功的产品和系统。

生成对抗网络（Generative Adversarial Networks，GAN）是一对神经网络，其中，生成器网络试图通过学习生成模仿训练数据的图像来欺骗判别器网络，现在已经达到了近乎完美的水平。对人工智能来说，创造虚假但又逼真的人物和物体的图像，已经不再是前沿领域了。从 2014 年生成对抗网络的引入 到 2019 年 NVDIA 开源的 StyleGAN，一图胜千言，我们用下面的图片来说明，这可能是理解该领域进展情况的最佳方式：

2019 年，人工智能创造的艺术品甚至脱离了过去几年的假设性讨论，成为了今天 博物馆装置和拍卖 的一部分。

计算机视觉还被应用于一些具有重大商业和社会意义的领域，包括自动驾驶车辆和医学。但是，人工智能算法在这些领域中的应用自然是缓慢的，因为它们直接与人类生活直接互动。至少到目前为止，这些系统还不是完全自主的，它们的目的，在于支持和增强人类操作员的能力。

研究团队正与医院密切合作，开发用于疾病早期预测的人工智能系统，并整理大量的健康数据档案，其中一个值得注意的例子，是 DeepMind Health 和 UCLH 之间正在进行的合作。然而，这些工作中的大部分仍处于试验阶段，迄今为止，唯一获得 FDA 批准的人工智能系统是 SubtlePet，这是一款使用深度学习增强医学图像的软件。

沉睡的巨人

AutoML是机器学习的子领域之一，自 20 世纪 90 年代以来就一直存在，在 2016 年引起了人们的极大兴趣，但不知何故从未登上头条新闻，至少不像其他人工智能趋势那样。也许这是因为它并不那么花哨的性质：AutoML 的目的是通过自动化决策来使机器学习的实践更有效，而今天数据科学家是通过手动、蛮力调优做出的决策。

在过去三年中，我们对这一领域的理解已经发生了变化，今天，大多数大公司都提供了 AutoML 工具，包括 Google Cloud AutoML、Microsoft Azure、Amazon Web Service 和 DataRobot 等。今年，随着 学习进化人工智能框架（Learning Evolutionary AI Framework，LEAF）成为最先进的人工智能技术，人们的兴趣转向了“进化”（Evolutionary）方法。然而，AutoML 还没有达到可以让一个完全自动化的人工智能系统比人工智能专家团队执行更好的成熟水平。

对人工智能的担忧

尽管取得了压倒性的成功，但今年人工智能领域也给我们带来了一些令人沮丧的故事。其中主要问题之一是机器学习模型中的偏见，这一问题直到 2018 年才显现出来，当时 Amazon 发现他们的 自动招聘系统中存在性别偏见，而美国法院广泛使用的判决工具 COMPAS 也被发现存在性别和种族的偏见。

今年案件的数量有所增加，这可能表明，公众和机构对用于自动化决策的现有人工智能系统越来越怀疑。以下是图景的一小部分：

今年 10 月份，某医院的算法被发现对黑种人患者存有偏见。 去年 10 月，某人权组织指责用于发放英国签证的人工智能系统存在种族偏见。 今年 11 月，Apple 的信用评分系统被客户指责存有性别偏见。

偏见是一个特别令人担忧的问题，因为它位于监督式深度学习的核心中：当有偏见的数据被用于训练，且预测模型无法解释时，我们不能真正判断出是否存有偏见。迄今为止，学术界的反应一直是致力于开发技术，以了解深度模型决策背后的原因，但专家警告称，如果我们采用正确的实践方法，那么许多问题都可以迎刃而解。Google Cloud Model Cards 是最近的一次尝试，旨在使组织社区走向开源模式，同时明确描述其性质和局限性。

今年另一个让人担忧的发现是，当一项技术变得越复杂时，它被滥用的可能性就越大。Deepfake就是生成对抗网络的阴暗面，深度学习算法被用来在纯粹虚构的场景中创建涉及真实人物的图片或视频。人们不难看出，这项技术如何被用于传播虚假新闻，从政治宣传到欺凌。这个问题单靠科学家是无法解决的，历史已经证明，科学家并不善于预测他们的发现对现实生活的影响，更不用说控制它们了，这需要社会各界进行广泛的对话。

今天的人工智能有多强大？

如今，要量化人工智能的价值真的很困难。但有一点是可以肯定的：人工智能已经脱离了科幻小说和前卫计算机科学的领域，现在，人工智能已成为社会不可分割的一部分，人们对人工智能进行了大量的投资。

今年早些时候，三名主要的深度学习研究人员获得了图灵奖，这是对人工智能作为计算机科学的一个领域的认可，而人们对此期待已久。

⑻ “gpt”是什么意思

全局唯一标识分区表（GUID Partition Table，缩写：GPT）是指全局唯一标示磁盘分区表格式。它是可扩展固件接口（EFI）标准（被Intel用于替代个人计算机的BIOS）的一部分，被用于替代BIOS系统中的以32bits来存储逻辑块地址和大小信息的主引导记录（MBR）分区表。

⑼ 杭州高中生造出新型无人驾驶自行车，其自动辅助系统有多牛

2021丘成桐中学科学奖总决赛落下帷幕，来自杭州第九中学的高三学生时沐朗，凭借“辅助驾驶自平衡自行车”项目，以全球前十的成绩拿下了总决赛计算机优胜奖和中国分赛区一等奖，这也是浙江省今年唯一的“丘奖”。杭州高中生造出新型无人驾驶自行车，其自动辅助系统有多牛？

杭九中的时沐朗同学，拿到的是今年“丘奖”计算机学科的全球优胜奖，他造出了一辆自行车版的“特斯拉”。

作为一位高三学生，时沐朗对大学的专业已经有了规划，“先修数学，先把自己基础打牢，后面研究生，未来甚至博士的领域，再细一点，比如说做控制或者做自动驾驶。”