标签归档:ICLR

阿里巴巴:基于交替方向法的循环神经网络多比特量化 | ICLR 2018

雷锋网 AI 科技评论按:4 月 30 日至 5 月 3 日,被学术界广泛认可为「深度学习的顶级会议」的 ICLR 2018 在加拿大温哥华举办。阿里巴巴与北大合作的一篇论文《Alternating Multi-bit Quantization for Recurrent Neural Networks  》被 ICLR 2018 录用为 poster,该工作为第一作者许晨博士生在阿里巴巴搜索算法组实习期间完成。主要思想为,通过量化参数到二值{-1,+1} 上来解决基于 RNN 的模型由于高维嵌入或多层循环导致的参数量过大的问题。

阿里巴巴搜索算法组上月在 AI科技评论的数据库项目「AI影响因子」中表现活跃。阿里巴巴搜索算法组在 4 月 15 日于美国举办了首个「搜索和计算技术开放日」,分享全球化背景下阿里互联网技术前沿应用经验和未来发展观点。搜索事业部产品负责人思函从业务的角度,尤其是技术和商业结合的角度,对技术在整个阿里巴巴商业环境中所能起到的作用进行了阐述和分享。本次 ICLR 2018 有论文被收录,进一步展现了阿里巴巴搜索算法组的学术实力。



ICLR 2018 阿里巴巴参会成员

席奈与 poster 合影 

介绍

循环神经网络 (RNN) 在语言模型、机器翻译、语音识别、生成图像标题等很多应用上都取得了非常好的效果。然而,这些模型常常是建立在高维的嵌入 (embedding) 或者多层的循环单元中,包含了大量的参数,使得无法在资源有限的移动端部署。此外,RNN 的计算依赖于与当前的隐状态,只能被顺序执行,因此在执行推断时会造成比较大的延时。在拥有大规模并发请求的服务器端,比如语音识别或者机器翻译等应用,为了满足线上苛刻的响应时间要求,需要部署大量的机器。在这项工作中,我们考虑通过量化参数到二值 {-1,+1} 上来解决上述问题。考虑将模型的权重量化成 1 比特,相对于全精度,直接带来 32 倍的内存压缩。而对 1 比特参数的矩阵乘法,如果不考虑具体实现,相对于全精度乘法,理论上也会带来 32 倍的加速。然而,如果把模型的权重和激活都量化成 1 比特,在循环神经网络中,会带来很大的精度损失。因此,很自然的折中方案就是采用多比特量化(如图 1 所示)。

Figure 1 多比特量化乘法示意

现有的多比特量化方法

1) 均匀 (Uniform) 量化采用下列的 k 比特量化方案:

这样基于规则的量化方法非常容易实现, 但是对于非均匀数据的量化效果很差,而非均匀分布数据在深度神经网络却更为常见。

2) 均衡 (Balanced) 量化通过数据预处理来解决均匀量化的弊端。该方法首先产生 2^k 个间隔,每个间隔大致包含等量的数据。然后该方法将每个间隔的中心线性映射到对应的量化编码中。尽管看起来更有效,但是该方法还是基于规则,而这种规则并不能保证对所有的数据分布都起效果。

 3) 贪婪法 (Greedy) 近似通过去解下面的带离散约束的分解问题来实现量化:

对于 k=1, 上述问题存在闭式解。贪婪近似通过逐步量化余量 (residue) 并将其推广到 k 比特 (k>1) 的情形:

每个子步都有最优解

贪婪法非常高效,尽管不能得到一个高精度的解,但是将量化问题建模成一个优化问题的形式还是非常具有启发性的。

4) 改进版 (Refined) 贪婪近似进一步拓展贪婪法以降低量化误差。在上述第 j 步最小化问题中,该方法加上额外一步最小二乘来修正系数

在原文量化卷积神经网络权重的实验中,修正版贪婪法被证实比原始的贪婪法更有效。然而,正如我们下面要讲的,修正版的贪婪法在量化精度方面仍然不能令人满意。

除了上述通用的多比特量化方案以外,还有文章还提出了三值量化,与 1 比特的二值量化相比,三值量化多了可行状态 0。三值量化通过解如下问题


来实现编码。然而,原文并未提出一种高效的解法,相反,作者通过经验,将小于 0.7 / n||w||_1 的元素设成 0,并对剩余元素采用如上所述的二值量化。三值量化其实本质上等价于此处的 2 比特量化,唯一不同的地方在于多了一个 a_1=a_2 的约束。当二值编码被固定以后,最优系数 a_1 (或者 a_2 ) 类似地可以通过最小二乘得到。

基于交替方向法的多比特量化方案

接下来将介绍本文提出的量化方法,同样我们也是通过解上述的优化问题来实现量化。为了简单起见,首先考虑 k = 2 的情形,如果 a_1 和 a_2 已知且满足 a_1 ≥ a_2,那么可行编码即被限制为以下四种情况 v ={- a_1 – a_2, – a_1 + a_2, a_1 – a_2, a_1 + a_2}。对于 w 中的任意元素 w, 其编码都是通过最小二乘来确定。我们相应地可以将整个坐标轴分成四份,落在某个区间上的 w 分别对应其中一个量化编码。由最近邻条件可得区间的边界即为量化编码的中间值,也就是 – a_1、0 以及 a_1。下图给出一个示意。

Figure 2 当实系数固定时,最优 2 比特编码示意

对于任意 k 比特量化问题,假设已知 {a_i} ^k _{i=1},我们可以类似地将整个坐标轴分成 2^k 个区间,其边界同样通过相邻可行编码的中点来划分。如果直接将待量化的实数 w 与所有区间边界进行比较以确定对应编码,总共需要 2^k 次,当 k 比较大,这种操作非常不经济。事实上,我们可以利用可行编码全集 v 中元素单调递增的性质,将 v 均匀分成两个子集: v_{1 : m/2}和 v_{m/2+1 : m}, 其中 m 表示 v 的长度。如果 w<(v_{m/2} + v_{m/2+1})/2, 其可行编码即被限制在子集 v_{1 : m/2} 上。相反如果 w ≥ (v_{m/2} + v_{m/2+1})/2, 其可行编码即被限制在子集 v_{m/2+1 : m}上。通过递归地将可行编码子集均匀划分,我们只需要 k 次比较就可以得到最优编码。该过程可以看成是一个二叉搜索树,我们在下图中给出了一个 k=2 时的简单示意。一旦得到量化编码,即可将其一一映射到对应的二值向量{b_i} ^k _{i=1}。

Figure 3 二叉搜索树将次比较降为 k 次比较

基于上面的发现,我们重新来考虑上一节中介绍的改进版贪婪近似。经过最小二乘修正实系数之后,二值编码 {b_i} ^k _{i=1} 不再是最优,而该方法却仍将其固定。为了进一步改进,交替最小化实系数和二值编码变成了一个很自然的选择。一旦用二叉搜索树得到最优的 {b_i} ^k _{i=1} , 可以将其固定,并采用最小二乘更新 {a_i} ^k _{i=1}。在真实实验中,以贪婪法得到的解作初始化,我们发现只需要两步交替迭代就足以得到高精度的解。

实验结果

我们在语言模型上进行量化实验,分别测试了 LSTM 和 GRU 两种架构。因为

Table 1 不同方法近似 PTB 数据集上训练好的 LSTM 的权重。其中 FP 表示全精度

Table 2 不同方法近似 PTB 数据集上训练好的 GRU 的权重

实验是去预测下一个单词,其效果采用单字复杂度来衡量 (perplexity per word, 简写成 PPW)。为了检验所有的算法量化精度,我们首先对训练好的全精度权重做近似 (没有量化激活或者重训练),结果如表 1 和表 2 所示。注意到均匀量化和均衡量化是基于规则的,其目标并不在于最小化误差,因此这两种方法会得到差很多的结果。我们还在其他数据集上重复了上述实验,对于两种循环神经网络结构 LSTM 和 GRU,结果都与此处相似。

Table 3 PTB 数据集上多比特量化 LSTM 和 GRU 的测试 PPW,其中均匀量化和均衡量化为现有论文中的结果,改进版贪婪法为我们自己实现的结果。

Table 4 WikiText-2 数据集上多比特量化 LSTM 和 GRU 的测试 PPW。

Table 5 Text-8 数据集上多比特量化 LSTM 和 GRU 的测试 PPW。

我们还进行了权重和激活同时量化的实验,结果如表 3、4 和 5 所示。从中可以看到,本文提出的交替方向法明显好过现有其他量化方法。即使与表现最好的改进版贪婪法相比,交替方向法实现类似的精度大概可以少用一个比特。

我们还在 CPU 中实现了矩阵向量的二值乘法,其结果如表 6 所示。

Table 6 CPU 中二值乘法与全精度乘法的时间比较

总结

在这个工作中,我们主要考虑神经网络的多比特量化压缩加速问题。我们发现,如果编码的实系数固定,那么离散的二值编码 {-1,+1} 可以通过二叉搜索树高效的求解。基于这个发现,我们相应地提出交替方向法。我们将该方法用于量化语言模型中的 LSTM 和 GRU 结构,与全精度模型相比,通过 2 比特量化,我们可以减少约 16 倍的内存消耗,以及在 CPU 上实现约 6 倍的真实推断加速,而只产生少量的准确率损失。通过 3 比特量化,该方法在准确率上可以实现几乎没有损失甚至超过原始模型,并减少约 10.5 倍的内存消耗,以及在 CPU 上实现约 3 倍的真实推断加速。这些结果都远远优于现有量化方法的结果。

雷锋网

斯坦福ICLR 2018录用论文:高效稀疏Winograd卷积神经网络| ICLR 2018

雷锋网 AI 科技评论按:ICLR 2018  于 5 月初在加拿大温哥华举办。论文「Efficient Sparse-Winograd Convolutional Neural Networks」被 ICLR 2018 录用,第一作者、斯坦福大学的博士生刘星昱为雷锋网AI 科技评论撰写了独家解读稿件,未经许可不得转载。

引言

卷积神经网络在许多机器学习应用中体现出巨大优势。其计算性能和功耗主要由卷积过程中乘法操作的数量决定。但卷积神经网络的巨大计算量限制了其在移动设备上的应用。

目前有两种主流方法用于减少卷积神经网络中的乘法数量:

  • 1)利用卷积的线性代数性质,例如 Winograd 卷积算法可以通过神经元和卷积核的线性变换减少乘法数量;

  • 2)神经网络压缩,例如利用权重经过剪枝后的稀疏性和神经元由于 ReLU 产生的稀疏性。

然而,上述两个方向无法兼容:对神经元和卷积核的线性变换会使得它们原本的稀疏性不复存在,因此无法利用其稀疏性进行加速。在稀疏卷积神经网络上使用 Winograd 卷积算法会反而使计算量增大。

针对上述问题,本文提出两点改进。

  • 首先,我们将 ReLU 激活函数移至 Winograd 域,使得在乘法操作时神经元是稀疏的;

  • 其次,我们对 Winograd 变换之后的权重进行剪枝,使得在乘法操作时权重是稀疏的。

实验结果表明,在精度损失 0.1% 之内时,我们提出的新方法在 CIFAR-10,CIFAR-100 和 ImageNet 数据集上能将乘法数量分别减少 10.4 倍,6.8 倍和 10.8 倍,乘法减少率相较于原有基准提升 2.0-3.0 倍。

稀疏 Winograd 卷积

传统 Winograd 卷积算法的基本单元作用在输入时域特征图 d 的大小为 p x p 的小块上,经过 3 x 3 的时域卷积核 g 卷积得到 (p-2) x (p-2) 的输出块 S。所有的输出块拼在一起得到输出特征图。

具体操作: d 和 g 分别用矩阵 B 和 G 进行变换得到 Winograd 域的 p x p 大小的 B^TdB 和 GgG^T,两者进行 Hadamard 乘法后用矩阵 A 进行变换得到 S。当 p 等于 4 时,矩阵 B 和 A 只含有 0,1 和-1 元素,因此与 B 和 A 的乘法只需要加减法。计算过程如下公式所示: 

时域剪枝网络:当使用普通剪枝的网络 (Han et al. 2015) 时,前一层的 ReLU 激活函数作用在时域输入 d 上,同时时域权重 g 被剪枝。输出块 S 由以下公式计算得到:

当 p=4 时的计算如下图所示。尽管 d 和 g 分别由于 ReLU 和剪枝都是稀疏的,然而 G(•)G^T 和 B^T(•)B 变换会抹掉时域的 0。因此,稀疏性无法减少乘法数量。

Winograd 本地剪枝网络:当使用 Winograd 本地剪枝网络 (Liu et al. 2017, Li et al. 2017) 时,前一层的 ReLU 激活函数作用在时域输入 d 上,同时 Winograd 域权重 GgG^T 被剪枝。输出块 S 由以下公式计算得到 

当 p=4 时的计算如下图所示。尽管由于剪枝,Winograd 域的权重 GgG^T 是稀疏的,然而 B^T(•)B 变换会抹掉时域 d 中包含的 0。因此,时域 d 由于 ReLU 造成的稀疏性仍然无法带来乘法数量减少。

 

Winograd-ReLU 卷积神经网络:为了解决上述问题,我们提出了 Winograd-ReLU 卷积神经网络。我们将 ReLU 操作放在 Winograd 域而不是时域。如此,在进行乘法操作时,Winograd 域的权重 GgG^T 和输入 B^TdB 都是稀疏的,乘法数量得以进一步减少。输出块 S 由以下公式计算得到

 

当 p=4 时的计算如下图所示。

 

值得注意的是,我们完全摈弃了时域的卷积核。因为 ReLU 是和前一层的卷积层绑定的,Winograd 域的 ReLU 操作实际上是从第二层开始的。需要指出,新提出的卷积神经网络架构和普通的卷积神经网络在数学上不等价。因此,网络的训练、剪枝和重训练都需要进行如下改变。

训练:我们直接在 Winograd 域训练变换后的卷积核。卷积核随机初始化后直接由反向传播计算梯度进行优化。

剪枝:我们对 Winograd 域卷积核进行剪枝:所有绝对值小于阈值 t 的元素置为 0。阈值 t 是通过达到某一要求的剪枝率 r 计算得到的。在我们进行的实验中,所有层的剪枝率是相同的。

重训练:我们利用前一步得到的剪枝掩码来进行重训练。在重训练过程中,被剪枝的权重通过掩码强制设置为 0。网络损失函数对输入神经元和 Winograd 域权重的梯度可通过链式法则由上游传递来的梯度计算得到:

实验和结果

我们将上述方法应用在不同数据集上的不同网络架构上。我们选择实验的网络架构中大多数卷积核的大小为 3×3,这可以保证大多数卷积层都可以转化为 Winograd 卷积层。我们分别使用图像分类数据集 CIFAR-10、CIFAR-100 和 ImageNet 进行实验。对每个网络架构我们比较前述三类网络。三类网络都是从头开始训练并进行迭代的剪枝-重训练过程。

CIFAR-10:

我们使用 VGG-nagadomi 网络进行实验。VGG-nagadomi 可以视作轻量级的 VGGNet,其中有 8 层 3×3 卷积层。我们将第一层的权重密度设为 80%,其余层迭代地从 80% 剪枝为 20%。

 

由上图可以看到,当准确率损失小于 0.1% 时,时域剪枝网络、Winograd 本地剪枝网络仅可以被剪枝到 60% 密度,而我们提出的 Winograd-ReLU 网络可以被剪枝到 40% 密度。 

上表比较了各个剪枝后网络的计算量以及权重和输入神经元的密度。时域剪枝网络、Winograd 本地剪枝网络仅可以将计算量分别减少 5.1 和 3.7 倍。而我们提出的 Winograd-ReLU 网络可以减少计算量 13.3 倍,相较于两个基准网络分别提升 2.6 和 3.6 倍。

CIFAR-100:

我们使用 ConvPool-CNN-C 网络进行实验。ConvPool-CNN-C 有 9 个卷积层,其中有 7 个 3×3 卷积层。我们将第一层的权重密度设为 80%,其余层迭代地从 80% 剪枝为 20%。

 

由上图可以看到,当准确率损失小于 0.1% 时,Winograd 本地剪枝网络可以被剪枝到 70% 密度,而时域剪枝网络和我们提出的 Winograd-ReLU 网络可以被剪枝到 60% 密度。

上表比较了各个剪枝后网络的计算量以及权重和输入神经元的密度。时域剪枝网络、Winograd 本地剪枝网络仅可以将计算量分别减少 3.5 和 3.2 倍。而我们提出的 Winograd-ReLU 网络可以减少计算量 7.1 倍,相较于两个基准网络分别提升 2.1 和 2.2 倍。

ImageNet:

我们使用 ResNet-18 网络的一个变体进行实验。该变体与原 ResNet-18 的差别在于,我们用 1×1 步长 3×3 卷积以及 2×2 池化层来替代 2×2 步长 3×3 卷积。同时我们也去掉了最后一个池化层,使得最后一组卷积层的大小为 14×14。我们将卷积层的权重密度迭代地从 80% 剪枝为 10%。

由上图可以看到,当准确率损失小于 0.1% 时,时域剪枝网络、Winograd 本地剪枝网络仅可以被分别剪枝到 60% 和 50% 密度,而我们提出的 Winograd-ReLU 网络可以被剪枝到 30%/35% 密度。

 

上表比较了各个剪枝后网络的计算量以及权重和输入神经元的密度。时域剪枝网络、Winograd 本地剪枝网络仅可以将计算量分别减少 5.1 和 4.5 倍。而我们提出的 Winograd-ReLU 网络可以减少计算量 13.2 倍,相较于两个基准网络分别提升 2.6 和 2.9 倍。

讨论

我们对提出的 Winograd-ReLU 网络的卷积核进行可视化。我们挑选了 res2a_2a 层的前 6 个输入和输出通道。可以看到,Winograd-ReLU 网络的卷积核并未显示出明显的物理意义。然而,我们发现 (2,2) 元素(从左至右从上至下,初始指标为 1)通常较其它元素更显著。一个可能的原因在于,(2,2) 元素在 Winograd 域输入神经元中是特别的:它是 B^TdB 中唯一一个只由加法而无减法进行线性变换的神经元。在光滑的输入特征图中,这意味着 (2,2) 元素是唯一拥有非零均值的元素。

雷锋网

ICLR 2018开幕,参会2000人只有3.8%来自中国

雷锋网 AI 科技评论按:4 月 30 日,为期四天的国际学习表征会议(ICLR 2018)在加拿大温哥华正式开幕。该会议由深度学习三巨头之二的 Yoshua Bengio 和 Yann LeCun 在 2013 年牵头创办,多年来也一直由这两位大牛担任大会主席,今年也不例外。虽然至今 ICLR 仅举办了六届,但已然被学术界广泛认可,被认为是「深度学习的顶级会议」。

参会人数:只有3.8%来自中国?

据 Yann LeCun 在 Twitter 上称:「每年参加 ICLR 的人数都会翻一番,今年达到 2000 人。之所以只是「两倍」,是因为参会名额设置了上限,事实上申请的数量相比去年也增加了一倍(雷锋网注:去年也设了上限)。」

据高级程序委员会主席 Tara Sainath 在会议开幕式上介绍,本届 ICLR 会议的参会人员中,47.8% 的是来自美国,其次 15.9% 的来自加拿大,8.6% 的来自英国,而只有 3.8% 的来自中国。也即在这个 2000 人的「深度学习顶会」上只有数十名来自中国

另外雷锋网还了解到,事实上在 2000 人的与会者中,只有 75% 的人在报名截止日期前注册,另外有近 500 人在截止日期之后才开始注册。这似乎与其他顶会,例如 NIPS 2017 (火爆!NIPS 2017注册已满,没机会去前方参会怎么办?)形成了鲜明的对比。

所以这有两个问题:

1、为什么中国学者对这个会议没有太多激情呢?

2、为什么有这么多人(近 1/4)注册不是那么积极呢?

接收论文:谷歌不是一般的多

相比去年只有 490 篇投稿,今年 ICLR 2018 的投稿数量又涨了近一倍之多,达到 935 篇,几乎实现了「每年翻一翻」的愿景。在这些投稿论文共录用了 337 篇,录用率达 36%;其中 oral 23 篇,录用率 2.5%。

最佳论文三篇,分别为:

据了解,本届会议中元学习、探索、模型压缩、对抗样本、变异推理等是热门话题,例如关键字探索领域论文录用率高达 85%。作为对比,分类和 CNN 的录用率只有 12%。

当然,关于录用论文一个比较有意思的现象如下图所示:

作为一个学术机构,Google 有 43 篇论文被录用(其中 5 篇 oral 论文),远远超过其他机构,如伯克利、斯坦福、Facebook、卡内基·梅隆大学、微软等;与此同时,他们也派出了 130 名研究人员去参加这次会议。而来自中国的论文则只有百度和清华的寥寥数篇(当然有一些国内外合作完成的工作,这里没有统计),这也无怪乎只有数十人来自中国的参会者了。不过反过来去想,为什么中国的学者不愿意投 ICLR 这样的会议呢,是因为 ICLR 不在「中国计算机学会推荐国际学术会议和期刊目录」的列表中吗?

作为大会的主席,Yoshua Bengio 在论文投稿方面非常给力,投了 18 篇,9 篇被拒,7 篇 poster,2 个 workshop。而另一位丰产的学者是来自加州伯克利的 Pieter Abbeel 教授,投了 12 篇,其中 4 篇被拒,4 篇 poster,2 个 workshop 和 2 个 oral。

关于投稿,另一个有意思的现象是,当时在截稿时间最后一天,论文提交量由不足 200 篇暴增至 1003 篇,其中有 200 多篇论文是最后半小时提交的。这简直是用鲜明的数据说明,学术界也有很严重的拖延症,大家都本着精益求精的精神,一直到最后一刻还想要进一步打磨论文。

评审:70% 赶在 Deadline提交?

关于评审,Tara Sainath 介绍说,相比去年有两点变化。其一是没有预审阶段;其二是除了 Open Review外,还采用了双盲评审政策。

另外她还介绍了几点值得关注的地方:

1、70% 的评审意见是在 deadline 那天提交的。这再次说明了学术界的 拖延症 精益求精的精神。

2、在 Open Review 中,针对每篇文章的评论意见数量减少了;

3、从初期评分和最终评分的结果来看,评论和讨论阶段有助于提高评分。


ICLR 2018现场直播:ICLR 2018 @facebook

或网盘下载 4 月 30 日视频链接:https://pan.baidu.com/s/1XHx9rEbDVyPvniKXZjQ1gA  密码:v120

随后视频持续更新……

雷锋网 AI 科技评论报道

参考:

[1] ICLR 2018 @facebook

[2] ICLR 2018 Kicks Off in Vancouver

[3] ICLR 2018 有什么值得关注的亮点?

雷锋网

NVIDIA论文:用GAN生成高清图像 | ICLR 2018

虽然ICLR 2018将公开评审改成了评审人和作者相互不知道双方信息的双盲评审,但论文的投稿者仍然可以通过其他公开渠道对其论文进行推广。尤其对于大公司研究院来说,早早公开自己的论文能比盲审有额外加成,例如雷锋网就注意到,就在上周五ICLR论文投递截止后不久,NVIDIA在Blog上就发布了一篇通过生成对抗网络(GAN)产生独特面孔的新方法,这篇论文正是NVIDIA投递到ICLR的论文之一。

论文题目:Progressive Growing of GANs for Improved Quality, Stability, and Variation

摘要:在本文中,我们描述了生成对抗网络(GAN)的新的训练方法。 关键思想是通过渐进的方式训练生成器和鉴别器:从低分辨率开始,我们逐步添加新的层次,从而在训练进展中增加更精细的细节。 这既加快了训练速度,又能增加训练的稳定性,从而使我们能够制作出前所未有的质量的图像,例如用1024×1024像素的CelebA图像(雷锋网注:CelebA是香港中文大学发布的20多万的名人人脸数据库,被很多算法用来训练)制作更高精度的数据集。 我们还提出了一种增加生成图像变化的简单方法,并且在无监督的CIFAR10中实现了创记录的8.80的初始分数。 此外,我们描述了几个实现细节,这些细节对于抑制生成器和鉴别器之间的不健康竞争非常重要。 最后,我们提出了一个新的衡量GAN结果的指标,无论是在图像质量和变化方面。 作为额外的贡献,我们构建了更高质量的CelebA数据集。

在论文中NVIDIA称,在从高维数据分布生成新样本的方法在图像领域中被广泛使用,主流算法包括自回归模型(Autoregressive Models)、变化自动编码器(VAE)和生成对抗网络(GAN)。这几种算法都有着各自的优势和劣势:自回归模型(如PixelCNN)能产生清晰的图像,但评估速度较慢,而且由于其直接对像素的条件分布直接建模,因此没有潜在的表征,这也进一步限制了其适用性;VAE易于训练,但生成的结果往往是模糊的;GAN可以生成清晰的图像,但在分辨率上只能有小范围的变化,而且质量一直不稳定;混合方法可以结合上述三种方法的优势,但在图像质量上仍落后于GAN。

NVIDIA的主要改进方法是使用改进的Wasserstein Loss(关于用Wasserstein GAN生成图片请参阅雷锋网之前文章:《令人拍案叫绝的Wasserstein GAN》),同时也尝试最小二乘法损失。由于生成高分辨率图像之所以困难是因为这一过程中会极大放大梯度问题,而且由于内存的限制,大图片还要分割成若干块分别计算,从而影响了训练的稳定性。而NVIDIA的做法是从简单的低分辨率图像开始,在训练时逐步添加更高分辨率细节的层次,从而大大加快了训练和提高高分辨率的稳定性。

让我们来看一下图片生成的效果。

下图是训练开始2个多小时候,8X8的效果。

经过11个多小时训练后,生成图片分辨率提升为32×32,已经能看出面孔的轮廓了;

训练16天后的1024×1024分辨率图片:

NVIDIA还专门准备了一部关于这篇论文的说明短片,更加直观说明了这一算法的具体效果:


据雷锋网了解,这一方法也可以用来生成非常精细的物体和风景照片、以及图像软件中的变化效果等。

雷锋网

学界 | ICLR 2018截稿:取消公开评审改为双盲引人关注

雷锋网消息,International Conference on Learning Representations 2018 (国际学习表征会议 ,ICLR 2018) 的论文投递已于美国东部时间10月27日下午5:00结束。根据大会Program Chair、Deepmind研究科学家Oriol Vinyals在Twitter上发布的统计数据,各位论文作者再度发挥了学术界“不到Deadline不罢休”的传统,在论文投稿截止前24小时,大会收到的论文数量从490篇翻番至1003篇,其中最后一小时有将近200篇论文投递。

ICLR是一年一度的深度学习顶级会议,2013 年由深度学习大神 Yann LeCun 及 Yoshua Bengio 牵头创办,明年是第六届。尽管举办的时间不长,但已经被学术研究者广泛认可。本届大会仍由 Yann LeCun 及 Yoshua Bengio继续担任大会主席。

在2013年举办的第一届ICLR大会官网上, Yann LeCun 和 Yoshua Bengio曾这样介绍举办这一会议的初衷: 

“尽管表征学习对于机器学习及包括视觉、语音、音频及 NLP 领域起着至关重要的作用,目前还缺乏一个场所,能够让学者们交流分享该领域所关心的话题。ICLR 的宗旨正是填补这一鸿沟。”

除了专注于表征学习以及两位学术大牛的光环外,大会引人注目的一点是前几届大会推行的 Open Review 评审制度。与诸多学术会议通行的单盲、双盲评审制度不同,所有提交的论文都将会公开姓名等信息,并且接受所有同行的评价及提问(open peer review),任何学者都可或匿名或实名地评价论文。而在公开评审结束后,论文作者也能够对论文进行调整和修改。这一主张“公开透明”的制度能消除论文评审中的诸多问题,但也有可能引来争议及不必要的舆论讨论,比如雷锋网之前介绍的 ICLR 2017的最佳论文,就在 Open Review 上引来了公开讨论(参见雷锋网文章:《ICLR 17最具争议的最佳论文,实至名归还是盛名过誉?》)。

但与前几届不同的是,本届大会论文采取的是双盲评审,即作者和评审者互不知道对方信息,对于论文的评论也将会以匿名形式显示。此外,虽然ICLR采取双盲评审,但大会不会禁止作者在arXiv或任何其他公共论坛上发表文章,大会将只进行一轮论文评审,初步审查结束后,作者和审稿人之间仍将有一个讨论期,作者可以继续对论文进行。

与历届 ICLR 一样,本届的所有投递论文及评审内容都将完整地保存在ICLR 的官方投稿入口 OpenReview.net 上。OpenReview.net 是马萨诸塞大学阿默斯特学院 Andrew McCallum 为 ICLR 2013 牵头创办的一个公开评审系统,目前它也接受其它学术会议的论文投递。

为便于大家更好阅读论文,Twitter网友Andrew Brock‏ 已经编写了一个可下载ICLR 2018所有投稿论文的脚本,Github地址在此。 

ICLR大会定于2018年4月30日到5月3日在加拿大温哥华Convention Center举行,这也是不久前结束的IROS 2017举办的会议场馆。届时雷锋网将会继续为读者带来现场报道。

雷锋网

Twitter 又一力作:对Few-shot learning中的优化进行建模 | ICLR 2017

雷锋网AI科技评论按:ICLR 2017 于4月24-26日在法国土伦举行,雷锋网AI科技评论的编辑们在法国带来一线报道。在这个深度学习会议举办之际,雷锋网也将围绕会议议程及论文介绍展开一系列的覆盖和专题报道,敬请期待。

据雷锋网了解,这是一篇来自Twitter的研究员给ICLR 2017投递的论文。目前论文已经被录用而且还获得了ICLR委员会的高度评价。想知道研究员在论文中又提出了什么新的研究思路?或者ICLR委员会对这项工作的评价如何?那就赶紧跟随小编来看看吧。

以下内容是AI科技评论根据论文内容进行的部分编译。

论文摘要

虽然当下深度神经网络算法在大规模数据集上取得了巨大的成功,但是这类算法在少量学习(Few-shot Learning)任务中的表现却往往不如人意,这是因为在少量学习任务中要求分类器能够在经过每个类别的少量样本训练之后快速具备泛化能力。

现在大家通常都认为,要使得一个基于梯度下降优化算法的分类器能具备较好的表现就需要在大量训练样本上进行多次训练迭代。而在本次的论文工作中,来自Twitter的研究员推出了基于LSTM的元学习模型(LSTM-based meta-learner model),该模型可以学习到精确的优化算法来训练另外一个用于少量学习任务的神经网络分类器。

  • 图1:该图展示了元学习(Meta-learning)过程的一个示例。图片分为两大部分,上半部分的表示元训练集(Meta-train set),记为Dmeta-train,其中包含有若干个灰色矩形框分别表示每一条样本,而矩形框内部又被虚线划分为左右两个部分,虚线左侧的包含有训练集Dtrain,而虚线的右侧包含有测试集Dtest。该示例所展示的是一个5种分类别的类任务,其中在每一条样本的训练集上都包含有5个类别的样例(每一类分别被标注为1-5),然后测试集中则包含有2个样例用于评估模型。图片下半部分的表示元测试集(Meta-train set),记为Dmeta-test,它的定义方式与Dmeta-train完全一致,但是Dmeta-test包含有Dmeta-train中没有覆盖到的类别。此外,上图中虽然没有展示出来,但是数据集中还划分了元验证集(Meta-validation set)用于确定模型中的超参数。

基于LSTM的元学习模型的参数化特性允许它针对在需要一定量更新的特定场景下学习合适的参数更新方式,同时也可以学习到那些分类器网络参数的通用初始化方式,从而加速分类器的训练和拟合过程。

并且在论文中,研究员们还证明了这种元学习模式与用于少量学习的深度度量学习技术相比具有很强的竞争力。

ICLR 委员会的定稿意见

该论文的作者提出了一种元学习模式来解决少量学习的问题。论文中提到的算法非常有趣并且实验结果也非常具有说服力。这是篇非常适合时宜的文章,它将在社区中受到广泛的关注。三位评审员都给出了一致的意见——接受,而且其中两位还显得特别热情。论文的作者也回复了其他一些对该论文持负面态度的审稿人所提出的疑问。不过该论文还需要继续完善以便把其中的更多细节阐述清楚。总的来说,这篇论文已经被接受了。

匿名审稿人3

这项工作提出了一个基于LSTM的元学习框架,该框架可以学习到优化算法以用于训练其它的学习算法(这里是神经网络算法)。本文通篇都写得很好,并且主要材料的介绍也写得很清楚。本文的核心:绘制Robbins Monroe更新规则和LSTM更新规则之间的并行,并利用它来满足少量学习的两个主要目标这一点非常有趣。

匿名审稿人2

这篇论文通过将随机梯度下降法(SGD)的更新规则解释为具有可训练参数的门控循环模型(Gated recurrent model),从而提出了一种全新的元学习方法。这个创意对于迁移学习(Transfer learning)的研究具有重要意义。论文的结构清晰,但是在某些细节方面的描述还可以提升。

via Optimization as a Model for Few-Shot Learning

雷锋网

FAIR 实验室的 ICLR 2017:理解对话是一场漫长的博弈

雷锋网按:在 ICLR 2017 举办之际,FAIR实验室撰文展示了团队在理解对话所做的研究和贡献,雷锋网进行编译,未经许可不得转载。

建立一个有效的对话系统

在 Facebook 的人工智能研究中心(FAIR),理解对话一直被认为是一个宏大和长期的 AI 研究目标。

一个真正有效的对话系统应该是一项辅助性的技术,这个系统很可能包括一个可以用自然语言与人类交流的与聊天机器人类似的系统。它可以帮助人们更好地理解周围的世界,更有效地和周围的人进行交流,消除沟通上的障碍。随着数字化内容的不断增多,研发此类技术将会变得越来越重要。

尝试着去理解和解释对话并不是一个新奇的想法。早在 20 年前,就有人尝试着去建造一台人类可以与之交流并且可以教它学习如何去对话的机器。它们结合了技术和工程,但是使用预编程的脚本响应就显得视野十分狭窄了。

多亏了近年来机器学习技术的发展,机器学习技术让 AI 智能体与人类用自然语言交流成为了一个更加现实的想法,得到了学术界和工业界的广泛关注。

然而,现在的大多数对话系统仍然是脚本化的:它们的自然语言理解的模块可能是基于机器学习的,但是它们的应答内容通常是由 if/then 语句或规则引擎来决定的。尽管相对于数十年前已经取得了进步,但是在很大程度上还是依据其巨大的文本数据库来创建它们的回答。

应对两端的挑战

与聊天机器人进行自然语言的对话仍然是一个挑战,这将需要一系列研究上的突破。 FAIR 选择从两个方向来解决这个问题:一般的 AI 和机器通过交流进行推理以及在当前的对话系统中进行研究。并从实际使用的聊天机器人中吸取经验。 FAIR 的优势在于跨越两种方法的所遇到的多样性。从长期的类似于 CommAI intiative 的基础性研究,到短期的类似于 FastText 和 Facebook M 的应用型尝试。通过这些努力,再加上团队在 AI 频谱、从深度学习 NLP 到增强学习、计算机视觉和工程方面的专业知识, FAIR 希望能够取得有意义的自然语言对话进展。

FAIR 在对话方面工作的重要一点是, 团队如何将它置于一个明确的基础之中:

  • 强大的基础: 针对于 NLP 问题的高级学习系统应该展现出比传统方法更好地性能。为了达到这个目的, FAIR 构建了 FastText, 用相对简单和容易理解的技巧来提供可达到的最佳效果。

  • 清晰的评估:评价一个对话系统是一个很困难的问题。FAIR 提出了一个更好的工具来做到这一点。在 ICLR 2017,Facebook 与学术界分享了它们的发现和工具。其中包括训练和评估推理模型的 CommAI environment,以及可用于测试端对端对话模型的 bAbI. 由于 FAIR 与 Facebook M 的合作,这些工具已经在实际生产条件下进行了测试。

  • 开放的研究:FAIR 通过会议或者预印的方式公开了其几乎所有的研究工作。同样地,代码和数据,包括上面提到的两个评估举措也作为开放源码发布了。正如在 FAIR 有多种多样的工作一样,AI 社区也有着极大的多样性。 FAIR 相信通过开放式的对话、共享工具和研究将会带来更大的进步。

通过共享知识来获取进步

在 ICLR, FAIR 提供了 7 篇论文来说明 FAIR 对话研究的质量、创新和广度。Lazaridou 等人 [6] 和 CommAI 团队 [1] 提出了使系统能够发现和使用基本沟通技巧的方向,是迈向强人工智能的第一步。Li 等人提出了 2 篇关于端对端对话系统如何使用现场对话来提升自身性能的论文 [2,5]。Bordes 等人将 bAbI 引入到面向目标场景中的端对端对话系统的测试。 FAIR 也展示了 Grave 等人和 Henaff 等人关于机器阅读的两篇论文,他们的研究实现了通过机器推动文本阅读的界限。

参考文献

[1] CommAI: Evaluating the First Steps Towards a Useful General AI, M Baroni, A Joulin, A Jabri, G Kruszewski, A Lazaridou, K Simonic, T Mikolov

[2] Dialogue Learning With Human-In-The-Loop, J Li, AH Miller, S Chopra, MA Ranzato, J Weston

[3] Improving Neural Language Models with a Continuous Cache, E Grave, A Joulin, N Usunier

[4] Learning End-to-end Goal-oriented Dialog, A Bordes, YL Boureau, J Weston

[5] Learning Through Dialogue Interactions, J Li, AH Miller, S Chopra, MA Ranzato, J Weston

[6] Multi-Agent Cooperation and the Emergence of (Natural) Language, A Lazaridou, A Peysakhovich, M Baroni

[7]「Tracking the World State with Recurrent Entity Networks,」M Henaff, J Weston, A Szlam, A Bordes, Y LeCun

via research.fb,雷锋网编译

雷锋网

除了LeCun和Bengio,还有哪些大牛也是ICLR的幕后英雄?| ICLR 2017

雷锋网AI科技评论按:4月24日-26日,ICLR 2017于法国土伦举办。雷锋网AI科技评论编辑赴前线带来该会议的一线报道。

雷锋网在此前报道中提及,ICLR 为 2013 年由深度学习大神 Yann LeCun 及 Yoshua Bengio 牵头创办,经过五年的发展,ICLR 也变得日益壮大。在开幕式上,LeCun 及高级评委会主席 Marc' Aurelio Ranzato 分别对本次会议做出贡献的组委会主要成员做出了感谢。

虽然 LeCun 在会议上调侃,“我什么也没有做,只是给钱而已。”不过这也从另一方面反映出,还有很多的组委会成员在为这个会议默默做出贡献。

那么除了大名鼎鼎的 LeCun 和 Bengio,还有哪些大牛也是组委会的一员?一起和雷锋网来看看吧。

高级评委会主席 

Marc' Aurelio Ranzato


Ranzato 此前在谷歌大脑团队工作,于 2013 年加入 FAIR 实验室担任研究科学家。师从 Yann LeCun ,从纽约大学博士毕业后,Ranzato 曾经在多伦多大学跟随 Geoffrey Hinton 进行博士后研究工作,擅长的领域为深度学习与计算机视觉。

组委会主席

Hugo Larochelle

毕业于蒙特利尔大学,师从 Yoshua Bengio。现任谷歌大脑研究科学家,任舒布卢大学助理教授,也曾经在在多伦多大学跟随 Geoffrey Hinton 进行博士后研究工作。主要的研究工作在于开发能够从数据中提取概念和抽象的算法。 Larochelle 对深层神经网络特别感兴趣,主要应用于大数据和人工智能问题,如计算机视觉和自然语言处理。

Oriol Vinyals

谷歌 DeepMind 研究科学家,此前在谷歌大脑团队工作,毕业于加州伯克利大学,主要的研究领域包括算法及理论、分布式系统及平行计算、机器智能、机器感知、机器翻译、NLP及语音识别领域。

值得一提的是,今年 ICLR 2017 的其中一篇最佳论文《Understanding deep learning requires rethinking generalization》就出自他手。

Tara N. Sainath

谷歌研究员,MIT 电子工程与计算机科学博士,专注嘈杂环境下的声学建模,此前曾经在 IBM T.J. Watson 中心的语音及语言算法团队从事五年的研究,目前主要研究领域包括机器智能、移动系统、NLP及语音识别。在 ICML 2013中,她带头组织了一个专业的深度学习session。

此外,OpenReview 团队的组织者又是何方大牛呢?根据官网提供的消息,三位都是来自马萨诸塞大学安姆斯特分校的老师,他们分别是Andrew McCallum、Melissa Bok 和 Michael Spector。

值得一提的是,Andrew McCallum 是计算机科学系教授,数据科学中心主任,他为 ICLR 2013年量身定作了 Open Review 的系统入口,有三篇论文被CiteSeer 评选为引用次数最高的论文。此外,McCallum 也是 ICML 2012的组委会主席。

以上只是 ICLR 2017 列举的其中一些重要人员,限于篇幅,Area Chair的详细资料没有全部列出,但毫无疑问,他们也对 ICLR 做出了巨大的贡献。

接下来的几天,雷锋网将持续为大家带来 ICLR 的前线报道及采访,敬请期待。

雷锋网

ICLR 论文评选吃力不讨好? arxiv-sanity上有新发现 |ICLR 2017

雷锋网AI科技评论按:ICLR 2017 将于4月24-26日在法国土伦举行,届时雷锋网AI科技评论的编辑们也将前往法国带来一线报道。在这个深度学习会议举办之前,雷锋网也将围绕会议议程及论文介绍展开一系列的覆盖和专题报道,敬请期待。

Andrej Karpathy 认为,把每篇论文在 ICLR 2017 (International Conference on Learning Representations,一个广受欢迎的深度学习会议)的入选情况(分为4种:口头报告 (oral) ,海报展示 (poster) ,进一步研讨 (workshop) ,被拒 (reject) ),和该论文被添加到 arxiv-sanity 网站的 library 的次数进行交叉比较,是一件很有趣的事情。某篇论文是否能入选 ICLR 2017 ,是由几个相应领域的领头人和审稿人,经过几个月时间的审阅后才能决定的。而在 arxiv-sanity 上参与决定的人,只有每月为此投入总共2个小时的原作者,当然还有应对投稿洪流的若干网站工作人员。现在让我们来看看这场自上而下、自下而上的战役会发生什么。

投稿论文在 ICLR 2017的入选情况可以参看OpenReview.net的情况,投稿论文共计491篇,其中15篇(3%)论文将在会上做口头报告,183篇(37.3%)论文将被制成海报在会上展览,48篇(9.8%)论文被建议进一步研讨,245篇(49.9%)论文被拒绝。 ICLR 2017将于4月24日至27日在土伦举办,届时入选的论文将在会议上进行展示。期待一睹土伦这个美丽的城市:

法国 土伦

扯远了,让我们言归正传回到文章主题上。

另一方面,作者一方的 arxiv-sanity 网站具有library功能。换言之,任何注册用户都可以在该网站上他们的 library 里添加论文,然后基于所有收藏论文全文的二元 tf-idf 特征, arxiv-sanity 将为每位用户训练出个性化的支持向量机 (Support Vector Machine) ,提供基于内容的论文推荐。例如在网站里的 library 收藏一些关于加强学习 (Reinforcement Learning)  、生成模型 (Gnerative Models) 、计算机视觉 (Computer Vision) 的论文,无论网站何时出现关于这些主题的新论文,它们都将出现在“推荐”标签中的最上方。现在 arxiv-sanity 网站上的审查池 (review pool) 总共有3195个用户——他们是 library 里收藏至少一篇论文的用户,这些用户迄今共收录了55671篇论文,平均每人17.4篇。

arxiv-sanity 网站一个很重要的特征是,用户赞同 (upvote) 一篇论文后,会产生相应的影响。因为用户收录论文的动机暗示着此论文对用户来说非常重要,所以当用户收录一篇论文时,该论文会增加该文章方向上的推荐权衡,进而影响推荐给用户的论文。

实验

长话短说, Andrej 对 ICLR 中的所有论文进行了循环,然后在 arxiv-sanity 网站上,通过尝试对收录的论文的标题进行全字符匹配,把相同的论文找出来。论文没法匹配的原因可能是,有些 ICLR 论文没有被网站收录,有些论文因为作者重命名后与原题目不匹配,或者因为题目中包含不能匹配的奇特字符等。

例如,对 ICLR 2017进行口头报告的论文进行匹配,作者得到的结果是:

15篇进行口头报告的论文,在 arxiv-sanity 网站上找到了以下10篇,附带网站里的 library 收藏数:

这里看到,在 ICLR 做口头报告的15篇论文, arxiv-sanity 收录了10篇,题目左边的数字是网站里将这篇论文添加到 library 的用户数,例如, "Reinforcement Learning with Unsupervised Auxiliary Tasks" 被64个 arxiv-sanity 用户添加到了 library 。

183篇制成海报展览的论文,在 arxiv-sanity 网站上找到了以下113篇,附带网站里的 library 收藏数:

某些论文得到了很多人的青睐,最多达到149人!然而收藏某些论文的人一个也没有。

建议进一步研讨的论文,结果如下:

48篇建议进一步研讨的论文,在 arxiv-sanity 网站上找到了以下23篇,附带网站里的 library 收藏数:

作者不打算列出总计200篇被拒绝的论文, Arxiv-sanity 用户真的非常喜欢其中一些论文,但是 ICLR 会议涉及领域的领头人和审稿人一点也不喜欢:

245篇被拒绝的论文,在 arxiv-sanity 网站上找到了以下58篇,附带网站里的 library 收藏数:

 

以上所列论文的前几篇,投稿遭到拒绝这一结局对它们来说可能不太公平。

现在另一个问题是—— ICLR 2017的投稿论文如果只由 arxiv-sanity 用户投票评选(可以在 arxiv 上找到的论文),结果会是怎么样子的呢? 这是投票结果的一个摘录:

做头口报告的论文:

制成海报展览的论文:

由 arxiv-sanity 用户投票评选的完整列表可以看这里。请注意,基于 arxiv-sanity 用户的投票评选结果,一些被拒绝的 ICLR 2017投稿论文,几乎优秀到可以进行口头报告,特别是以下这几篇:

"The Predictron: End-To-End Learning and Planning"

 "RL^2: Fast Reinforcement Learning via Slow Reinforcement Learning" 

 "Understanding intermediate layers using linear classifier probes" 

 "Hierarchical Memory Networks" 

相反地, arxiv-sanity 用户对一些入选的论文并不太喜欢,以下是完整的混乱矩阵:

 

这是文本形式的混乱矩阵,每一栏还附带了论文的标题。这矩阵看起来不太糟糕,只是双方在评选进行口头报告的论文上面分歧很大;同意制成海报展览的论文,双方分歧相对少很多;最重要的是,进行口头报告与被拒绝的论文之间的分歧非常小,同时制成海报展览的论文与被拒绝的论文之间的分歧也非常少。此外,祝贺 Max 等 ,因为 "Reinforcement Learning with Unsupervised Auxiliary Tasks" 是唯一一篇双方都同意应该进行口头报告的优秀论文:)

最后,几天前作者在媒体上看到以下这篇由卡洛斯·佩雷斯 (Carlos E. Perez) 撰写的文章 :"Ten Deserving Deep Learning Papers that were Rejected at ICLR 2017",似乎 arxiv-sanity 用户的看法与这篇文章的意见不谋而合。包括 LipNet ,在这篇文章里列出的所有论文(同样可以在 arxiv-sanity 上找到)应该成为入选论文,和 arxiv-sanity 用户的看法出奇一致。

讨论

注意:这里存在几个使结果有所偏斜的因素。例如, arxiv-sanity 用户群的大小随着时间的推移而增大,所以这些结果可能稍微偏向于后期收录在 arxiv-sanity 的论文,因为越往后收录进网站的新论文越容易引起更多用户的关注。除此之外,论文被看到的频率并不相同。例如,如果论文被有名人士转发,看到论文的人会更多,将论文添加到他们 library 的人也会更多。最后,另一个更好地说明倾斜存在的理由是,在 arxiv-sanity ,好论文的曝光率会更多,因为收录在 arxiv-sanity 的论文不是匿名的,好论文当然会得到更多的关注,在 ICLR 同样存在这种特殊情况,所以在这一点上双方没有区别。

终上所述, Andrej Karpathy从这个实验得出的结论是:哪些投稿论文可以入选 ICLR 的征兆很多。而且结果是从互联网这个自下而上的评选过程中“免费”获得的,而不用几百人用几个月时间才能得出结果。作者想对被拖延几个星期或者几个月,长时间处于巨大压力下,忍受来回辩驳痛苦的提交方或者审查方说:也许你们不需要这么痛苦。或者至少,改进的空间很大。

更多资讯请关注雷锋网。

via  medium,   雷锋网编译,头图viaJulia Manzerova@flickr

雷锋网

ICLR 2017开幕前夕,雷锋网来到土伦带你实地探营 | ICLR 2017

一年一度的ICLR,全称为「International Conference on Learning Representations」(国际学习表征会议)即将在法国当地时间4月24日—4月26日于土伦举行。今日(当地时间4月23日)ICLR 2017开幕前夕,雷锋网【AI科技评论】现场报道团队进行了实地初探,给大家带来一份接地气的参会指南。

本届大会选址在土伦市海王星国会宫(Palais des Congrès Neptune)。会场装潢并不豪华,但从八字排开的预签到工作台可见,本届人员报名热情之高,毕竟这个一年一度的会议虽然今年才办到第五届,但已经被学术研究者们广泛认可,被认为是「深度学习的顶级会议」,光Google一家投递的论文多达88篇,而组委成员 LeCun 今年也一口气向 ICLR2017 投递了五篇论文。

展区+报告厅

会场占用面积并不大,目测主题演讲与论文报告厅各一个会议厅,另外两小层为关键企业展览区,就是本次会议主要项目。

上图便是ICLR 2017主题演讲厅,位于会场三楼。会议厅门口之隐蔽,像是要走进一间小黑屋。

据雷锋网【AI科技评论】统计,这个会议厅大约可容纳700人。

象征海滨土伦的帆船与海洋之深邃的风格的舞台布景,也已经准备就绪。

而上图则是设置在会场一楼的论文报告厅,大约可容纳超过300人。在24日至26日期间,这里将持续上演310个论文报告或展示。

企业展区

本次会议参展企业并不多,分别分散在会场二层与四层。如图所示,都是些熟悉的身影。远处可见,部分展位尚未开始布置。

总体来说,场地比较简陋。

雷锋网【AI科技评论】现场观察,会议用餐区就设置在会议厅外的空置区。这样各功能区联系更紧密,午宴也是一个不可错过的交流机会。

外部景色

土伦曾是重要军港,轮船与航运成为这里的一大特色。而著名的海军博物馆及港口景色,也位于本次会场附近,可让游人近距离感受这座战争洗礼过的城市。

(未来得及拍照骗,图自网络)

好了,会议前菜到此结束。24日起,雷锋网【AI科技评论】将持续跟进大会精彩内容!

雷锋网