随机计算这个概念即将卷土重来

━━━ ━━━  

过去半个世纪以来，电子产品一直在稳步地从模拟向数字迈进。计算引领着电话、音乐录制和播放、摄像机以及无线电和电视广播的发展，在20世纪中叶基本实现了数字化。然而，计算机和人类大脑处理的许多信号都是模拟信号。模拟信号具有一些固有优点：即使包含一些小的错误，通常也并不重要。例如，没人会在意录制的交响乐中某个音符比实际上的更响亮或者更柔和，也不会有人介意图像中某个区域比现实中的稍稍明亮。人类听力和视力没有敏感到能识别这些微小的差异。

在许多情况下，电子电路不需要为了精确和可完全重复的处理方式而首先将这些模拟量转换为二进制数。如果可以将这些从模拟到数字的转换减到最少，那么就可以节省大量的能量。如果你能想出如何以节能的方式处理模拟信号，那么你就将先人一步。在电力稀缺的应用中，此项能力尤其重要，例如用于恢复听力或视力的生物医学植入物。

而数字技术的好处多于模拟技术是不可否认的，这也是为什么通常使用数字计算机来处理信号，而且处理精度比实际需求高得多——所用能量亦是如此。一种有趣且不太常见的折中方法被称为随机计算，它通过数字电路来处理模拟概率。举两个我们已经研究过的应用，这种基本已被遗忘的技术可以显著改进未来的视网膜植入物和机器学习电路，这就是我们认为随机计算即将卷土重来的原因。 

━━━ ━━━  

随机计算的起点是一个违反直觉的前提——你首先要将所需处理的数字转换成长长的随机二进制数字流，在该数字流的任何给定位置找到1的概率等于你编码的数值。虽然长长的数据流显然是数字化的，但它们模拟了模拟数字的一个关键特点：比特流中的某个小错误不会显著影响结果。而且，最重要的是，对这些比特流执行基本算术运算所用的时间虽然可能很长，但很简单并且非常节能。值得注意的另一点是，人类的神经系统通过神经脉冲序列来传递信息的方式与这些随机比特流非常相似。

考虑一个基本问题：假设你设计了一个带有两个独立控制器的调光器，每个控制器输出一个代表0到1之间分数的数值。如果一个控制器完全开启而另一个控制器处于0.5，表示你希望光线亮度达到50%。但如果两个控制器都设置为0.5，则表示希望光线以25%的亮度运行，等等。也就是说，你希望输出数值反映两个控制器的乘积。

当然，你可以使用微处理器来进行乘法计算。相反，如果两个控制器的输出以电子方式转换为0或1的随机序列，在该序列的给定位置上出现1的概率编码为当前值，情况该如何呢？例如，数字0.5可以为一个这样的比特流：1在其中随机一点出现的概率为50%，此时其他位置的值为0。

为什么要这样麻烦地转换数字？因为对这种比特流的基本算术运算非常容易完成。

想想在需要设置灯光亮度时所用的乘法。概率论的一条规则指出，两个独立事件同时发生的概率是单个事件出现概率的乘积。此处也是这个道理。如果你抛出一分硬币，它正面朝上落地的概率是50%（0.5）；抛出一角硬币的概率也是一样的。如果你同时抛出一个一分硬币和一角硬币，两者都正面朝上落地的概率是单个概率的乘积，即0.5×0.5=0.25，也就是25%。由于这一特性，只需使用一个“与”门，就可以非常容易地将两个编码为比特流的数字相乘，得到概率。

一个“与”门是一个有两个输入和一个输出的数字电路，只有在两个输入都是1时，才输出1。它只包含少量晶体管，需要很少的能量即可运行。如果能够用它做乘法，而不是对一个包含数千甚至数百万个晶体管的微处理器进行编程，就可以节省大量能源。

至于加法呢？再次假设我们有两个比特流分别表示两个数字。在这两个比特流中的任意给定位置发现1的概率分别为p₁和p₂。例如，如果其中一个比特流在60%的位置数值为1，则其表示的值是0.6。如果另一个比特流在90%的位置数值为1，那么它代表的值就是0.9。我们想要生成一个表示这两个值之和的比特流，即p₁+p₂。请记住，像所有概率一样，p₁和p₂必须始终位于0（表示不可能）和1（表示确定）之间。但是p₁+p₂则可能位于0到2之间，而任何大于1的值都不能表示概率，因此比特流不能这样编码。

为避开这一问题，只需将所需的数值（p₁+p₂）除以2即可。这样该数值就可以用一个易于计算的比特流表示：其中的每个比特都是来自两个输入比特流的随机取样数。在一半的时间里，来自第一个输入流的取样数被传至输出流；另一半的时间里，则使用来自第二个输入流的一个取样数进行传输，有效地平均两个输入。完成这种取样的电路又是一个非常基本的电路，称为多路选择器。有了它，加法变得非常简单。

同样简单的电路可以利用这些比特流执行其他算术运算。相比之下，传统的数字电路根据结果所要求精度的不同，往往需要数百乃至数千个晶体管来执行算术运算。所以随机计算提供了一种使用极小功率来完成一些复杂数学运算的方法。

━━━ ━━━  

随机计算在20世纪60年代刚刚开发出来后就受到了工程师的欢迎，因为它只用几个晶体管或逻辑门就可以计算复杂的数学函数，而晶体管在当时是相当昂贵的。但不久后随着晶体管的制造成本越来越低，随机计算和仅涉及模拟电路的解决方案的吸引力开始迅速消失。如今通用数字电路之所以发展迅速，是因为它们提供了更高的速度、性能和灵活性。

但在2005年左右，新的错误检测和错误纠正方案——低密度奇偶校验（LDPC）——刚刚普及不久后，没落的随机计算迎来了一个小小的转折。LDPC编码发明于20世纪60年代，如今广泛用于各种通信系统，包括Wi-Fi网络。但LDPC解码则是一件棘手的事情。不过由于解码涉及概率算法，因此可以使用相对简单的随机计算电路来实现。

随机电路在上述应用中的成功，以及控制功耗已成为芯片设计人员面临的最大挑战之一这样一个事实，促使我们和其他研究人员在几年前重新审视随机计算。我们想看看随机计算在现代电子时代还能发挥什么作用。

事实证明它的作用很多。除了节能之外，随机计算还具有一种被称为级进精度的独特属性。其原因在于，使用这项技术时，计算的精度取决于所用比特流的长度。例如，假设使用0110101010010111来表示分数9/16（表示在16个可能的比特位置中有9个1）。利用随机计算时，最左边的数字首先得到处理，所有的比特具有相同的重要性或权重。如果你看看这个例子的前8位01101010，你会得到数字4/8，这是对长序列的低精度估值。

用于处理随机比特流的电路，看起来是从最有意义的数字开始计算的。传统的数字电路（或纸笔计算）则采取另一种计算方式，即从最不重要的数字开始，直到最重要的数字。当普通计算机将两个二进制数相加时，计算的前几位不能先提供整体结果的近似值。

而随机计算电路的级进精度属性则意味着答案在开始就相当不错，并且随着越来越多的比特流过电路，它趋于越来越精确。因此，只要结果中出现足够的比特数，就可以结束计算，从而节省大量能源。

多少比特才足够呢？这取决于应用要求，需要高精度的应用当然需要更长的比特流，可能大到数百甚至数千比特。

但是，实际上可以达到的精度有限。这是因为要表示一个n位二进制数时，随机计算需要比特流长度至少应为2ⁿ。以8位数字为例，其中有256个可能的值。假设你想用比特流表示概率1/256，那么你需要一个至少有256位的比特流，否则在0的海洋中就找不到那个孤单的1的位置。同样，为了表示9位数字，你需要至少512位的比特流。对于10位数字，则要求1024位的比特流，以此类推。显然，这些数字的增长十分迅速。然而要知道，即便想达到计算机编程界所谓的单精度（32位）几乎都是不可能的，因为那需要处理数十亿位的数据流。

━━━ ━━━  

随机计算虽然精度低，但其计算方式与人类大脑内部的运作方式非常相似。人类的神经通路主要通过尖峰电脉冲（或称“尖峰”）的速率或频率来编码它们的信号。当这些尖峰很少且相隔很远时，表示神经通路的活性水平低；当尖峰频繁出现时，表示活性水平高。类似地，当一个比特流中的1很少且相隔很远时，该比特流对应于一个低数值；当1出现很多时，它对应一个高数值。

而且，像许多生物系统一样，随机计算电路面对多种干扰时会表现出弹性。例如，如果环境噪声源导致比特流中的某些二进制数字翻转，比特流表示的数字不会出现显著变化：通常有多少1变为0，就有多少0变成1，所以噪声会随着时间的推移而达到平均。

开始这项研究时，随机计算与生物系统的这些相似之处并没有逃过我们的眼睛。当研究随机计算的一个令人兴奋的新应用——处理视网膜植入物中的信号时，我们想到了这些相似之处。

视网膜植入物旨在恢复严重黄斑变性、视网膜色素变性和其他视网膜退行性疾病患者的视力。尽管使用电子技术恢复视力是存在已久的一个想法，但视网膜植入物的实际临床使用时间还不到10年，由于技术仍然非常不成熟，所以一直仅用来对少量患者进行试验。

大多数视网膜植入物使用相机和数字计算机捕捉和处理外部图像。这种方式非常笨拙。当患者移动眼睛并发现投射到视网膜上的图像的移动方式不符合大脑预期时，他们会产生古怪的不适感。当然，我们真正想要的是图像感应和处理在眼睛内部进行。实现这一目标的一个障碍是眼睛内部几乎没有能量来操作电子设备，唯一可用的能源是极小的感应探测线圈或光伏电池。使用传统数字电路来检测和处理图像需要相对较高的能量。即使有足够的能量来源，使用时也仍然会有问题，因为眼组织只能承受几摄氏度的升温，功耗过大会带来眼组织损伤。

出于以上原因，我们认为随机计算可能因其简单和高效而使此项应用的效果大为改善。为了测试这个想法，我们进行了一个小试验。我们设计了几个随机图像处理电路，包括一个图像边缘检测电路。（边缘检测可提高对比度，使得物体更易于感知。）不出所料，我们设计的随机电路比通常用于边缘检测的数字电路简单，而且功耗更低。

另一项仿生随机计算应用是人工神经网络，它是当今许多智能系统的核心。我们最近做了一个实验，将一个图像传感器连接到神经网络，该图像传感器的配置使其在接受训练后可识别数字，也就是说其自身的许多参数已经调整好数值，可按照特定数字对所呈现的图像进行分类。神经网络被置于一系列多层人造神经元中，上一层的输出作为下一层的输入。在我们的实验中，我们用随机电路取代了神经网络的第一个处理层。

尽管随机电路有时会给出不准确的算术结果，但是这并不重要，因为神经网络可以学会容忍这样的错误。所以我们重新训练了神经网络来处理随机误差。通过这种方式，我们可以将网络第一层使用的能量减少为原来的1/10，同时大致保持了原有数字分类的准确水平。

━━━ ━━━   

阻碍随机计算发展的因素之一是专业设计方法的缺乏。诚然，简单算术运算（例如乘法和加法）的电路设计已经很简单，但是当目标函数更复杂时，工程师们一直没有一个好的路线图。

10年前，明尼苏达大学的钱伟康（Weikang Qian，音）和马克·里德尔（Marc Riedel）提出了一项新方法来解决这个问题。基于他们的工作成果，我们最近发现了随机计算电路的另一种设计方法。它始于观察到的一种现象：一个随机电路对应一个布尔函数。“与”“或”“与非”和“或非”都是布尔函数的例子。通常它们被定义为一个数学函数，该函数有若干不同的输入值（每个输入可以是0或1）并产生一个输出；输出值是0或1，这取决于输入值。

对布尔函数进行适当的数学变换（例如，与确定音频信号的频率成分所采用的数学转换类似）显示了随机电路将如何对比特流进行操作，例如，是作为乘法器还是加法器。我们发现还可以另辟蹊径：从所需功能入手，反向进行数学转换，推导出所需的电路。

根据这一观察结果，我们研究出了一种方法，可为图像处理设计出高效的随机计算电路，其中包括执行伽玛校正的通用图像处理电路。（伽马校正用于解释人眼对图像较亮区域微小亮度差异的不敏感性）。基于这种方法，我们设计实现了一个具备伽马校正功能的小型电路（8个门）。

随机电路的效率已经很高，而与“电压调节”这一降低功耗的技术相结合后，它的效率可以更上一层楼。这种做法相当于“以偶然出现错误为代价，通过降低电压的方式来节省能源”，只是效果更加夸张。这对于随机电路来说并不是什么问题，因为随机电路可以在很低的电压下很好地工作，而传统电路则不行。例如，我们构建的伽马校正电路可以容许电压降低达40%（从1伏降至0.6伏），而不会降低精度。电压调节过大时，传统的二进制电路会彻底垮掉，而随机电路尽管精度随着电压的降低而降低，但仍可继续工作。

虽然对视网膜植入物和神经网络电路的检验使我们对随机计算的前景非常乐观，但我们仍未发现这种方法真正的杀手级应用。或许随机计算已有50年的历史，但在我们看来，它仍处于起步阶段。

作者： Armin Alaghi, John P. Hayes

IEEE Spectrum

《科技纵览》

官方微信公众平台

>>>本文为原创，转载请回复。<<<