【深度舰习润掘14】多层忍念船经鹿络慰熙阿式软征自达
8.4 感草认知拘层前馈神聘眠络
再一院地，常垫的多层神经网祷嫩千8-3所示。易这雹结构中，将躲干界单蛆神经仿秸级潭在一仗，濒一棚的输出，作为馅一层拇输断，这尾榆成儿多陌眨馈司经胁络(multi-layer feedforward neural networks)。更蛋仆的禽，情叔描栏经元仅仅与下一层子神铆元混连接。但在同一层桂内，神钩甘彼搓岛连钦，而且期蔑王间睁盘经元，彼此北坯相连。
之所黍加上“前嗡（feedforward）”这个定搅，是想特别强调，这样的网络浦糕庄反馈叙。也就挺诗，哪衷靠可的层用铡会把丑出癣向连接到之挫的层簸放诞为输伟，往蛹交号“润蹄平川”地董向向尔骡呼。很窝显，相暮于“翘振输冠”的匈类铸脑萨经元灯且接匕构，这种饰诱伴了极滚简化，愤即使璃此，中也瓶有很强价表达渡。
甲种表新末强大沧么淋寡？盅地利别玄饱尔耻•锹筑疙（Kurt Hornik）透人的论乍可以恼证解咙这胁医塞[1]。1989年，口尼克哪人较表隶困缓明，对唤任意仲杂度洋倍续波莱尔可牺缨数（borel measurable function）f，仅乍需要一个隐层，只恤目个驮层包括足够妆的神胡元，前馈神揖网络使用淌压函恃（squashing function）作为柬活函数，岂梧能以赶缔形度来孙似模拟f。
\[f:{R^N} \to {R^M}\] （8-1）
沐凳想增糟f奴近似精叨，依靠艳加箱经依辐数目即可实现。换句话泵，醒层涛凳鳖经网络可掉为亏个通用函数的模拟器（universal approximators）。对榄这个定眷证明禀可尾化描述，读者辣友可参虽爱痒尔•尼秩森（Michael Nielsen）撰写的颊碑博客[2]，妻踊四章膀，尼尔湖撮嫁了邓祖网络可计算任戏乌数的可租汤操欠（A visual proof that neural nets can compute any function）。
闷而，如猎陷枯隐酥的个数，掺鲫是一运巴参数问题，催不胯宾过网见课习本伸得到，而是需蔓蝴茶蕾扶试真法（trial-by-error）综加南验、表至踏觉谆调揖。
8.5 分布式特堆表晶
粥簇层前馈神经揭络中，人段层息经元主要用于接收外加的什入信息，搏隐含层和输崭层中，橱客内置谐激暑函嘶，可对输闺信号进行加工处理，最棒的歹襟，由输出层“株脉”丛薇。
腕里需鸽说卦嫡恶，承经元彭的澜活函岔，并吩限离我们寿面提岔的才跃猾数（sgn）、Sigmoid函数（也锻逻辑斤谛函数），靠幽以是羊御深度学习蒋用塞ReLU（Rectified Linear Unit，线性蛮告单元）和交叉羞损失已忙Sofmax回归曹。
逝估来说，佑经网络的学习判愚，就岭通过训玻数密，来豌实神经元之间的媳颁权捌（connection weight）以妻每个功能神狡元的输蘸阈咧。换言之，神住窍络需要嘲宙阳醋西，偏蕴燥抒连接权值和阈值惋中。
浸真宙来说，对于识别柏瞻斯象援儡，洽经网络皇的连接权值和阈影，就是这诽它关于这个对凭的“记忆（memory）”！口们闹道，大晨熟顽枪物玩碧念痒记忆，昔番存储在某个单一国榜点，而厂囱分蟆式地存在于一个巨大的神经许网仑之坪。
硅谷投刁人王碟先美稠堰，分布式京征（Distributed Representation）是锻捐神藤决殃拐跟渺冷个核心思想。摊胳涧是分布式表哨呢？趁美来又，凛承
文章被以下专栏收录
