极化码的入门与探索

极化码的基础先验知识

二进制输入离散无记忆信道模型(Binary-input Discreten Memoryless Channel, B-DMC)

给定B-DMC信道 W : X → Y W: \mathcal{X} \rightarrow \mathcal Y W:XY,信道转移概率(transition probability)为 W ( y ∣ x ) , x ∈ X , y ∈ y W(y|x), x \in \mathcal X, y \in \mathcal y W(yx),xX,yy。对于B-DMC信道而言,输入信号的集合一般为 X = { 0 , 1 } \mathcal X=\{0,1\} X={0,1},输出信号集合 Y \mathcal Y Y和转移概率 W ( y ∣ x ) W(y|x) W(yx)具有任意形式。

We write W N W^N WN to denote the channel correpsonding to N N N use of W W W, thus, W N : X N → Y N W^N: \mathcal{X}^N \rightarrow \mathcal Y^N WN:XNYN with W N ( x 1 N ∣ y 1 N ) = ∏ i = 1 N W ( y i ∣ x i ) W^N(x^N_1| y^N_1) = \prod_{i=1}^N W(y_i|x_i) WN(x1Ny1N)=i=1NW(yixi).
The symmetric capacity is the highest rate achievable subject to using the input letters of the channel with equal probability.

二进制离散输入信道的ML判决和错误率

二进制输入离散信道 W W W的最大似然(ML)判决指当收到符号 y y y时, x x x的值按下式判决
ML判决准则
x ^ M L = arg max ⁡ x ∈ { 0 , 1 } W ( y ∣ x ) \hat x_{ML} = \argmax_{x \in \{0,1\}} W(y|x) x^ML=x{0,1}argmaxW(yx)

ML判决的错误率的两种等价写法
P e M L ( W ) = 1 2 ∑ y ∈ Y min ⁡ { W ( y ∣ 0 ) , W ( y ∣ 1 ) } P e M L ( W ) = ∑ x , y 1 2 W ( y ∣ x ) 1 { W ( y ∣ x ) ≤ W ( y ∣ x ⊕ 1 ) } ( x , y ) \begin{aligned} P^{ML}_e(W) &= \frac{1}{2} \sum_{y \in \mathcal Y} \min \left \{W(y|0), W(y|1) \right \} \\ P^{ML}_e(W) &=\sum_{x, y} \frac{1}{2} W(y|x) \mathbb 1_{ \{ W(y|x) \leq W(y | x \oplus 1) \} } \left ( x, y \right) \end{aligned} PeML(W)PeML(W)=21yYmin{W(y∣0),W(y∣1)}=x,y21W(yx)1{W(yx)W(yx1)}(x,y)

对错误率表达式的简单理解:

B-DMC相关参数的定义和理解

对于B-DMC信道 W : X → Y W: \mathcal{X} \rightarrow \mathcal Y W:XY,相应的信道互信息(or say, symmetric capacity)、差错概率与Bhattacharyya参数(简称巴氏参数)分别定义为:
I ( W ) ≜ ∑ y ∈ Y ∑ x ∈ X 1 2 W ( y ∣ x ) log ⁡ W ( y ∣ x ) 1 2 W ( y ∣ 0 ) + 1 2 W ( y ∣ 1 ) P e ( W ) ≜ ∑ x , y 1 2 W ( y ∣ x ) 1 { W ( y ∣ x ) ≤ W ( y ∣ x ⊕ 1 ) } ( x , y ) Z ( W ) ≜ ∑ y ∈ Y W ( y ∣ 0 ) W ( y ∣ 1 ) \begin{aligned} I(W) & \triangleq \sum_{y \in \mathcal Y} \sum_{x \in \mathcal X} \frac{1}{2} W(y|x) \log \frac{W(y|x)}{ \frac{1}{2} W(y|0) + \frac{1}{2} W(y|1) } \\ P_e(W) & \triangleq \sum_{x, y} \frac{1}{2} W(y|x) \mathbb 1_{ \{ W(y|x) \leq W(y | x \oplus 1) \} } \left ( x, y \right) \\ Z(W) & \triangleq \sum_{y \in \mathcal Y} \sqrt { W(y|0) W(y|1) } \end{aligned} I(W)Pe(W)Z(W)yYxX21W(yx)log21W(y∣0)+21W(y∣1)W(yx)x,y21W(yx)1{W(yx)W(yx1)}(x,y)yYW(y∣0)W(y∣1)

这里我们证明 P e ( W ) ≤ Z ( W ) P_e(W) \leq Z(W) Pe(W)Z(W),即巴氏参数 Z ( W ) Z(W) Z(W)是ML判决差错概率的上界

证明: P e ( W ) ≤ Z ( W ) P_e(W) \leq Z(W) Pe(W)Z(W)
min ⁡ { W ( y ∣ 0 ) , W ( y ∣ 1 ) } ≤ W ( y ∣ 0 ) W ( y ∣ 1 ) \min \left \{W(y|0), W(y|1) \right \} \leq \sqrt { W(y|0) W(y|1) } min{W(y∣0),W(y∣1)}W(y∣0)W(y∣1)
即可得证。

进一步解释 I ( W ) I(W) I(W) Z ( W ) Z(W) Z(W)的物理意义

  • 互信息 I ( W ) I(W) I(W)衡量B-DMC信道W的可达速率,即输入信号先验等概条件下可靠通信的最高数据率。
  • 巴氏参数 Z ( W ) Z(W) Z(W)表示信道 W W W发送比特0或1,采用最大似然判决准则的差错概率上界

对于B-DMC信道而言, I ( W ) , Z ( W ) ∈ [ 0 , 1 ] I(W),Z(W) \in [0,1] I(W),Z(W)[0,1]

直观上讲,我们希望 I ( W ) ≈ 1 I(W) \approx 1 I(W)1 iff Z ( W ) ≈ 0 Z(W) \approx 0 Z(W)0 I ( W ) ≈ 0 I(W) \approx 0 I(W)0 iff Z ( W ) ≈ 1 Z(W) \approx 1 Z(W)1,下面将给出相关的证明。

Proposition 1: 对任意B-DMC W W W,有
I ( W ) ≥ log ⁡ 2 1 + Z ( W ) I ( W ) ≤ 1 − Z ( W ) 2 \begin{aligned} I(W) & \geq \log \frac{2}{1 + Z(W)} \\ I(W) & \leq \sqrt{1 - Z(W)^2} \end{aligned} I(W)I(W)log1+Z(W)21Z(W)2

证明(Prop. 1):
Proof of I ( W ) ≥ log ⁡ 2 1 + Z ( W ) I(W) \geq \log \frac{2}{1 + Z(W)} I(W)log1+Z(W)2: 省略。
Proof of I ( W ) ≤ 1 − Z ( W ) 2 I(W) \leq \sqrt{1 - Z(W)^2} I(W)1Z(W)2
对于B-DMC信道 W : X → Y W: \mathcal{X} \rightarrow \mathcal Y W:XY,我们首先定义
d ( W ) ≜ 1 2 ∑ y ∈ Y ∣ W ( y ∣ 0 ) − W ( y ∣ 1 ) ∣ d(W) \triangleq \frac{1}{2} \sum_{y \in \mathcal Y} \left | W(y|0) -W(y|1) \right| d(W)21yYW(y∣0)W(y∣1)

d ( W ) d(W) d(W)表示两个关于 y y y的分布 W ( y ∣ 0 ) W(y|0) W(y∣0) W ( y ∣ 1 ) W(y|1) W(y∣1)之间的变分距离(Variational Distance)。
引理-1:对任意B-DMC信道 W : X → Y W: \mathcal{X} \rightarrow \mathcal Y W:XY I ( W ) ≤ d ( W ) I(W) \leq d(W) I(W)d(W)
Proof of 引理-1:令 W W W是任意的B-DMC,其输出的集合为 Y = { 1 , ⋯   , n } \mathcal Y=\{1,\cdots,n\} Y={1,,n},且令 P i = W ( i ∣ 0 ) , Q i = W ( i ∣ 1 ) , i = 1 , 2 , ⋯   , n P_i = W(i|0),Q_i=W(i|1),i=1,2,\cdots,n Pi=W(i∣0),Qi=W(i∣1),i=1,2,,n,那么根据定义,我们有
I ( W ) = ∑ i = 1 n 1 2 [ P i log ⁡ P i 1 2 P i + 1 2 Q i + Q i log ⁡ Q i 1 2 P i + 1 2 Q i ] I(W) = \sum_{i=1}^n \frac{1}{2} \left [ P_i \log \frac{P_i}{\frac{1}{2} P_i + \frac{1}{2} Q_i} + Q_i \log \frac{Q_i}{\frac{1}{2} P_i + \frac{1}{2} Q_i} \right] I(W)=i=1n21[Pilog21Pi+21QiPi+Qilog21Pi+21QiQi]

对于上式 [ ⋅ ] [\cdot] []中的内容,我们可以定义
f ( x ) ≜ x log ⁡ x x + δ + ( x + 2 δ ) log ⁡ x + 2 δ x + δ f(x) \triangleq x \log \frac{x}{x + \delta} + (x + 2 \delta) \log \frac{x + 2 \delta}{ x + \delta} f(x)xlogx+δx+(x+2δ)logx+δx+2δ

其中 x = min ⁡ { P i , Q i } x=\min\{P_i, Q_i\} x=min{Pi,Qi} δ = 1 2 ∣ P i − Q i ∣ \delta = \frac{1}{2} |P_i - Q_i| δ=21PiQi。我们考虑在 0 ≤ x ≤ 1 − 2 δ 0 \leq x \leq 1-2 \delta 0x12δ的区间内最大化 f ( x ) f(x) f(x),计算
d f d x = 1 2 log ⁡ x ( x + 2 δ ) x + δ \frac{df}{dx} = \frac{1}{2} \log \frac{ \sqrt{x(x+2\delta)} } {x + \delta} dxdf=21logx+δx(x+2δ)

注意到,上述表达式的分子 x ( x + 2 δ ) \sqrt{x(x+2\delta)} x(x+2δ) 和分母 ( x + δ ) (x + \delta) (x+δ),分别对应两个正数 x x x ( x + 2 δ ) (x+2\delta) (x+2δ)的几何平均(geometric mean)和算数平均(arithmetic mean),因此 d f / d x ≤ 0 df/dx \leq 0 df/dx0,当 x = 0 x=0 x=0时, f ( x ) f(x) f(x)取最大,所以 f ( x ) ≤ f ( 0 ) = 2 δ f(x) \leq f(0)=2 \delta f(x)f(0)=2δ,对应的互信息满足:
I ( W ) ≤ ∑ i = 1 1 2 ∣ P i − Q i ∣ = d ( W ) I(W) \leq \sum_{i=1} \frac{1}{2} |P_i - Q_i| = d(W) I(W)i=121PiQi=d(W)

引理-2:对任意B-DMC信道 W : X → Y W: \mathcal{X} \rightarrow \mathcal Y W:XY d ( W ) ≤ 1 − Z ( W ) 2 d(W) \leq \sqrt{1 - Z(W)^2} d(W)1Z(W)2
证明从略。

因此可以得到 I ( W ) ≤ 1 − Z ( W ) 2 I(W) \leq \sqrt{1 - Z(W)^2} I(W)1Z(W)2

对称信道(symmetric channel):对于B-DMC信道 W W W,假设存在重排变换 π \pi π,对于输出信号集合 Y \mathcal Y Y,满足如下两个条件:
(1) 重排变换可逆: π − 1 = π \pi^{-1} = \pi π1=π
(2) 对于任意的 y ∈ Y y \in \mathcal Y yY W ( y ∣ 1 ) = W ( π ( y ) ∣ 0 ) W(y|1)=W(\pi(y)|0) W(y∣1)=W(π(y)∣0)
则称B-DMC信道 W W W满足对称性。(由经典信息论可知,对于对称信道 W W W,它的互信息等于信道容量,即 I ( W ) = C I(W)=C I(W)=C

这里列举两种常用的对称信道
example-1: 二元对称信道(BSC) W : X = { 0 , 1 } → Y = { 0 , 1 } W: \mathcal X=\{0,1\} \rightarrow \mathcal Y=\{0,1\} W:X={0,1}Y={0,1},其满足对称性,即
W ( 0 ∣ 0 ) = W ( 1 ∣ 1 ) W ( 1 ∣ 0 ) = W ( 0 ∣ 1 ) \begin{aligned} W(0|0) &= W(1|1) \\ W(1|0) &= W(0|1) \end{aligned} W(0∣0)W(1∣0)=W(1∣1)=W(0∣1)

example-2:二元删余信道(BEC) W : X = { 0 , 1 } → Y = { 0 , e , 1 } W: \mathcal X=\{0,1\} \rightarrow \mathcal Y=\{0,e,1\} W:X={0,1}Y={0,e,1} e e e是删除符号),也满足对称性,即
W ( 0 ∣ 0 ) = W ( 1 ∣ 1 ) W ( e ∣ 0 ) = W ( e ∣ 1 ) \begin{aligned} W(0|0) &= W(1|1) \\ W(e|0) &= W(e|1) \end{aligned} W(0∣0)W(e∣0)=W(1∣1)=W(e∣1)

其中 π ( 0 ) = 1 , π ( 1 ) = 0 , π ( e ) = e \pi(0)=1,\pi(1)=0,\pi(e)=e π(0)=1,π(1)=0,π(e)=e

符号的定义
我们定义 a 1 N a^N_1 a1N表示向量 ( a 1 , ⋯   , a N ) (a_1,\cdots, a_N) (a1,,aN),给定行向量 a 1 N a^N_1 a1N,我们记 a i j a^j_i aij为子向量 ( a i , ⋯   , a j ) , 1 ≤ i ≤ j ≤ N (a_i, \cdots, a_j), 1 \leq i \leq j \leq N (ai,,aj),1ijN。给定 a 1 N a^N_1 a1N和集合 A ⊂ { 1 , ⋯   , N } \mathcal A \subset \{1, \cdots, N\} A{1,,N},我们用 a A a_{\mathcal A} aA来指定子向量 ( a i , i ∈ A ) (a_i ,i \in \mathcal A) (ai,iA)。我们记 a 1 , o j a^j_{1,o} a1,oj来指明奇数索引(odd indices) ( a k , 1 ≤ k ≤ j ; k  odd ) (a_k, 1 \leq k \leq j; k \text{ odd}) (ak,1kj;k odd),类似地,记 a 1 , e j a^j_{1,e} a1,ej来指明偶数索引(even indices) ( a k , 1 ≤ k ≤ j ; k  even ) (a_k, 1 \leq k \leq j; k \text{ even}) (ak,1kj;k even)

两信道极化

首先给出一个二元删余信道(BEC)的两信道极化示例,如下图所示

图(a)给出了删余率 ϵ = 0.5 \epsilon=0.5 ϵ=0.5的BEC信道的映射关系 W : X = { 0 , 1 } → Y = { 0 , e , 1 } W: \mathcal X=\{0,1\} \rightarrow \mathcal Y=\{0, e, 1\} W:X={0,1}Y={0,e,1},其信道互信息为 I ( W ) = 0.5 I(W)=0.5 I(W)=0.5,巴氏参数 Z ( W ) = 0.5 Z(W)=0.5 Z(W)=0.5

图(b)是2信道极化的过程, u 1 , u 2 ∈ { 0 , 1 } u_1,u_2 \in \{0,1\} u1,u2{0,1}是输入信道的两比特, x 1 , x 2 ∈ { 0 , 1 } x_1, x_2 \in \{0,1\} x1,x2{0,1}是经过模2加编码后的两比特,将其分别送入信道 W W W后得到 y 1 , y 2 ∈ Y y_1,y_2 \in \mathcal Y y1,y2Y两个输出信号。对应的编码过程为
( x 1 , x 2 ) = ( u 1 , u 2 ) [ 1 0 1 1 ] = ( u 1 , u 2 ) F 2 (x_1, x_2) = (u_1, u_2) \left[ \begin{matrix} 1& 0\\ 1& 1\\ \end{matrix} \right] = (u_1, u_2) \boldsymbol F_2 (x1,x2)=(u1,u2)[1101]=(u1,u2)F2

通过矩阵 F 2 \boldsymbol F_2 F2极化操作,将一对独立信道 ( W , W ) (W,W) (W,W)变换为两个相关的子信道 ( W − , W + ) (W^{-}, W^{+}) (W,W+),其中

  • W − : X → Y 2 W^{-}: \mathcal X \rightarrow \mathcal Y^2 W:XY2 (信道的输入输出关系对应上图中的虚线)
  • W + : X → Y 2 × X W^{+}: \mathcal X \rightarrow \mathcal Y^2 \times \mathcal X W+:XY2×X(信道的输入输出关系对应上图中的点划线)

两个子信道的互信息满足下面的关系:
I ( W − ) ≤ I ( W ) ≤ I ( W + ) Z ( W − ) ≥ Z ( W ) ≥ Z ( W + ) \begin{aligned} I(W^{-}) & \leq I(W) \leq I(W^{+}) \\ Z(W^{-}) & \geq Z(W) \geq Z(W^{+}) \end{aligned} I(W)Z(W)I(W)I(W+)Z(W)Z(W+)

由于 I ( W − ) ≤ I ( W + ) I(W^{-}) \leq I(W^{+}) I(W)I(W+),这两个子信道产生了分化, W + W^+ W+是好信道, W − W^- W是差信道,这就是极化现象。我们称矩阵 F 2 \boldsymbol F_2 F2 2 × 2 2 \times 2 2×2极化核(或称为二阶极化核

对于一般的B-DMC信道 W W W,两信道极化是普遍存在的,有如下定理

定理1:对于两信道极化变换 ( W , W ) ↦ ( W − , W + ) (W,W) \mapsto (W^-, W^+) (W,W)(W,W+),相应的极化子信道互信息满足:
I ( W − ) + I ( W + ) = 2 I ( W ) I ( W − ) ≤ I ( W ) ≤ I ( W + ) \begin{aligned} I(W^-) &+ I(W^+) = 2 I(W) \\ I(W^-) & \leq I(W) \leq I(W^+) \end{aligned} I(W)I(W)+I(W+)=2I(W)I(W)I(W+)
当且仅当 I ( W ) = 0 , 1 I(W)=0,1 I(W)=0,1时,等号成立。

证明:给定B-DMC信道 W : X → Y W: \mathcal X \rightarrow \mathcal Y W:XY,经过两信道极化变换 ( u 1 , u 2 ) → ( u 1 ⊕ u 2 , u 2 ) = ( x 1 , x 2 ) (u_1, u_2) \rightarrow (u_1 \oplus u_2, u_2)=(x_1, x_2) (u1,u2)(u1u2,u2)=(x1,x2),得到的复合信道 W × W : X 2 → Y 2 W \times W: \mathcal X^2 \rightarrow \mathcal Y^2 W×W:X2Y2分解为两个极化子信道 W − : X → Y 2 W^-: \mathcal X \rightarrow \mathcal Y^2 W:XY2 W + : X → Y 2 × X W^+: \mathcal X \rightarrow \mathcal Y^2 \times \mathcal X W+:XY2×X

复合信道 W × W W\times W W×W的转移概率为
W ( y 1 , y 2 ∣ u 1 , u 2 ) = W ( y 2 ∣ u 2 ) W ( y 1 ∣ u 2 ⊕ u 1 ) = W ( y 2 ∣ x 2 ) W ( y 1 ∣ x 1 ) \begin{aligned} W(y_1, y_2| u_1, u_2) &= W(y_2|u_2) W(y_1 | u_2 \oplus u_1) \\ &= W(y_2|x_2) W(y_1 | x_1) \end{aligned} W(y1,y2u1,u2)=W(y2u2)W(y1u2u1)=W(y2x2)W(y1x1)

对于极化子信道 W − : X → Y 2 W^-:\mathcal X \rightarrow \mathcal Y^2 W:XY2,转移概率为
W 2 ( 1 ) ( y 1 , y 2 ∣ u 1 ) = ∑ u 2 = 0 1 P ( y 1 , y 2 , u 1 , u 2 ) P ( u 1 ) = ∑ u 2 = 0 1 P ( u 1 ) P ( u 2 ) W ( y 1 , y 2 ∣ u 1 , u 2 ) P ( u 1 ) = ∑ u 2 = 0 1 1 2 W ( y 1 , y 2 ∣ u 1 , u 2 ) = ∑ u 2 = 0 1 1 2 W ( y 2 ∣ u 2 ) W ( y 1 ∣ u 2 ⊕ u 1 ) \begin{aligned} W^{(1)}_2(y_1, y_2|u_1) &= \frac{ \sum_{u_2=0}^1 P(y_1, y_2, u_1, u_2) } {P(u_1)} \\ &= \frac{ \sum_{u_2=0}^1 P(u_1) P(u_2) W(y_1, y_2| u_1, u_2) } {P(u_1)} \\ &= \sum_{u_2=0}^1 \frac{1}{2} W(y_1, y_2|u_1, u_2) \\ &= \sum_{u_2=0}^1 \frac{1}{2} W(y_2|u_2) W(y_1 | u_2 \oplus u_1) \end{aligned} W2(1)(y1,y2u1)=P(u1)u2=01P(y1,y2,u1,u2)=P(u1)u2=01P(u1)P(u2)W(y1,y2u1,u2)=u2=0121W(y1,y2u1,u2)=u2=0121W(y2u2)W(y1u2u1)

对于极化子信道 W + : X → Y 2 × X W^+: \mathcal X \rightarrow \mathcal Y^2 \times \mathcal X W+:XY2×X,转移概率为
W 2 ( 2 ) ( y 1 , y 2 , u 1 ∣ u 2 ) = P ( y 1 , y 2 , u 1 , u 2 ) P ( u 2 ) = 1 2 W ( y 1 , y 2 ∣ u 1 , u 2 ) = 1 2 W ( y 2 ∣ u 2 ) W ( y 1 ∣ u 2 ⊕ u 1 ) \begin{aligned} W^{(2)}_2(y_1, y_2,u_1|u_2) &= \frac{ P(y_1, y_2, u_1, u_2) } {P(u_2)} \\ &= \frac{1}{2} W(y_1, y_2|u_1, u_2) \\ &= \frac{1}{2} W(y_2|u_2) W(y_1 | u_2 \oplus u_1) \end{aligned} W2(2)(y1,y2,u1u2)=P(u2)P(y1,y2,u1,u2)=21W(y1,y2u1,u2)=21W(y2u2)W(y1u2u1)

根据互信息链式法则
I ( U 1 , U 2 ; Y 1 , Y 2 ) = I ( U 1 ; Y 1 , Y 2 ) + I ( U 2 ; Y 1 , Y 2 ∣ U 1 ) I(U_1,U_2;Y_1,Y_2) = I(U_1; Y_1, Y_2) + I(U_2;Y_1,Y_2|U_1) I(U1,U2;Y1,Y2)=I(U1;Y1,Y2)+I(U2;Y1,Y2U1)

我们不难发现, I ( U 1 ; Y 1 , Y 2 ) I(U_1; Y_1, Y_2) I(U1;Y1,Y2)就是极化子信道 W − W^- W的互信息, I ( U 2 ; Y 1 , Y 2 ∣ U 1 ) I(U_2;Y_1,Y_2|U_1) I(U2;Y1,Y2U1)的条件互信息为:
I ( U 2 ; Y 1 , Y 2 ∣ U 1 ) = ∑ y 1 , y 2 ∑ u 1 , u 2 P ( y 1 , y 2 , u 1 , u 2 ) log ⁡ P ( y 1 , y 2 ∣ u 1 ; u 2 ) P ( y 1 , y 2 ∣ u 1 ) P ( u 2 ) = ∑ y 1 , y 2 ∑ u 1 , u 2 P ( y 1 , y 2 , u 1 , u 2 ) log ⁡ P ( y 1 , y 2 ∣ u 1 , u 2 ) P ( y 1 , y 2 ∣ u 1 ) = ∑ y 1 , y 2 ∑ u 1 , u 2 P ( y 1 , y 2 , u 1 , u 2 ) log ⁡ P ( y 1 , y 2 , u 1 ∣ u 2 ) ⋅ P ( u 2 ) P ( u 1 ) P ( u 2 ) P ( y 1 , y 2 , u 1 ) P ( u 1 ) = ∑ y 1 , y 2 ∑ u 1 , u 2 P ( y 1 , y 2 , u 1 , u 2 ) log ⁡ P ( y 1 , y 2 , u 1 ∣ u 2 ) P ( y 1 , y 2 , u 1 ) = I ( U 2 ; Y 1 , Y 2 , U 1 ) = I ( W + ) \begin{aligned} I(U_2;Y_1,Y_2|U_1) &= \sum_{y_1,y_2} \sum_{u_1, u_2} P(y_1,y_2,u_1,u_2) \log \frac{P(y_1,y_2|u_1; u_2)}{P(y_1,y_2|u_1) P(u_2)} \\ &= \sum_{y_1,y_2} \sum_{u_1, u_2} P(y_1,y_2,u_1,u_2) \log \frac{P(y_1,y_2|u_1, u_2)}{P(y_1,y_2|u_1)} \\ &= \sum_{y_1,y_2} \sum_{u_1, u_2} P(y_1,y_2,u_1,u_2) \log \frac{P(y_1,y_2,u_1|u_2) \cdot \frac{P(u_2)}{P(u_1)P(u_2)}} { \frac{P(y_1,y_2,u_1)}{P(u_1)} } \\ &= \sum_{y_1,y_2} \sum_{u_1, u_2} P(y_1,y_2,u_1,u_2) \log \frac{P(y_1,y_2,u_1|u_2)} {P(y_1,y_2,u_1)} \\ &= I(U_2; Y_1,Y_2,U_1) = I(W^+) \end{aligned} I(U2;Y1,Y2U1)=y1,y2u1,u2P(y1,y2,u1,u2)logP(y1,y2u1)P(u2)P(y1,y2u1;u2)=y1,y2u1,u2P(y1,y2,u1,u2)logP(y1,y2u1)P(y1,y2u1,u2)=y1,y2u1,u2P(y1,y2,u1,u2)logP(u1)P(y1,y2,u1)P(y1,y2,u1u2)P(u1)P(u2)P(u2)=y1,y2u1,u2P(y1,y2,u1,u2)logP(y1,y2,u1)P(y1,y2,u1u2)=I(U2;Y1,Y2,U1)=I(W+)

代入到链式法则中,可以得到 I ( U 1 , U 2 ; Y 1 , Y 2 ) = I ( W − ) + I ( W + ) I(U_1,U_2;Y_1,Y_2)=I(W^-)+I(W^+) I(U1,U2;Y1,Y2)=I(W)+I(W+)

另外,因为
I ( U 1 , U 2 ; Y 1 , Y 2 ) = I ( X 1 , X 2 ; Y 1 , Y 2 ) = I ( X 1 ; Y 1 ) + I ( X 2 ; Y 2 ) = 2 I ( W ) I(U_1,U_2;Y_1,Y_2)=I(X_1,X_2;Y_1,Y_2) = I(X_1;Y_1) + I(X_2;Y_2) = 2I(W) I(U1,U2;Y1,Y2)=I(X1,X2;Y1,Y2)=I(X1;Y1)+I(X2;Y2)=2I(W)

所以 I ( W − ) + I ( W + ) = 2 I ( W ) I(W^-)+I(W^+)=2I(W) I(W)+I(W+)=2I(W)

对于极化子信道的互信息,利用链式法则,可以进一步展开为
I ( W + ) = I ( U 2 ; Y 1 , Y 2 , U 1 ) = I ( U 2 ; Y 2 ) + I ( U 2 ; Y 1 , U 1 ∣ Y 2 ) = I ( W ) + I ( U 2 ; Y 1 , U 1 ∣ Y 2 ) \begin{aligned} I(W^+) &= I(U_2; Y_1, Y_2, U_1) \\ &= I(U_2; Y_2) + I(U_2; Y_1, U_1|Y_2) \\ &= I(W) + I(U_2; Y_1, U_1|Y_2) \end{aligned} I(W+)=I(U2;Y1,Y2,U1)=I(U2;Y2)+I(U2;Y1,U1Y2)=I(W)+I(U2;Y1,U1Y2)

因为 I ( U 2 ; Y 1 , U 1 ∣ Y 2 ) ≥ 0 I(U_2; Y_1, U_1|Y_2) \geq 0 I(U2;Y1,U1Y2)0,因此 I ( W + ) ≥ I ( W ) I(W^+) \geq I(W) I(W+)I(W),又因为 I ( W − ) + I ( W + ) = 2 I ( W ) I(W^-)+I(W^+)=2I(W) I(W)+I(W+)=2I(W),所以必然有 I ( W ) ≥ I ( W − ) I(W) \geq I(W^-) I(W)I(W)
证毕!

由定理-1可知,两信道极化变换后的复合信道 ( W − , W + ) (W^-,W^+) (W,W+)的容量等于两个独立信道 W W W的容量和,容量保持不变没有损失。

定理-2:对于两信道极化变换 ( W , W ) ↦ ( W − , W + ) (W,W) \mapsto (W^-, W^+) (W,W)(W,W+),相应的极化子信道的巴氏参数满足:
Z ( W + ) = Z 2 ( W ) Z ( W − ) ≤ 2 Z ( W ) − Z 2 ( W ) Z ( W + ) ≤ Z ( W ) ≤ Z ( W − ) \begin{aligned} Z(W^+) &= Z^2(W) \\ Z(W^-) &\leq 2 Z(W) - Z^2(W) \\ Z(W^+) &\leq Z(W) \leq Z(W^-) \end{aligned} Z(W+)Z(W)Z(W+)=Z2(W)2Z(W)Z2(W)Z(W)Z(W)

证明:略。

定理-2表明,经过两信道极化后,整个复合信道的可靠性得到了提升,巴氏参数满足如下关系
Z ( W − ) + Z ( W + ) ≤ 2 Z ( W ) Z(W^-)+Z(W^+) \leq 2 Z(W) Z(W)+Z(W+)2Z(W)

当且仅当 W W W是BEC信道时,等号成立。

小结
两信道极化是理解极化码的基础,经过简单的编码操作,构成了复合信道 ( W − , W + ) (W^-,W^+) (W,W+),然后进一步分解为有相关性的两个极化子信道 W − W^- W W + W^+ W+,由定理-1可知,两信道和容量不发生变化,只是单个信道容量在两个极化子信道之间偏移,产生一好一差两极化分化。而由定理-2可知,两信道的巴氏参数和减小,意味着可靠性提升。

N信道极化的解释

长度为 N = 2 n N=2^n N=2n的极化码是长度为2的极化码的扩展,即长度为2的极化码产生的极化信道 W 2 ( 1 ) W^{(1)}_2 W2(1) W 2 2 W^{2}_2 W22被当作另一个长度为2的极化码的 W W W。一个长度为4的极化码的极化过程入下图所示,其中 ( u 1 , u 2 , u 3 , u 4 ) (u_1,u_2,u_3,u_4) (u1,u2,u3,u4)是信源比特, ( x 1 , x 2 , x 3 , x 4 ) (x_1,x_2,x_3,x_4) (x1,x2,x3,x4)是码字比特。按照图中的走线,编码过程从左往右看,极化过程从右向左看

N = 2 N=2 N=2时,极化过程可以表示为 ( W , W ) → ( W 2 ( 1 ) , W 2 ( 2 ) ) (W,W) \rightarrow (W^{(1)}_2, W^{(2)}_2) (W,W)(W2(1),W2(2)),当 N = 4 N=4 N=4时, ( W 2 ( 1 ) , W 2 ( 1 ) ) → ( W 4 ( 1 ) , W 4 ( 2 ) ) , ( W 2 ( 2 ) , W 2 ( 2 ) ) → ( W 4 ( 3 ) , W 4 ( 4 ) ) (W^{(1)}_2, W^{(1)}_2) \rightarrow (W^{(1)}_4, W^{(2)}_4), (W^{(2)}_2, W^{(2)}_2) \rightarrow (W^{(3)}_4, W^{(4)}_4) (W2(1),W2(1))(W4(1),W4(2)),(W2(2),W2(2))(W4(3),W4(4))

一般来讲,这个规律是: ( W N ( i ) , W N ( i ) ) → ( W 2 N ( 2 i − 1 ) , W 2 N ( 2 i ) ) (W^{(i)}_N, W^{(i)}_N) \rightarrow (W^{(2i-1)}_{2N}, W^{(2i)}_{2N}) (WN(i),WN(i))(W2N(2i1),W2N(2i)),其中 W N ( i ) W^{(i)}_N WN(i)是长度为 N N N的极化码的第 i i i个极化信道,而 W 2 N ( 2 i − 1 ) W^{(2i-1)}_{2N} W2N(2i1) W 2 N ( 2 i ) ) W^{(2i)}_{2N}) W2N(2i))是长度为 2 N 2N 2N的极化码的第 ( 2 i − 1 ) (2i-1) (2i1) 2 i 2i 2i个极化信道。

依照这个规律,一个长度为8的极化过程如下图所示,其中 ( u 1 , u 2 , ⋯   , u 8 ) (u_1,u_2,\cdots,u_8) (u1,u2,,u8)是信源比特, ( x 1 , x 2 , ⋯   , x 8 ) (x_1,x_2,\cdots,x_8) (x1,x2,,x8)是码字比特。

接下来,我们尝试寻找极化码编码过程或极化过程的通用描述,如上面两张图所示,由‘ ⊕ \oplus ’和‘走线’构成的图称为长度为 N N N的极化码的编码图,表示这张图的矩阵被称为生成矩阵 G N \boldsymbol G_N GN。当 N = 2 N=2 N=2时,生成矩阵 G 2 = F = [ 1 0 1 1 ] \boldsymbol G_2 = \boldsymbol F= \left[ \begin{matrix} 1& 0\\ 1& 1\\ \end{matrix} \right] G2=F=[1101].

我们参考【长度为8的极化码】进行解读。长度为 N N N的极化码编码图的最左列是竖着排列的 N 2 \frac{N}{2} 2N个长度为2的极化码的编码图,所有这 N 2 \frac{N}{2} 2N长度为2的极化码的第1个码字比特 ( u 1 ⊕ u 2 , u 3 ⊕ u 4 , ⋯   , u N − 1 ⊕ u N ) (u_1 \oplus u_2, u_3 \oplus u_4, \cdots, u_{N-1} \oplus u_N) (u1u2,u3u4,,uN1uN)被置换到上一半,所有这 N 2 \frac{N}{2} 2N长度为2的极化码的第2个码字比特 ( u 2 , u 4 , ⋯   , u N ) (u_2,u_4,\cdots,u_N) (u2,u4,,uN)被置换到下一半。从左侧数【第2列至第n列】的 上半部分是要给长度为 N 2 \frac{N}{2} 2N的极化码的编码图(这就是极化码编码图的递归规律),写成矩阵乘法的形式为:
G N = ( I N / 2 ⊗ F ) R N ( I 2 ⊗ G N / 2 ) \boldsymbol G_N = \left ( \boldsymbol I_{N/2} \otimes \boldsymbol F \right) \boldsymbol R_N \left (\boldsymbol I_2 \otimes \boldsymbol G_{N/2} \right) GN=(IN/2F)RN(I2GN/2)

定义:极化码编码
长度为 N N N的极化码的编码过程可以写为 G F ( 2 ) GF(2) GF(2)上的矩阵乘法:
x 1 N = u 1 N G N \boldsymbol x^N_1 = \boldsymbol u^N_1 \boldsymbol G_N x1N=u1NGN

定义:极化信道
i i i个信源比特 u i u_i ui所经历的第 i i i个极化信道具有如下的条件分布,这个条件分布表示为
W N ( i ) ( y 1 N , u 1 i − 1 ∣ u i ) = Pr ( y 1 N , u 1 i ) / Pr ( u i ) = 2 ∑ u i + 1 N Pr ( y 1 N , u 1 N ) = 2 Pr ( u 1 N ) ∑ u i + 1 N Pr ( y 1 N ∣ u 1 N ) = 1 2 N − 1 ∑ u i + 1 N Pr ( y 1 N ∣ x 1 N ) = ( a ) 1 2 N − 1 ∑ u i + 1 N ∏ i = 1 N W ( y i ∣ x i ) \begin{aligned} W^{(i)}_N (\boldsymbol y^N_1, \boldsymbol u^{i-1}_1 | u_i) &= \text{Pr} (\boldsymbol y^N_1, \boldsymbol u^{i}_1) / \text{Pr}(u_i) \\ &= 2 \sum_{ u_{i+1}^N } \text{Pr} (\boldsymbol y^N_1, \boldsymbol u^N_1) = \frac{2}{ \text{Pr}(\boldsymbol u^N_1) } \sum_{ u_{i+1}^N } \text{Pr} (\boldsymbol y^N_1 | \boldsymbol u^N_1) \\ &= \frac{1}{2^{N-1}} \sum_{ u_{i+1}^N } \text{Pr} (\boldsymbol y^N_1 | \boldsymbol x^N_1) \overset{(a)}{=} \frac{1}{2^{N-1}} \sum_{ u_{i+1}^N } \prod_{i=1}^N W ( y_i | x_i) \end{aligned} WN(i)(y1N,u1i1ui)=Pr(y1N,u1i)/Pr(ui)=2ui+1NPr(y1N,u1N)=Pr(u1N)2ui+1NPr(y1Nu1N)=2N11ui+1NPr(y1Nx1N)=(a)2N11ui+1Ni=1NW(yixi)

其中 x 1 N = u 1 N G N \boldsymbol x^N_1 = \boldsymbol u^N_1 \boldsymbol G_N x1N=u1NGN,等号(a)是因为信道 W W W是无记忆的。上式中 W N ( i ) W^{(i)}_N WN(i)表示概率集函数,相当于 Pr \text{Pr} Pr,也用来代指第 i i i个极化信道。如同转移概率 W ( y ∣ x ) W(y|x) W(yx)的定义一样,信道 W N ( i ) ( y 1 N , u 1 i − 1 ∣ u i ) W^{(i)}_N (\boldsymbol y^N_1, \boldsymbol u^{i-1}_1 | u_i) WN(i)(y1N,u1i1ui)的【输入】是 u i u_i ui,【输出】是 y 1 N \boldsymbol y^N_1 y1N u 1 i − 1 \boldsymbol u^{i-1}_1 u1i1,即极化信道 W N i W^{i}_N WNi不仅能观测到【物理信道 W W W】的输出 y 1 N \boldsymbol y^N_1 y1N,还能观测到比特值 ( u 1 , u 2 , ⋯   , u i − 1 ) (u_1,u_2,\cdots,u_{i-1}) (u1,u2,,ui1)。这是因为极化码使用串行抵消译码,当从 u 1 u_1 u1开始逐一估计信源比特,直到 u N u_N uN。因此,在译码 u i u_i ui时, ( u 1 , u 2 , ⋯   , u i − 1 ) (u_1,u_2,\cdots,u_{i-1}) (u1,u2,,ui1)的值都已经获得,被当作译码 u i u_i ui所需要的反馈。

定义:极化信道的递归关系
在长度为 N N N的极化码中,极化信道具有如下的递归关系
W N ( 2 i − 1 ) ( y 1 N , u 1 2 i − 2 ∣ u 2 i − 1 ) = 1 2 ∑ u 2 i W N / 2 ( i ) ( y 1 N / 2 , u 1 , o 2 i − 2 ⊕ u 1 , e 2 i − 2 ∣ u 2 i − 1 ⊕ u 2 i ) W N / 2 ( i ) ( y N / 2 + 1 N , u 1 , e 2 i − 2 ∣ u 2 i ) W N ( 2 i ) ( y 1 N , u 1 2 i − 1 ∣ u 2 i ) = 1 2 W N / 2 ( i ) ( y 1 N / 2 , u 1 , o 2 i − 2 ⊕ u 1 , e 2 i − 2 ∣ u 2 i − 1 ⊕ u 2 i ) W N / 2 ( i ) ( y N / 2 + 1 N , u 1 , e 2 i − 2 ∣ u 2 i ) \begin{aligned} W^{(2i-1)}_N (\boldsymbol y^N_1, \boldsymbol u^{2i-2}_1 | u_{2i-1}) &= \frac{1}{2} \sum_{u_{2i}} W^{(i)}_{N/2} (\boldsymbol y^{N/2}_1, \boldsymbol u^{2i-2}_{1,o} \oplus \boldsymbol u^{2i-2}_{1,e} | u_{2i-1} \oplus u_{2i}) W^{(i)}_{N/2} (\boldsymbol y^N_{N/2 + 1}, \boldsymbol u^{2i-2}_{1,e} | u_{2i}) \\ W^{(2i)}_N (\boldsymbol y^N_1, \boldsymbol u^{2i-1}_1 | u_{2i}) &= \frac{1}{2} W^{(i)}_{N/2} (\boldsymbol y^{N/2}_1, \boldsymbol u^{2i-2}_{1,o} \oplus \boldsymbol u^{2i-2}_{1,e} | u_{2i-1} \oplus u_{2i}) W^{(i)}_{N/2} (\boldsymbol y^N_{N/2 + 1}, \boldsymbol u^{2i-2}_{1,e} | u_{2i}) \end{aligned} WN(2i1)(y1N,u12i2u2i1)WN(2i)(y1N,u12i1u2i)=21u2iWN/2(i)(y1N/2,u1,o2i2u1,e2i2u2i1u2i)WN/2(i)(yN/2+1N,u1,e2i2u2i)=21WN/2(i)(y1N/2,u1,o2i2u1,e2i2u2i1u2i)WN/2(i)(yN/2+1N,u1,e2i2u2i)

下面我们通过这张图,来进一步解释上面两个式子

如果一个比特是 u 2 i − 1 u_{2i-1} u2i1,那么它必然和 u 2 i u_{2i} u2i位于同一个2 x 2 极化模块的输入端。在极化码编码图的第一列中, u 2 i − 1 u_{2i-1} u2i1 u 2 i u_{2i} u2i对应的2 x 2极化模块就是第 i i i个极化模块。不难看出, u 2 i − 1 u_{2i-1} u2i1 u 2 i u_{2i} u2i对应的2 x 2极化模块之前还有 i − 1 i-1 i1个2 x 2极化模块,这些前面的极化模块对应的是 ( u 1 , u 2 ) , ⋯   , ( u 2 i − 3 , u 2 i − 2 ) (u_1,u_2), \cdots, (u_{2i-3}, u_{2i-2}) (u1,u2),,(u2i3,u2i2)

u 2 i − 1 u_{2i-1} u2i1 u 2 i u_{2i} u2i对应的2 x 2极化模块右侧的两根走线分别连接到两个长度为 N / 2 N/2 N/2的极化码中的第 i i i个极化信道,被连接的极化信道恰好都是长度为 N / 2 N/2 N/2的极化码中的第 i i i个极化信道。 W N / 2 ( i ) ( y 1 N / 2 , u 1 , o 2 i − 2 ⊕ u 1 , e 2 i − 2 ∣ u 2 i − 1 ⊕ u 2 i ) W^{(i)}_{N/2}( \boldsymbol y^{N/2}_1, \boldsymbol u^{2i-2}_{1,o} \oplus \boldsymbol u^{2i-2}_{1,e} | u_{2 i -1} \oplus u_{2i} ) WN/2(i)(y1N/2,u1,o2i2u1,e2i2u2i1u2i)能观测到 y 1 N / 2 \boldsymbol y^{N/2}_1 y1N/2是显然的;还能观测到 u 1 , o 2 i − 2 ⊕ u 1 , e 2 i − 2 \boldsymbol u^{2i-2}_{1,o} \oplus \boldsymbol u^{2i-2}_{1,e} u1,o2i2u1,e2i2也是显然的,因为 u 1 ⊕ u 2 , u 3 ⊕ u 4 , ⋯   , u 2 i − 3 ⊕ u 2 i − 2 u_1 \oplus u_2, u_3 \oplus u_4, \cdots , u_{2i-3} \oplus u_{2i-2} u1u2,u3u4,,u2i3u2i2 u 2 i − 1 u_{2i-1} u2i1 u 2 i u_{2i} u2i对应的2 x 2极化模块之前的 i − 1 i-1 i1个2 x 2极化模块所输送,注意到,极化码的串行抵消译码是序贯译码,在译码 u 2 i − 1 u_{2i-1} u2i1时, u 1 u_1 u1 u 2 i − 2 u_{2i-2} u2i2的值都已经获得,而 u 1 , o 2 i − 2 ⊕ u 1 , e 2 i − 2 \boldsymbol u^{2i-2}_{1,o} \oplus \boldsymbol u^{2i-2}_{1,e} u1,o2i2u1,e2i2只不过是利用 u 1 u_1 u1 u 2 i − 2 u_{2i-2} u2i2的值算出的结果而已; W N / 2 ( i ) ( y 1 N / 2 , u 1 , o 2 i − 2 ⊕ u 1 , e 2 i − 2 ∣ u 2 i − 1 ⊕ u 2 i ) W^{(i)}_{N/2}( \boldsymbol y^{N/2}_1, \boldsymbol u^{2i-2}_{1,o} \oplus \boldsymbol u^{2i-2}_{1,e} | u_{2 i -1} \oplus u_{2i} ) WN/2(i)(y1N/2,u1,o2i2u1,e2i2u2i1u2i)的输入为 u 2 i − 1 ⊕ u 2 i u_{2 i -1} \oplus u_{2i} u2i1u2i,这是因为 u 2 i − 1 ⊕ u 2 i u_{2 i -1} \oplus u_{2i} u2i1u2i对应的2 x 2极化模块将计算结果之一 u 2 i − 1 ⊕ u 2 i u_{2 i -1} \oplus u_{2i} u2i1u2i送入了该信道作为输入。

W N / 2 ( i ) ( y N / 2 + 1 N , u 1 , e 2 i − 2 ∣ u 2 i ) W^{(i)}_{N/2} (\boldsymbol y^N_{N/2 + 1}, \boldsymbol u^{2i-2}_{1,e} | u_{2i}) WN/2(i)(yN/2+1N,u1,e2i2u2i)的含义按上一段类推,同理可得。

从而,把 W N / 2 ( i ) ( y 1 N / 2 , u 1 , o 2 i − 2 ⊕ u 1 , e 2 i − 2 ∣ u 2 i − 1 ⊕ u 2 i ) W^{(i)}_{N/2}( \boldsymbol y^{N/2}_1, \boldsymbol u^{2i-2}_{1,o} \oplus \boldsymbol u^{2i-2}_{1,e} | u_{2 i -1} \oplus u_{2i} ) WN/2(i)(y1N/2,u1,o2i2u1,e2i2u2i1u2i) W N / 2 ( i ) ( y N / 2 + 1 N , u 1 , e 2 i − 2 ∣ u 2 i ) W^{(i)}_{N/2} (\boldsymbol y^N_{N/2 + 1}, \boldsymbol u^{2i-2}_{1,e} | u_{2i}) WN/2(i)(yN/2+1N,u1,e2i2u2i)视为 W W W,把 u 2 i u_{2i} u2i视为 u 2 u_2 u2,代入到2x2极化子信道 W − : X → Y 2 W^{-}: \mathcal X \rightarrow \mathcal Y^2 W:XY2 W + : X → Y 2 × X W^{+}: \mathcal X \rightarrow \mathcal Y^2 \times \mathcal X W+:XY2×X中,即可写出极化信道的递归关系。因此,N信道极化变换与两信道极化变换本质上是一一对应的。

信道极化分解的蝶形结构

我们以八信道极化分解为例,进行解释

上图所示的极化分解包含了3级极化变换:
(1) 第一级:最右侧的8个独立信道 W W W经过复合-分裂操作,得到【4组】独立的两信道极化集合 { W 2 ( 1 ) , W 2 ( 2 ) } \{W^{(1)}_2, W^{(2)}_2\} {W2(1),W2(2)}
(2) 第二级:经过中间一级的极化变换,得到【两组】独立的四信道极化集合 { W 4 ( 1 ) , W 4 ( 2 ) , W 4 ( 3 ) , W 4 ( 4 ) } \{W^{(1)}_4, W^{(2)}_4, W^{(3)}_4, W^{(4)}_4\} {W4(1),W4(2),W4(3),W4(4)}
(3) 第三级:经过左侧最后一级的极化变换,得到八信道极化集合 { W 8 ( 1 ) , W 8 ( 2 ) , W 8 ( 3 ) , W 8 ( 4 ) , W 8 ( 5 ) , W 8 ( 6 ) , W 8 ( 7 ) , W 8 ( 8 ) } \{W^{(1)}_8, W^{(2)}_8, W^{(3)}_8, W^{(4)}_8, W^{(5)}_8, W^{(6)}_8, W^{(7)}_8, W^{(8)}_8\} {W8(1),W8(2),W8(3),W8(4),W8(5),W8(6),W8(7),W8(8)}

由此可见, N = 2 n N=2^n N=2n信道极化,应当包含 log ⁡ 2 N = n \log_2 N= n log2N=n级极化变换,每一级变换中,包含 N / 2 N/2 N/2个基本的【两信道极化变换】 ( W 2 i j , W 2 i j ) ↦ ( W 2 i + 1 2 j − 1 , W 2 i + 1 2 j ) (W^{j}_{2^i}, W^{j}_{2^i}) \mapsto (W^{2j-1}_{2^{i+1}}, W^{2j}_{2^{i+1}}) (W2ij,W2ij)(W2i+12j1,W2i+12j),称为蝶形(Butterfly)结构。

补充:生成矩阵的结构

生成矩阵 G N \boldsymbol G_N GN可以表示为迭代形式
G N = ( I N / 2 ⊗ F ) R N ( I 2 ⊗ G N / 2 ) \boldsymbol G_N = \left ( \boldsymbol I_{N/2} \otimes \boldsymbol F \right) \boldsymbol R_N \left (\boldsymbol I_2 \otimes \boldsymbol G_{N/2} \right) GN=(IN/2F)RN(I2GN/2)

其对应的 N N N信道极化的迭代过程为

上述形式,在数学上也可以等价地写为第二种迭代形式
G N = R N ( F 2 ⊗ I N / 2 ) ( I 2 ⊗ G N / 2 ) = R N ( F 2 ⊗ G N / 2 ) \boldsymbol G_N = \boldsymbol R_N (\boldsymbol F_2 \otimes \boldsymbol I_{N/2}) (\boldsymbol I_2 \otimes \boldsymbol G_{N/2}) = \boldsymbol R_N (\boldsymbol F_2 \otimes \boldsymbol G_{N/2}) GN=RN(F2IN/2)(I2GN/2)=RN(F2GN/2)

下图给出了该迭代式对应的N信道极化变换的迭代过程

将递归形式 G N / 2 = R N / 2 ( F 2 ⊗ G N / 4 ) \boldsymbol G_{N/2} = \boldsymbol R_{N/2} (\boldsymbol F_2 \otimes \boldsymbol G_{N/4}) GN/2=RN/2(F2GN/4)代入到迭代式中,利用等式 A C ⊗ B D = A B ⊗ C D \boldsymbol {AC} \otimes \boldsymbol {BD} = \boldsymbol {AB} \otimes \boldsymbol {CD} ACBD=ABCD,可以得到
G N = R N ( F 2 ⊗ ( R N / 2 ( F 2 ⊗ G N / 4 ) ) ) = R N ( I 2 ⊗ R N / 2 ) ( F 2 2 ⊗ G N / 4 ) \boldsymbol G_N = \boldsymbol R_N \left ( \boldsymbol F_2 \otimes \left ( \boldsymbol R_{N/2} (\boldsymbol F_2 \otimes \boldsymbol G_{N/4}) \right) \right) = \boldsymbol R_N \left ( \boldsymbol I_2 \otimes \boldsymbol R_{N/2} \right) \left ( \boldsymbol F^2_2 \otimes \boldsymbol G_{N/4} \right) GN=RN(F2(RN/2(F2GN/4)))=RN(I2RN/2)(F22GN/4)

重复上述过程,最终得到
G N = B N F 2 ⊗ n \boldsymbol G_N = \boldsymbol B_N \boldsymbol F_2^{\otimes n} GN=BNF2n

其中 B N = R N ( I 2 ⊗ R N / 2 ) ( I 4 ⊗ R N / 4 ) ⋯ ( I N / 2 ⊗ R 2 ) \boldsymbol B_N= \boldsymbol R_N (\boldsymbol I_2 \otimes \boldsymbol R_{N/2}) (\boldsymbol I_4 \otimes \boldsymbol R_{N/4}) \cdots (\boldsymbol I_{N/2} \otimes \boldsymbol R_{2}) BN=RN(I2RN/2)(I4RN/4)(IN/2R2)是比特反序矩阵,基于迭代结构,比特反序 矩阵也可以表示为递推形式
B N = R N ( I 2 ⊗ B N / 2 ) \boldsymbol B_N = \boldsymbol R_N (\boldsymbol I_2 \otimes \boldsymbol B_{N/2}) BN=RN(I2BN/2)

其初始条件 B 2 = I 2 \boldsymbol B_2 = \boldsymbol I_2 B2=I2

参考文献
[1] E. Arikan, “Channel Polarization: A Method for Constructing Capacity-Achieving Codes for Symmetric Binary-Input Memoryless Channels,” in IEEE Transactions on Information Theory, vol. 55, no. 7, pp. 3051-3073, July 2009, doi: 10.1109/TIT.2009.2021379.
[2] 牛凯. 极化码原理与应用. Print.(2021)
[3] 于永润. 极化码讲义.

Turbo-shengsong
关注 关注
  • 2
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
极化码讲义
03-17
我于20119年春节前后写的极化码基本知识,希望帮助到需要的人们。
Polar极化码入门.rar
06-16
这是一份polar极化码入门文档,介绍了极化码的基本原理与编译码方法。
极化码小结(2)
weixin_30488085的博客
09-11 1025
Chapter2 极化码的编码   极化码的编码问题主要包括两个方面。   首先是生成矩阵的构造: 生成矩阵GN:   先来看信道合并示意图,下图截自Arikan论文(以后不再解释,Arikan论文 特指论文《Channel polarization: A method for constructing capacity-achieving codes for symmetric bina...
极化码的介绍
最新发布
m0_73019469的博客
04-17 266
经过这一序列的合并与拆分运算处理之后,这些“比特信道”会呈现出两级分化的特殊现象,结果一部分比特信道的容量会趋近于“0”,而另一部分信道的容量则会趋近于“1”,容量为 “0” 的信道可以被视作差信道,而容量为“1”的信道则被当做好信道。同 Reed-Muller。极化码从一诞生就吸引了学者的眼球,这种信道编码技术是以信道 极化的思想为基础的,而信道极化的思想可以简要的描述为:将给定的 N。在编码的过程中,极化码在信息位的选择上进行了特殊的处理,正是这一特殊处理为极化码达到香农极限容量奠定了基础。
极化码-编码
Redisread的博客
06-29 5181
极化编码的基本思想是:只在Z(WN(i))Z\left( W_{N}^{\left( i \right)} \right)Z(WN(i)​)近于0的坐标信道WN(i)W_{N}^{\left( i \right)}WN(i)​上发送数据比特。极化码具有一般的二元线性分组码的基本编码要素,因而可以通过显示地写出其生成矩阵来完成编码: x1N=u1NGN x_{1}^{N}=u_{1}^{N}{G_{N}} x1N​=u1N​GN​ 其中,编码生成矩阵GN=BNF⊗n{G_{N}}\text{=}{B_{N}}
极化码极化码的单项式码(Monomial Codes)表示
piao554503669的博客
04-27 611
极化码可以看做单项式码(monomial codes)
请简单介绍一下极化码
weixin_35756892的博客
01-06 329
极化码是一种数学编码方式,用于在有限的状态集合中编码信息。极化码的一个关键性质是,当将编码的信息放在一个适当的模型中进行操作时,可以自动检测和纠正信息中的错误。极化码常用于数据存储和通信应用中,因为它们可以有效地保护信息的完整性和准确性。 ...
极化码,极化码原理,matlab
09-10
信道极化图解,信道在经过极化后,有的性能接近1,有的接近0,保证正确
简化的极化码译码算法
10-16
极化码是目前唯一可以从数学角度证明达到香农极限的纠错编码技术。但是传统的译码算法、连续删除(SC)译码和连续删除列表(SCL)译码算法复杂度较高,使得译码过程有较大译码延时。经过研究译码算法的原理和特点,...
5G信道编码《极化码讲义》
01-12
随着5G通信的兴起,5G通信中采用的极化码(Polar码)技术也越来越受到大家的重视。这是一本介绍极化码的小册子,方便大家对极化码入门学习
极化码.rar_polar matlab_极化码_极化码 极化
07-13
基本实现极化码的极化功能,计算出信道容量并排序
极化码的编码构造
01-17
极化码的编码构造,采用Arikan论文中的最简单的编码构造方法。
matlab 极化码仿真(sc、scl译码)
10-21
实验室资源,matlab仿真极化码编码译码过程,内容详细,包含使用说明及代码介绍。
极化码-信道模型
Redisread的博客
05-05 1929
在通信过程中,物理层传输的就是电信号,假如我们只用0和1传输信号,并且这些信道互相都没有关系,我们称为二进制离散无记忆信道。信道模型是研究信道编码的基础,常见的几种信道模型分别有:二进制删除信道(BEC)、二进制对称信道(BSC)、高斯信道(AWGN)。设信道的输入和输出分别是长为N的序列,输入是x,输出是y,其信道的转移概率满足: p(y∣x)=∑i=1Np(yi∣xi) p\left( {y|x} \right) = \sum_{i=1}^N p\left( {y_{i} | x_{i}} \right
浅谈极化码
qq_23152205的博客
10-18 1302
极化码 1.引言 在介绍极化码之前,我们不妨考虑这样一个情况:假定有一个对称的二进制离散无记忆信道( B-DMC)W:X→YW:X\rightarrow YW:X→Y, 经过NNN次信道使用X1:NX_{1:N}X1:N​后,信道输出为Y1:NY_{1:N}Y1:N​。显然,根据互信信息定义,我们有 ∑iNI(Xi;Yi)=I(X1:N;Y1:N)=NI(X;Y)=NC\sum\limits_i^...
极化码入门概述
weixin_45303812的博客
02-25 2300
本节将继续基于up主老奇好好奇的视频,概述极化码入门知识。本节仅概述极化码的大致内容,关于信道极化、可靠性估计、编译码等部分将在后续分章节详解
极化码-基本原理
Redisread的博客
06-29 7773
基本概念 信噪比 信噪比,英文名称叫做SNR(SIGNAL-NOISE RATIO ),是指一个电子设备或者电子系统中信号与噪声的比例。信噪比的计算可以为有用信号功率与噪声功率的比 : SNR=PsignalPnoise SNR = \frac {P_{signal}} {P_{noise}} SNR=Pnoise​Psignal​​ 它的单位一般使用分贝,其值为十倍对数信号与噪声功率比: SNR(dB)=10log⁡10(PsibnalPnoise) SNR(dB) = 10\log_{10}(\frac
极化码公式推导
qq_27689953的博客
11-09 493
极化码理论及算法研究2-什么是极化码
05-23 4826
目录 (如要找其他内容,欢迎访问我的主页寻找) #前言 #极化码概述 #极化码定义 #极化码编码 #极化码译码 #5G标准中极化码的编译码概述 #5G标准中极化码的编码 #5G标准中极化码的译码 #总结 极化码概述 要问在2019年的通信领域什么最火,当然要数第五代移动通信技术5G了。随着美国对华为的打压和制裁,华为-5G这两个名词紧紧绑定在了一起,并传播到了全世界。随着5G商用的不断普及,更多的人接触到了5G,体会到了5G,但是作为一个通信专业的学生,绝不会仅仅局限于此,我们要对5G技术进行研究和学习。在
LDPC码与极化码的应用
05-30
极化码(Polar码)是近年来发展起来的一种新型纠错码,其在5G通信系统中被列为重要的编码方案之一。5G通信系统需要支持更高的数据传输速率和更低的延迟,而极化码具有低误码率、低延迟等优点,因此在5G通信系统中被...

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
写文章

热门文章

  • AMP的推导和理解(Part-1) 9986
  • OFDM循环前缀及其作用(矩阵视角解释) 7853
  • Sub-Gaussian随机变量 7016
  • 深入理解AMP 5817
  • OAMP的理解 5477

分类专栏

  • 信息与通信 22篇
  • 代码与编程 5篇
  • 数学基础 20篇
  • 消息传递 7篇

最新评论

  • R16 Type II量化反馈码本的产生

    Jeff_Winger: 请教一下大佬,R16码本生成是参考的哪一篇文献呢

  • Zadoff-Chu序列

    Turbo-shengsong: 是的,表述不够准确。

  • Zadoff-Chu序列

    飞翔的猪儿: “相同root index的两个ZC序列彼此正交”文中这句话有误,应该是“相同root index,不同循环移位的两个ZC序列彼此正交”

  • AMP软阈值函数进阶

    追梦的那个男人: 软阈值函数加上撇的那个函数是求导吗?

  • Sub-Gaussian随机变量

    judyju: 请问博主是参考哪本书的证明啊?

大家在看

  • 汇舟问卷:国外问卷调一天900
  • 关于Linux内容
  • 奇思妙想 01-晚自习 287
  • SAP Fiori实现2:如何做一个下拉框(select) 245
  • inline函数,缺省函数,函数重载以及函数模板 438

最新文章

  • distance to convex cone
  • AMP State Evolution的计算:以指数分布先验为例(AWGN)
  • 优化相关:近端算子与次梯度集合的关系
2024年3篇
2023年14篇
2022年37篇
2021年9篇

目录

目录

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值

深圳SEO优化公司黄石百姓网标王公司阿里seo优化报价沧州seo排名公司贵阳企业网站设计推荐白山百度竞价公司龙岩网站制作荷坳外贸网站建设价格南宁阿里店铺运营公司洛阳营销型网站建设价格大鹏网站推广系统价格东莞百度爱采购报价荆门SEO按效果付费报价怀化营销型网站建设潍坊网站建设哪家好菏泽百度网站优化排名报价蚌埠百姓网标王推广公司廊坊网站排名优化张北优秀网站设计报价湘潭seo优化玉溪网站制作公司舟山网站推广方案价格松原网站优化推广哪家好商洛企业网站设计报价宜昌外贸网站建设推荐昌吉网站设计模板哪家好德州网站排名优化报价喀什百度爱采购推荐大理网站优化按天收费公司海北网站关键词优化推荐福田阿里店铺运营价格歼20紧急升空逼退外机英媒称团队夜以继日筹划王妃复出草木蔓发 春山在望成都发生巨响 当地回应60岁老人炒菠菜未焯水致肾病恶化男子涉嫌走私被判11年却一天牢没坐劳斯莱斯右转逼停直行车网传落水者说“没让你救”系谣言广东通报13岁男孩性侵女童不予立案贵州小伙回应在美国卖三蹦子火了淀粉肠小王子日销售额涨超10倍有个姐真把千机伞做出来了近3万元金手镯仅含足金十克呼北高速交通事故已致14人死亡杨洋拄拐现身医院国产伟哥去年销售近13亿男子给前妻转账 现任妻子起诉要回新基金只募集到26元还是员工自购男孩疑遭霸凌 家长讨说法被踢出群充个话费竟沦为间接洗钱工具新的一天从800个哈欠开始单亲妈妈陷入热恋 14岁儿子报警#春分立蛋大挑战#中国投资客涌入日本东京买房两大学生合买彩票中奖一人不认账新加坡主帅:唯一目标击败中国队月嫂回应掌掴婴儿是在赶虫子19岁小伙救下5人后溺亡 多方发声清明节放假3天调休1天张家界的山上“长”满了韩国人?开封王婆为何火了主播靠辱骂母亲走红被批捕封号代拍被何赛飞拿着魔杖追着打阿根廷将发行1万与2万面值的纸币库克现身上海为江西彩礼“减负”的“试婚人”因自嘲式简历走红的教授更新简介殡仪馆花卉高于市场价3倍还重复用网友称在豆瓣酱里吃出老鼠头315晚会后胖东来又人满为患了网友建议重庆地铁不准乘客携带菜筐特朗普谈“凯特王妃P图照”罗斯否认插足凯特王妃婚姻青海通报栏杆断裂小学生跌落住进ICU恒大被罚41.75亿到底怎么缴湖南一县政协主席疑涉刑案被控制茶百道就改标签日期致歉王树国3次鞠躬告别西交大师生张立群任西安交通大学校长杨倩无缘巴黎奥运

深圳SEO优化公司 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化