人工神经网络广泛应用于人脸识别、、、语音翻译、、医疗诊断、
、自动驾驶等重要领域,其性能主要由硬件算力决定，，目前所广泛应用的神经网络硬件都基于数字电子架构。。然而
，
，，，该架构的两个本质局限—冯诺曼依瓶颈与电子速率瓶颈，，，，极大限制了神经网络硬件的潜在算力。。首先，，，，数字架构中，，，，数据的存储和运算是分布式的，，
，因而在计算过程中，，
，，会有大量的能源和算力消耗在数据的反复读取和存储中
，，，此限制被称为冯诺曼依瓶颈。。其次，，由于电子微处理器中的寄生电容和互联时延问题，，电子系统存在着本质的带宽限制，，，，导致电子微处理器的主频事实上在过去十年已没有明显提升，，，，此限制也被称为电子速率瓶颈。
。。。

光子神经网络工作于模拟架构中
，，即数据在硬件系统中的实时位置与进行运算的位置相同
，，因而规避了冯诺曼依瓶颈。。。此外，，，，宽达数十太赫兹的光谱也为高速运算提供了充足的带宽
。。。目前已有来自加州大学、
、麻省理工学院
、、、明斯特大学等单位的研究团队做出了一系列在网络尺度、、
、、可集成性、
、、
、片上存储等方面的突破，，，然而尚未能实现较高运算速度与高维数据处理能力，，，，光子神经网络的超高运算潜力尚未得到证实。。
。。

近日，，澳大利亚研究人员徐兴元博士（莫纳什大学）、
、谭朦曦博士、
、David Moss教授（斯文本科技大学）
、、、Arnan Mitchell教授（皇家墨尔本理工大学）等首次提出并实现了基于波长、、时间交织的光子卷积加速器。。。。该文章以'11 TOPS photonic convolutional accelerator for optical neural networks'为题发表在Nature。。

封面图：徐兴元博士（莫纳什大学）展示集成克尔光频梳芯片

图源：莫纳什大学
，
，，徐兴元

研究人员通过采用集成高品质因素、
、、
、高非线性微环与波导色散调控，，实现了高相干度、、、、易于产生的集成克尔孤子晶体光频梳。。。。

研究人员将该光频梳进行频域整形并且与高速光电调制相结合，，，实现了输入数据在并行波长通道上的组播与加权，，，，然后采用光学色散介质作为缓存，，对组播信号进行了步进延时（步长为单个码元时长），，，从而在时域上对齐了不同波长通道中需要加权求和的码元，，，最后通过光电转换实现处理结果的高速实时读取（如图1所示）。
。。。通过这一系列步骤，
，，波长构架的卷积窗口（感知域）即可在时域以超过60GBaud的速率滑动
，，，，结合克尔光频梳所实现的高并行度（C波段90个波长通道），，，，实现了11 TOPS(太运算每秒)的运算速度，
，即每秒可完成11万亿次运算
。
。。
。

图1卷积加速器工作原理

图源：Nature 589, 44–51 (2021). Fig 1

通过这一系列步骤
，，，数学模型抽象的神经元突触就被光频梳在实际物理系统中实现，
，其中突触连接的权重由光频梳的光功率体现。
。最终实验验证了高维图片处理(实验结果如图2所示)以及深度学习光子卷积神经网络(实验结果如图3所示)。。

图2卷积图像处理结果

图源：Nature 589, 44–51 (2021). Fig 3

在国际相关研究成果的基础上实现了数个突破，，包括：

1
、、、、由于集成克尔光频梳所提供的大量波长通道，，运算速度首次突破到11 TOPS以上；

2
、、、、 首次实现了利用光学手段进行高维数据处理（25万像素点），，，
，为光子神经网络的进一步实际应用如人脸识别等展现了可能；

3
、、实现了500张MINIST手写数字图片的高速分类预测，
，，，准确率达到88%以上；

4
、、、实现了具备高速光电接口的硬件加速器，，，速度可达64G Baud以上，，，并且可与现有电子或者光学硬件兼容互联；

5、、、、结合应用了集成克尔光频梳，，，，为实现光子神经网络的单片集成奠定了基础
。。

图3卷积神经网络50张手写数字识别结果。。。。上图为全连接层神经元输出幅度，，，
，下图为混淆矩阵。。。。

图源：Nature 589, 44–51 (2021). Fig 6

后续，
，研究人员将继续优化本方案的性能指标，，，如处理速度、、、、并行度、、
、体积与可集成性、、功耗等
。。。。本工作实验证明了光子神经网络硬件的运算潜力，，，，并且具有高速光电接口，
，未来可作为通用卷积特征提取前端与其他光电模数架构互联，，
，在卷积神经网络中可承担70%以上的运算负荷
，，，，大幅提升系统整体算力，，，，在未来实时人工智能应用场景如无人驾驶、、医疗诊断等方面有重要应用。。。。