曦智发布Hummingbird，世界首款采用片上光网络(oNOC)的处理器，可用于特定AI计算负载

埃律西昂

来源： EE Times
原英文标题： <Lightelligence Debuts Electronic AI Accelerator With Optical NoC>

---

曦智Lightelligence公司工程副总裁Mo Steinman告诉《EE Times》，Lightelligence公司开发了一种光子插板技术，可以在任意的片上网络拓扑结构中连接电子特定应用集成电路（ASIC）的内核，包括全网状或环状配置，与最近邻配置相比，具有性能优势和更简单的软件。

该公司开发了自己的64核人工智能推理加速器ASIC，其核心以一种拓扑结构连接，允许通过该公司的片上光网络（oNoC）插接器技术进行全对全广播，组装在一个它称之为蜂鸟的系统集成（SiP）中。Steinman说，这提供了延迟和电源效率方面的好处，但他拒绝透露性能数字或基准。

"这是一个我们可以用来解决互连挑战的工具，具有有利的密度和功率特性，而且还可以简化软件开发，它实际上是为了避免调度问题的挑战，"他补充说。

Steinman描述了在多核或芯片设计中出现的调度问题，其中每个核或芯片只能与其最近的邻居通信。

"斯坦曼说："如果我必须跳过一个、两个、三个或四个[核心或芯片]的距离，电气接口功率特性和能力开始成为一个挑战。"但对于光学来说，什么是短距离和什么是长距离的定义与电子学非常不同......即使是在晶圆规模，[光子学]的衰减也是非常可控的......功率和延迟与该距离相当无关。"

像环形结构这样的拓扑结构对于实现电气互连来说是具有挑战性的。

他说："[利用我们的oNoC技术]对于我们可以处理的拓扑结构类型，不一定有一个预先设定的配方。"因此，这是一个强大的工具，我们可以用来与合作伙伴一起解决他们的连接问题，这些问题可能是独特的，而不是映射到预先设想的拓扑结构上，那里有很大的灵活性。"

全对全广播

Lightelligence的Hummingbird是一种SiP，将其64核人工智能推理加速器ASIC与片上光网络插板相结合。这是Lightelligence的oNoC技术的首次具体实施，该技术在64个核心之间以全对全广播模式传输编码在光上的数据。

"Steinman说："对于卷积来说，这是人工智能的一个重要部分，这使我们能够做一个非常有趣的数学函数，每个核心都在做一部分工作，然后在每个时钟周期同时向其他每个核心发送。

他说，Hummingbird的加速器是一个SIMD（单指令，多数据）机器，有一个 "相当简单 "的专有指令集。每个相同的内核都有SRAM和标量和矢量操作的计算，以及在电域和光域之间转换的嵌入式发射器和接收器电路。

在ASIC上有一个模拟接口，与光子插板相耦合。当安装在插板上的激光器发出的光通过插板时，ASIC上的电路会改变下面硅波导的折射率，以调制通过的光（零点不需要完全黑暗，只需要充分调制以区分它和一）。

在另一端，有一个接收光电二极管，将传入的光脉冲转换为电流。该电流被放大，模拟电路进行阈值检测，将信号转换为比特流。Steinman说，像纠错码（ECC）、成帧、编码等功能可以分层在上面。

电子芯片上的模拟电路可以被校准，以考虑到工艺的变化。

"他说："[折射率]会因芯片与芯片、发射器与发射器的不同而不同，所以我们的电子电路能够根据这些特性进行调整。他说："我们在上电程序的早期所做的事情之一是校准设计--通过它运行已知的模式，看看电路的反应是什么--所以我们可以调整模拟方面的旋钮。"

虽然Lightelligence公司在其PACE光学计算产品上使用了光学NoC，但Hummingbird上的技术是完全不同的，Steinman说。

"他说："有一点IP重用，但由于通信的类型不同，这是高速数字通信，而PACE是模拟计算，不只是1和0。

证明技术可行
Hummingbird以PCIe卡的形式可用。斯坦曼说，建立一个完整的人工智能软件堆栈的整个系统是必要的，以解决所有的问题。

"他说："我们的信念是，如果我们要开发某种新的互连，必然会在每个层面产生影响。"在计算机系统中，有数字设计，在我们的案例中，我们还有模拟和光子设计，有包装，有系统设计，有软件影响，每件事都有某种影响或二阶或三阶效应。"

Lightelligence公司了解到的一件事是，他们需要在电子和光子芯片之间有另一个插层--层状插层，以便向电子芯片供电。该技术的下一代将实现两个芯片之间的直接连接。

斯坦曼说："3D技术是最前沿的技术，我们不想等它完全实现后再推出这个产品。"我们觉得这是我们可以做的第一种实现方式，只有当我们有了3D堆叠，当我们可以消除[层状夹层]层时，才会变得更好。"

他说，Lightelligence也有一个完整的人工智能软件栈，可以运行Pytorch模型。总体目标是抽象出任何 "奇异 "的技术，呈现出一个带有软件栈的PCIe卡，可以像其他人工智能加速器一样使用。

Steinman说，Hummingbird的目标是证明软件栈，并获得客户对功能的反馈。

"我们并不幻想这将取代Nvidia，更多的是关于技术的可能性--我们需要一个合法的、有效的证明点，"他补充说。

"他说："我们希望把Hummingbird主要作为一种工具，以实现对话，与合作伙伴一起实现专门的半定制实施。他说："下一代可能是与合作伙伴合作的半定制实施，然后可能开发一个更通用的标准接口模板。我认为那些最初的几个采用者将希望进行非常密切的合作，但我们对任何模式都持开放态度；我们不想预先假定人们想做的业务方式，在这一点上我们足够灵活。"

未来几代 "Hummingbird"将使用网纹缝合技术（在网纹边界蚀刻测试图案以测试步进对准），以允许大于网纹限制的光子插板支持多芯片架构。未来的技术世代还可能看到独立的光子发射器/接收器芯片与计算和内存芯片电性连接，和/或许可的发射器/接收器IP嵌入到客户芯片中。

Hummingbird PCIe卡已经向一个早期合作伙伴提供了样品，该卡和软件开发工具包将于2023年第三季度全面上市。

ris

怎么弄的，可以把图片放在左边或者右边？

埃律西昂

ris 发表于 2023-7-9 16:36
怎么弄的，可以把图片放在左边或者右边？

float=left与float=right。

ris

埃律西昂 发表于 2023-7-9 16:44
float=left与float=right。

谢谢哥

fairness

这种电光结合的互联技术，再结合高级的芯片叠加和封装技术， 估计会是未来的技术趋势。

赫敏

感觉用处不是很大。光纤可能有传输速度的优势但是肯定不如铜线细，而且要做高速收发器肯定也是多位调制+相对复杂的信道编码。目前铜线都还是1bit，pcie6才用到2bit，纠错码也是非常简单的机制等于还没发力呢

qlxgx

ris 发表于 2023-7-9 16:36
怎么弄的，可以把图片放在左边或者右边？

估计最简单的方式就是Word里面编辑好，直接复制粘贴上去，我猜~

darkblue

赫敏 发表于 2023-7-10 02:57
感觉用处不是很大。光纤可能有传输速度的优势但是肯定不如铜线细，而且要做高速收发器肯定也是多位调制+相 ...

铜的问题是线路越多电磁干扰越严重，而光则是线路越多带宽越大