从材料到算法全面思考AI

鸣涧

随着AI设下了更积极的新性能目标，业界也提出了实现这些愿景的新技术方向，包括在新材料、工艺、电路、架构、封装和算法方面的研究。简言之，必须为AI重新思考每一件事。
加州大学洛杉矶分校(UCLA)电子工程学系教授Jason Woo说：“我们一直在考虑将MRAM或ReRAM作为闪存(flash)的替代方案……但是，AI为采用新兴内存与不同材料的交叉架构开辟了新的亮点，可用于实现更多的线性模拟微缩，就像可编程的忆阻器一样。”
Woo及其研究团队一直在探索整合逻辑功能的三端比内存数组。这是Syntiant和Mythic等新创公司以及IBM研究人员希望用于AI加速器(基于内存内运算)的新型编程组件。
由于AI工作负载的平行本质，也为封装技术带来了绝佳机会。为数据中心进行训练提供全光罩芯片设计的新创公司Cerebras Systems首席技术官Gary Lauterback说，我们不应该局限于单芯片设计，封装方面也有很大的潜力，可以克服在Denard微缩中遇到的瓶颈。
许多最新的数据中心芯片都采用了2.5D堆栈的逻辑和内存。同时，台积电正推出用于智能型手机和其他装置的众多晶圆级扇出封装版本，工程师还需要一个能因应AI需求的译码器。
Bhandarkar说：“从成本和性能来看，我还找不到任何理想的多芯片技术。至今见过最好的要算是英特尔的EMIB，但它也并非所有人都可以使用。”
Dally透过缩减神经网络的大小及其矩阵数学的精度，快速地简化了算法与任务。他说，采用混合精度数学，超级计算机老将Jack Dongarra因而能在Summit系统上带来exaFLOPS级的AI性能。
Nvidia的研究人员以低至2位展现浮点运算的愿景，而Imec研究机构则进一步探索单一位的途径。
Dally补充说，神经网络本身可以从根本上简化，以减少运算量。他说，即使只使用了10%的神经网络权重和30%的启动效能，其准确度也不至于降低到让人无法接受。SqueezeNet就是针对嵌入式AI的案例之一。

Nvidia的Dally说神经网络需要减少一些权重（来源：EE Times）