中国台湾DRAM产业将因为AI而重生？

2024年是AI PC元年，但在中国台湾各家存储器厂商眼中，AI大潮带来的商机，肯定不只AI PC，而是整个边缘AI（edge AI）创造的庞大机会。
半导体专家杨瑞临认为，随着AI的推论（inference）功能，将逐渐从云端的AI服务器扩散至装端装置，存储器厂商的商机并非只有AI服务器需要的HBM（高频宽存储器），未来终端装置需要的相应存储器肯定同步攀升。
AI两大关键字：训练与推论
在人工智慧圈子中，两个关键词愈来愈被大家提到，就是“训练”（training）及推论（inference）。
“训练”就好像人类去学校上学、接受教育；“推论”就是把我们在学校学到的知识，应用在日常生活中。
例如，我们问ChatGPT问题，ChatGPT就是运用它被持续训练的模型，生成文字或图片给人类，这就是“推论”。
若根据英伟达官网说明，受过训练的神经网路会在数位环境里，发挥学习到的内容来辨识影像、听懂人类语言、判断血液疾病，或是建议人类可能下一双会买的鞋子等等。
AI推论会从云端跑到终端，“这是台湾地区一大机会！”
现职为中国台湾地区工研院产科国际所研究总监的杨瑞临，在周日（9日接受主持人访谈时表示，随着终端装置采用边缘AI日渐普遍，四年后全球AI推论运用将远高于现在，这将是台湾地区科技业的一大机会。
他秀出一张国际产业机构对于资料中心（data center）电力消耗的趋势预估，其中推估到了2028年，AI推论将占了85%耗电，AI训练只会占15%。
“你甚至不用跟云端连线，即使是离网或断网，你都可以问ChatGPT问题，它马上回给你，还能跟着你的问题去学习，你可以不连网，可以不连云端。”
“所以，推论会从云端跑到终端，这是台湾一大机会！”
“台湾所有的DRAM业者，都看到这个机会”
如果看同一张表格中的AI工作负载，2023年是95%在云端、5%在终端；到了2028年，估计云端占比将下降至50%，在终端占比则飙升至50%。
杨瑞临指出，未来如果把大型资料中心使用的大语言模型（LLM），缩小至终端装置，就会需要搭配小推论模型的DRAM。
“台湾所有的DRAM业者都看到这个机会，也就是终端（装置）的AI芯片与DRAM结合。”
“南亚科有看到，华邦应该有看到，钰创也有看到。”
“所以，台湾DRAM相关产业，在未来终端（装置），因为生成式AI大爆发，台湾的DRAM（产业）开始要重生了！”

边缘AI推论运算应用 正朝三大方向发展
目前生成式AI已逐渐朝向边缘装置延伸，根据DIGITIMES研究中心观察，边缘AI推论运算应用产品朝向三大方向发展，第一为x86架构的PC及NB。
第二为ARM架构的手机及平板。
第三为ARM/ RISC-V架构的物联网装置。
研华：边缘AI市场将是AI服务器上万倍
工业电脑大厂研华产业云暨影像科技副总经理鲍志伟，上周在中国台北国际电脑展（Computex）记者会中表示，边缘AI的市场正在快速扩张，预计2025~2026年进入爆发式成长。
他指出，边缘AI市场将是AI服务器的上万倍，就研华内部看到客户使用资料，有太多使用情境被客户创造出来，是过去工业电脑没用到的领域，而且边缘AI规模化速度快，只要垂直领域中有人开始导入，其他人不得不用、开始大量复制，规模就会起来。