黄仁勋：华为是英伟达在AI芯片领域“非常强大”的竞争对手

12月6日消息，英伟达首席执行官黄仁勋今日表示，在生产最好的人工智能芯片的竞争中，华为是英伟达“非常强大”（very formidable）的竞争对手之一。
周三，黄仁勋在新加坡接受采访时表示，华为、英特尔和不断壮大的半导体初创公司对英伟达在人工智能加速器市场的主导地位构成了严峻挑战。
“我们在中国和国外都有很多竞争对手，”黄仁勋说。“我们大多数竞争对手并不关心我们在哪里，无论我们走到哪里，他们都想与我们竞争。”
英伟达的芯片已成为人工智能热潮中最受追捧的商品，因为它们为训练大数据模型（例如支持ChatGPT的模型）提供了最有效的方法。
黄仁勋今日早间还表示，英伟达正考虑在新加坡进行重大投资。
12月5日，黄仁勋宣布，英伟达将在日本建立一个人工智能（AI）研究实验室，并在当地打造一个AI工厂网络。（易句）
延伸阅读：
英伟达CEO黄仁勋：将为中国市场提供符合美国规定的新产品
澎湃新闻记者 方晓
美国芯片企业英伟达公司的首席执行官黄仁勋12月6日表示，在生产“最好的”人工智能芯片的竞赛中，华为是英伟达“非常强大”的竞争对手之一。他透露，英伟达正在与美国政府密切合作，确保面向中国市场的新芯片符合出口限制。
正在新加坡访问的黄仁勋在记者会上表示，华为、英特尔和不断壮大的半导体初创公司对英伟达在人工智能芯片市场的主导地位构成了严峻挑战。“我们在中国内外都有很多竞争对手。”他说。
英伟达的芯片已成为人工智能热潮中最热门的商品，因为它们为训练大语言模型提供了最有效的方法。但美国政府对英伟达的芯片销售设置了壁垒，今年10月中旬更是进一步收紧了英伟达芯片对中国的出口。美国商务部长吉娜·雷蒙多12月2日称：“我们不能让中国获得这些芯片。”
针对雷蒙多的这一言论，中国外交部发言人汪文斌12月4日在例行记者会上回应称，美方应当树立正确的对华认知，同中方一道切实落实中美元首旧金山会晤达成的重要共识，停止将中国视为“假想敌”，纠正打着竞争的幌子搞大国对抗的错误行径。
黄仁勋表示，中国市场占英伟达销售额的20%左右，该公司将继续“完美”遵守贸易法规，并为中国市场提供一套符合美国政府最新规定的新产品。他补充说，英伟达需要寻求市场的建议，这一过程正在进行中。
英伟达11月在财报中警告称，美国新规实施后，预计第四季度在中国的销售额将大幅下降。
在访问新加坡期间，黄仁勋与新加坡总理李显龙举行了会晤。12月4日，新加坡发布国家人工智能策略2.0，提出把该国人工智能从业者的队伍扩大到1.5万人。黄仁勋表示，此行将与李显龙深入探讨英伟达如何帮助、支持和参与该策略。
新加坡资讯通信媒体发展局（IMDA）4日宣布斥资7000万元推出国家多模态大型语言模型计划，计划开发东南亚首个具有区域特点的基础语言模型。黄仁勋表示，目前英伟达正在与资讯通信媒体发展局合作创建由11种语言训练的大模型SEA-LION。该模型旨在更好地理解和代表东南亚的不同背景、语言和文化。
今年第三季度，英伟达来自新加坡市场的营收达到27亿美元，占其总营收的约15%。黄仁勋表示，英伟达在新加坡拥有两类重要客户。一类是新加坡本地的云服务提供商，该国有1100家人工智能初创公司，它们正推动新加坡云端GPU消费的需求。第二类客户则是将产品部署到中国的公司，这类公司在新加坡交易，但将产品和服务用于中国市场。
新加坡拥有由格芯（GlobalFoundries）等全球企业运营的非尖端芯片的制造工厂。英伟达的人工智能芯片首选制造商台积电和恩智浦半导体也在新加坡经营着一家合资企业。
猫鼠游戏中的英伟达

来源:硅星人
自步入人工智能时代以来，中国一直是英伟达的大客户。
2022年，英伟达销售数据中，25%来自中国客户，尤其是一些互联网大厂，他们对英伟达的算力产品，比如H800，可以说是疯狂买买买。
但是随着美国在2023年10月更新了先进半导体和计算设备的出口管制，英伟达中国特供版GPU A800和H800都将在11月17号后禁止出口中国。而且更难处理的是，华盛顿新的出口管制下，几乎绝大多数高算力产品都不再能出口中国了。
不过英伟达有他们的小心思，25%的巨大收入来源不可能说断就断，所以英伟达决定要和美国政府来一场猫鼠游戏，要在这只猫的眼皮底下，偷走奶酪。于是英伟达开始布局一款新的产品——H20。注意，这个H20是“H”和“二十”，不是水分子的化学式。
H20这款产品的浮点运算能力仅有296TFLOPs，性能密度只有2.9。这意味着它从纸面上看已经是一款超低性能产品，然而有意思的事情来了，如此低性能的产品，依然有公司会买，而且它继续引发美国的监管部门以及英伟达竞争对手的恐慌。在硅星人此前的文章《》中已经提到，英伟达的美国对手批评它不够美国，而英伟达认为这些批评不合逻辑；而最近的消息是，美国商务部长Gina Raimondo又点名英伟达，警告它停止为中国设计绕过出口管控的AI芯片。
所以，这个猫鼠游戏里，英伟达到底是如何做的？
3A090里的文字游戏
3A090，是华盛顿出口管制中的ECCN编码物项。3A090特指特定高性能集成电路，当一颗芯片输入输出双向传输速率超过每秒600GB，或算力超过4800TOPS时就属于3A090，也就意味着禁止向中国出口。
上一次美国规定先进半导体出口措施的时候，英伟达旗舰产品A100和H100都被划在了禁止向中国出口的列表当中。英伟达当时采取的措施是推出低配版、但是同架构、且同样配备高带宽插槽版本（也就是SXM版本）的A800和H800。这两块产品在性能上和原版的A100、H100几乎完全一致，甚至连内存芯片用的也都是HBM2e和HBM3这种当时的顶级内存芯片。颇有种孙悟空和六耳猕猴的感觉。
在上一次禁令发布的时候，美国只是对产品的具体型号做出了禁止出口的规定，这才有了H800和A800这种李逵李鬼的情况。所以这次新规就加入了更为严格的限制，规定了算力总和以及性能密度，所有人工智能产业能用到的高端张量计算GPU全都被划进了限制。
说得更直白一点，高性能的GPU不让卖，低性能的GPU买了也没用。
然而有意思的事情来了，禁令所限制的两个词汇“性能密度”和“总算力”，其实是一个文字游戏。
什么是性能密度？国际上有两个说法，第一个是人工智能公司常用的，浮点计算能力FLOPs，也就是每秒浮点操作数除以单位面积内的晶体管数量得来的。第二个是MIPS，也就是每秒百万指令数除以单位面积内的晶体管数量得来的。
我们都清楚一个道理，那就是“大人时代变了”。就拿英伟达刚推出的新品H200所搭载的HBM3e来说，这颗芯片采用了一种3D技术，通过立体空间堆叠的方式增加内存。如果只按面积来说，那这颗芯片的性能密度就很高，但是要按体积算，这颗芯片的性能密度也挺高，只是没有按面积算那么高而已。所以如果想要性能密度这个数字越小，算的时候以体积为单位就可以了。毕竟除法嘛，分母越大结果越小。
另外MIPS通常比FLOPs大，因为在计算过程中除了浮点，还有整数类型（INT）的运算。而且浮点自己还囊括了单精度（32位）、双精度（64位）等以所需存储空间来划分的类型。因为传统FLOPs计算方式，往往只会统计单精度和双精度，因此一颗张量计算用的GPU，在数据测试的时候，也可以只报单精度、双精度的浮点，这样无论是它的MIPS还是FLOPs都会很低。毕竟除法嘛，分子越小结果越小。
总算力这块能玩的花活就更多了。总算力，这个词指的是每个核心的时钟速度总和。英伟达H20，或者说整个H系列所采用的Hooper架构，它都是有多种核心的，比如专门用来做张量计算的TensorFloat32核心，还有脑浮点（BF16）核心。那刚才咱们聊了，计算FLOPs时，可以只计算单精度，双精度，也就意味着它在算力总和的测试中，就可以只计算单精度和双精度核心，而不再启用上述的这些张量计算核心。毕竟自然数加法嘛，加数越少结果越小。
综上，作为一个算力芯片厂商，他们可以很简单地把芯片数据弄得很低。这只是一种可能的假说，因为英伟达的最终目的不是通过3A090的限制，他是要把产品卖出去，赚取利润。一个性能极低的产品根本没有市场销路，就算设计出来了也没有实际的价值。
H20背后的真正秘密
区区是一张中上游的游戏显卡RTX 4080，它的浮点运算能力都能达到320TFLOPs，同时RTX 4080的性能密度有6.8。H20尊为一个张量计算用的GPU，296的浮点和2.9的性能密度，就好像是一个超级富二代独生子，从出生开始就享受世界上最优质的资源，顿顿早餐吃的煎饼果子都能加俩鸡蛋，喝酸奶从来用不着舔盖，结果到头来算个10以内加减法都能把CPU干冒烟了。
可我要是说H20的Die足足有814平方毫米，和H100完全相同，阁下应该如何应对？这并不是好钢用在刀背上，相反这正是H20的隐藏属性。也正因此，才让我更加相信，英伟达在H20的数据上，存在一些猫腻。
Die指的是芯片的裸晶，一般来说，越是性能优越的芯片，Die尺寸就会越大。比如RTX 4080的Die尺寸是379，而目前性能最好的游戏显卡RTX 4090的Die尺寸是609。因此，H20实际上并不是低端芯片，至少从芯片的制程来讲，H20是站在第一梯队的。
老鼠没有猫力气大，速度上也不占优势，如果老鼠不想被猫抓住，那就要想方设法地躲起来，不暴露自己。
诚然，H20的浮点运算能力很低，可是H20 SXM的内存足足有96GB，更恐怖的是它的带宽来到了4Tbps。相较之下，1979TFLOPs浮点运算能力的H100 SXM只有80GB的内存和3.4Tbps的带宽。在人工智能领域，尤其是现在火热的大语言模型中。内存是影响模型运行的关键，每10亿参数就要消耗3到5GB的内存，如果内存溢出则会严重影响模型的质量，产生不可预估的后果。那也就是说，在面对实际应用的时候，H20能比H100承担更大规模的大语言模型。
可能你会问了，H20的浮点运算能力不行啊，光有内存没用，跑的速度会慢。如果是2022年，那这的确是个大问题，毕竟没有人工智能公司会考虑低效率的GPU，这样做会拖垮整个训练过程。可是2023年，英伟达的TensorRT-LLM已经问世，并且拥有TensorRT-LLM功能的H200即将要在2024年发售了。
TensorRT-LLM是一个帮助GPU快速解决复杂计算的优化软件，搭载在GPU内部，类似于游戏显卡驱动一样。以H100为例，使用TensorRT-LLM后的H100，在对一些媒体网站进行文章摘要时的工作效率，比使用前快出整整1倍。而在700亿参数的Llama2上，前者比后者快77%。目前流通在市面上的A800也好，H800也好，都没有搭载TensorRT-LLM功能。H20很有可能，或者说板上钉钉的会搭载TensorRT-LLM。
英伟达虽然一直以硬件销售为主，然而其软件能力非同小可。比如DLSS，这是一种专门用来“欺骗”软件。不过DLSS所骗的目标并不是用户，而是显卡。当计算机需要大量图形计算时，DLSS会把图形以极低分辨率的形式交给显卡，它去骗显卡说：“你干这么点活就得了，剩下的不用你操心”，再通过DLSS技术还原成高分辨率的图形，这会大幅减轻显卡的压力，进而提升画面效果。
回到现在，TensorRT-LLM也是一个给GPU减压减负的软件技术，这就让GPU能够表现出本不该属于它的性能。此外，如果英伟达真的隐藏了H20的真实数据，实际上H20的表现力很有可能会超过H100。
你以为英伟达是壁虎，断尾求生。实际上英伟达压根不打算“阉割”，他们想的是换一种方式，绕过监管，达到目的。毕竟，如果H20算力很低，就算可以出口中国，也没有买家愿意购买这样的产品。当猫堵住了一个老鼠洞，老鼠还是能有办法溜出来，因为不可能只有一个出口。
不只是英伟达自己的猫鼠游戏
英伟达有个好朋友叫做SK海力士，英伟达最新旗舰产品H200 SXM上的内存芯片HBM3e，就是SK海力士的。目前他们正联手开发HBM4，以颠覆整个产业。英伟达也是SK海力士最大的客户之一，如果英伟达失去了中国市场，那么SK海力士的损失也会是巨大的。
最重要的是，GPU是一个横跨软硬件两个领域的事情，造就了一个附加值极高的交易体系。比如英伟达的Hooper架构，也就是H100、H200、H800、H20所采用的架构，多种同架构的GPU并联在一起，能够更好地分配计算资源。一般来说，人工智能企业都是买很多块GPU，而不是就买一块。所以当人工智能公司进行算力扩展的时候，GPU的第一个附加价值就体现出来了，它会要求人工智能公司只能接着购买该公司的GPU产品。
第二个附加价值在于算法的开发，不同的GPU产品，比如AMD的MI，英特尔的Gaudi，他们的差别不只有浮点运算能力、性能密度这些，还有指令集、逻辑芯片、底层语言上的差异等等。一个能在H100上运行的算法，不一定就完美适配MI300X。换言之，如果开发伊始就是基于某公司产品的话，后续的开发大概率也只能基于同公司，甚至是同架构的产品。
第三个附加价值是反向的，由人工智能公司给予GPU公司。在算法的开发过程中总是会遇到各种各样的难题，当这些难题反馈给GPU公司时，GPU就会清楚下一代产品应该做怎样的改进。就比如上文说的HBM4，英伟达和SK海力士要非常清楚目前GPU在当前场景下还有哪些不足，才能做出足以颠覆产业的产品。
正是这些附加价值，绑定了GPU公司和人工智能公司，形成了复杂的裙带关系。所以英伟达不能失去中国市场，不单单是为了25%的销售额，还有比销售数字更重要的这些附加价值。中国的人工智能水平增长非常迅速，英伟达深知其中的利害。
在猫鼠游戏中，老鼠之间也会互相打配合，有些负责吸引猫的注意力，有些负责搬运奶酪。还有一点，猫和老鼠都明白两者虽然对立，但是存在着一个用来维持双方平衡的灰色空间，既不黑也不白，两者都能生存。猫不能一下子将老鼠全抓死，那样猫就失去了作用，老鼠也不能太猖狂，那样会压缩猫的生活空间。

                    
               
               
               
               
               
               
                    
                        延伸阅读
                        
                           
                           
                           
                                谷歌发布史上最强大模型Gemini，打爆GPT-4
                           
                           
                           
                           
                                谷歌CEO皮查伊深度解析谷歌史上最强大模型Gemini及即将到来的人工智能时代
                           
                           
                           
                           
                                Meta、微软承诺购买AMD新型人工智能芯片 作为英伟达GPU替代品