现在不管是具身智能照旧自动驾驶，技能道路皆已大幅管理，基本上便是两条技能道路，一条是VLA道路，用在自动驾驶范围或是VLA+传统道路的羼杂架构。另一条便是WA道路，即寰宇模子+Action Expert。再有便是大皆用寰宇模子增强VLA鲁棒性的架构，骨子上照旧VLA道路。不管哪条道路皆离不开扩散模子。

博世的DiffVLA架构

博世的DiffVLA架构，简略率用在奇瑞星途星纪元ES上，屡次在智驾大赛获取第又名的好收获，这是典型的面向量产的VLA，其中感知图像和点云矢量化抽取特征后过问VLM和传统感知算法，和会后过问扩散模子的Action Expert输出轨迹。

DiT架构

寰宇模子的中枢是DiT架构，见上图。DiT最中枢、最无可替代的上风，在于其Transformer架构对时序信息（Temporal Information）的自然亲和力。这使得它不单是是一个更好的图像生成器，更是一个为视频、动画乃至更复杂的序列生成任务量身打造的“天选之子”。与早期的扩散模子平直在像素空间上操作不同，DiT沿用了Latent Diffusion Model (LDM) 的高效战略，其扫数中枢操作皆在一个经过VAE（变分自编码器）压缩后的低维潜空间（Latent Space）中进行。这极地面裁汰了缱绻复杂度，使得模子不错专注于学习数据更高端倪的语义结构，而非像素级的冗余细节。

AdaLN-Zero（Adaptive Layer Normalization with Zero Initialization）是 Diffusion Transformer (DiT) 架构中的要津模块，主要用于将扩散过程中的要求信息（如时刻步、类别标签）高效地融入 Transformer 块中。其核脸色念是通过一个 MLP（多层感知机）将标量时刻步映射为向量，进而生成用于缩放（scale）、平移（shift）和门控（gate）归一化特征的参数。

经由大致分为两步，第一步是标量输入 (Scalar Input)，运行信息：扩散过程的时刻步（如第 500 步）和类别标签经常是标量。经过 Sinusoidal Position Embedding（正弦位置编码）或平直镶嵌，改造为高维的避讳向量（Embedding Vector）。向量化时刻步：在视频生成模子（如 Wan）中，为了适合不同帧的要求，标量时刻步可能会被彭胀为基于批量大小和帧数的向量。第二步是向量输出 (Vector Output - 调制参数)，AdaLN-Zero 通过一个线性层（MLP）将要求向量改造为 6 个特征映射参数，这些参数是向量体式。

现存 WAM（寰宇四肢模子即寰宇模子加四肢行家） 归纳为三类范式：谐和建模、先遐想后践诺，以及 Fast-WAM 的“老师时建模、推理时直移四肢”。不管哪一种DiT皆是中枢，不管具身智能照旧自动驾驶皆是如斯。而Action Expert大多是隧谈扩散模子或流匹配模子，不管哪一种，中枢照旧DiT架构。

典型的具身智能VLA由视频编码器、VLM和四肢行家组成，上图分析了三个具身智能VLA模子在不同处理器上的延伸，其中4090是英伟达的RTX 4090，B60是英特尔的显卡，与其配备的CPU是英特尔11代i7-11700，310p是华为的昇腾310p，2023年推出的RTX4090具备压倒性的全皆上风，实践上RTX4090不错碾压现在99%的端侧推理用芯片。第二名是英伟达的Thor-X，不外与第三名英特尔B60之间差距很小，在GR00T上险些没诀别，华为310P第四，Orin最差垫底，自然标称170TOPS，但实践上其DLA部分无法用于transformer架构，实践8位精度闹热算力唯有约83.5TOPS，远不如华为310P。

整理：佐想汽研

SmolVLA是一个很小的具身智能VLA模子，总参数大致4.5亿，流匹配的Action Expert只是占了1亿参数，但在缱绻过程中占据了跳动60-70%的推理时刻。主要原因是现在的GPU或NPU所以矩阵运算为主，不得当DiT。

DiT的采样阶段采样过程可占据总推理延伸的70%，主要瓶颈在于词表级logits的大限度内存读写、基于归约的token聘任，以及迭代掩码更新。logits张量的结构，其限度为[B × L × V]，其中B为批量大小，L为块长度，V为词汇大小（在起首进的模子中经常为120k-160k）。即使是限制的设置，每步也会生成多兆字节的张量，经常跳动片上内存容量，自然量化不错减少内存占用，但并未惩处限制密集型、以归约（reduction unit）为主的采样职责负载。Top-K/Top-P聘任：对每个位置的V维logits进行归约操作，选出候选token，Top-K聘任、掩码索引触及非聚会内存打听，这是一种非措施的存储打听方式。DiT经常需要屡次迭代（经常5-20步）直到扫数位置管理。

矩阵运算为主的GPU和NPU，主要方针便是TOPS数值，这个在DiT架构上毫无价值，要对应DiT架构，开云kaiyun(中国)体育官网主若是要加多标量和向量算力，向量算力至少要有6TFLOPS。提高内存与向量标量缱绻单位的耦合进度，提高片上SRAM的容量，提高存储带宽。

针对扩散和寰宇模子的芯片架构（上图），基于论文NPU Design for Diffusion Language Model Inference，略作修改，将奋斗的HBM内存换成相对比拟低价的LPDDR6，这款芯片也能针对AI Agentic。每个缱绻单位，包括矩阵（张量）、向量（矢量）和标量皆通过DMA配备一些紧耦合SRAM，SRAM容量有限，和本钱正比，因此应该尽量向标量和向量单位歪斜，向量使用权重压缩与解压缩，提高SRAM使用后果，标量则将浮点和整数值分开存储，也为提高SRAM使用后果。

LPDDR6 这一次在内存带宽的增幅上获取了史诗级晋升。为何说是史诗级呢？因为不同于以往 LPDDR 的 Gen2Gen 增益只是只是将内存速度晋升，LPDDR6 此次同期加多了内存速度和内存位宽。LPDDR6 的原始通谈宽度从 16bit 晋升到了 24bit，对应的手机端/PC 端所主流设置的双通谈 LPDDR 位宽也就自联系词然的成了96bit 和192bit。而LPDDR6之前的双通谈是64bit和128bit，要窄得多。

典型的LPDDR6系统其存储带宽是96*4/8*14.4=691GB/s，高性能不错提高到96*6/8*12.8=1037GB/s，也曾不错爽直碾压特斯拉AI5的819GB/s，况兼本钱可能比特斯拉还要低。那为什么特斯拉没用LPDDR6，很浅易，AI5的遐想时刻是2023年底或2024岁首，2025年中期LPDDR6标准才公布，同期才有厂家出售LPDDR6物理层IP，现在LPDDR6的物理层IP主要由三家提供，折柳是EDA大厂新想科技，Cadence和国内的芯动科技，一般皆是基于2纳米或3纳米的。

关于初创厂家，RISC-V是最好聘任，因为这么在遐想编译器时不错自主掌控，纯真性很高，现在标量和向量经常皆蛟龙得水，基本上皆接受超标量SIMD遐想，RVV是RISC-V标准教唆集的一个彭胀， 主见是为RISC-V架构提供vector处理材干，RVV一共32个寄存器， 每个寄存器的长度为VLEN (bit)， VLEN是硬件厂商收尾的固定长度， 需若是2的幂次方， 最小为64或128. 比喻说VLEN=512就十分于Intel的AVX512教唆。

CPU的IP不错聘任中国台湾晶心Andes的向量系列，兼顾标量与向量，瑞萨曾接受过晶心的AX45MP。也不错聘任SiFive的X280或X390，性能上晶心要比SiFive强少量，X390的DMIPS是3.3/MHz，CoreMark是5.7/MHz。SiFive复古RVA23，也复古低精度的FP4，纯真性和生态略好于晶心，联想汽车就聘任了SiFive的X280。中枢数目至少是4个，6-8个更好。

Host（主机）的CPU自然也需要很强，因为有大皆诊治编排和译码的职责，皆需要CPU厚爱，况兼汽车范围，并发旁边许多，终点是舱驾一体，CPU单线程运算材干不错裁汰要求，多线程要高，也便是中枢数目要多，至少18个CPU内核，CPU架构最低亦然Cortex-A78AE，本钱不太敏锐可选Neoverse V3AE或Adonis Neoverse V4。

提高存储带宽，加强标量和向量运算材干，至于矩阵乘法的算力不错相宜缩减限度，因为早已不是经典Transformer支配的时间，DiT将在十分万古刻内是主流，只夺目矩阵乘法，动辄上千TOPS的芯片发达会很恶运。

免责评释：本文不雅点和数据仅供参考开云kaiyun(中国)，和实践情况可能存在偏差。本文不组成投资苛刻，文中扫数不雅点、数据仅代表笔者态度，不具有任何并吞、投资和决议宗旨。