盛夏8月，Nullmax喜迎高光「三连」！凭借领先技术、优质产品和量产佳绩，连获三项荣誉肯定，向着助力自动驾驶行业「从量变到智变」的目标更进一步。 高工智能汽车 年度自动驾驶软件及系统TOP10供应商 8月31日，2023年度高工智能汽车行业评选颁奖仪式在上海举行，Nullmax纽劢入选年度自动驾驶软件及系统TOP10供应商。本次评选由智能汽车赛道的第三方研究咨询机构高工智能汽车研究院举办，旨在持续帮助车企、投资机构挖掘具备核心竞争力的软件供应商。深耕前装量产领域，Nullmax不仅有着全球一流的感知技术、全栈自研的软件算法，更有着高效、领先的平台化部署与工程化能力。 通过领先的平台化BEV-AI技术架构，Nullmax可快速支持不同算力平台项目的高质量落地，大幅提升量产效率和产品性能。身为当下少有的同时手握中低算力和大算力开发能力的自动驾驶公司，Nullmax量产进程已位居行业一线，自去年起便进入密集交付期，未来将携手更多全球车厂、Tier 1、芯片公司及其他生态伙伴，共同书写自动驾驶商业化落地的新篇章。 OFweek维科网 2023人工智能行业优秀创新力产品奖 8月30日，“OFweek 2023（第八届）人工智能产业大会暨评选颁奖典礼”在深圳举行，Nullmax携行泊一体化方案MaxDrive卓行，斩获“维科杯·OFweek 2023人工智能行业优秀创新力产品奖”。本届维科杯年度评选从专业维度为人工智能行业筛选、输送了大批创新产品和前沿技术，长远激励更多企业加大投入，勇于创新。其中，“优秀创新力产品奖”不仅标志着获奖者技术成熟领先，更意味着面向市场经受考验，真正为广大用户提供高效、优质的产品与服务。Nullmax真正融合的行泊一体化方案MaxDrive，精准切入市场及用户对智驾产品性能、性价比的双重需求，并以领先的工程化能力实现了创新技术落地为实。 ICVS金猴奖 中国自动驾驶百强企业 8月24日，“闪耀中国·2023ICVS中国自动驾驶风云盛典”年度评选在沪揭晓， Nullmax纽劢荣获ICVS金猴奖“中国自动驾驶百强企业”称号。本届ICVS金猴奖评选由上海市车联网协会、华墨集团联合推出，聚焦科技创新、产品性能、量产进程等多个维度，评选出为全生态赋能增势的行业榜样。凭借全栈自研的自动驾驶软件算法、平台化BEV-AI技术架构以及成熟领先的量产服务能力，Nullmax成功入选。未来更将以厚积薄发的“成长型企业”姿态，以海量数据驱动技术迭代，在渐进式的道路上加快步伐，引领移动出行智变。荣耀加身，载誉前行；不忘初心，再接再厉！智变未来，精彩继续！

随着越来越多汽车品牌将智能驾驶部署到主销车型上，自动驾驶技术正沿着大规模前装量产的路线大踏步前进，并以更快的速度走向更大范围的普及。在这样的背景下，如何高效完成技术方案的量产落地，满足多项目、多车型的多样化量产需求，也就成为了自动驾驶商业化走向成熟的关键。它不同于面向一两个车型的量产开发，而是一系列的大规模、多样化应用，对商业和技术有着更高的要求。当中，软件算法的平台化尤为重要。在Nullmax看来，通过平台化将自动驾驶所需的绝大部分软件算法，尤其是核心的、复杂的算法模型，整合为一套支持不同车型的平台型软件，可以免去大量低价值的重复开发，大幅提高量产速度和质量。而感知作为最关键的上游环节，它的平台化是整个平台化工作的重中之重。 为此，Nullmax打造了涵盖L2+及L4感知任务的平台化感知架构，它可以支持大算力、小算力的不同计算平台，也能自动适配不同的传感器配置，为行泊一体等产品应用的高效落地提供核心的技术支撑。 细说感知平台化 感知平台化，简单来说就是设计一套感知基础架构，将感知所需的软件算法整合成一个可以支持各种需求的平台。它能够快速、低成本地输出针对不同传感器和芯片的软件包，在不同车型上实现自动驾驶的相关功能。 平台化有利于提升量产的质量和速度 在行业内，感知平台化刚刚起步，为每一款车型配备一个开发团队，开发一套专用的软件包，是最普遍的量产方式。「技术密集型」的自动驾驶，不得不以「劳动密集型」的方式开展工作，甚至「重复造轮子」，这样既耗费了稀缺的人才资源，拉长了量产周期，也无益于自动驾驶数据的整合与利用，难以为技术带来质的提升。当前，部分优秀企业已经可以实现基础的感知平台化效果，为不同芯片开发不同感知方案，以稍低一些的开发成本实现感知算法的移植。但显然，自动驾驶的感知平台化需要更加充分一些，为商业和技术带来更大进步。比如在商业层面，感知平台化可以将量产的边际成本压缩到极致，从而在不大幅增加人员和投入的情况下，完成大量新车型上的应用。这可以帮助自动驾驶形成真正成熟可闭环的商业模式，尤其是量产需要关注单位车型、单位功能的研发成本，平台化能最大程度地帮助车厂分摊各项成本。 平台化可显著降低应用的边际成本 而从技术层面来讲，感知平台化也有助于汇集不同项目、不同级别、不同任务的自动驾驶数据，促进彼此效果，提升整个感知平台的各方面任务性能。无论是适配的哪套方案，都可以为整个感知平台贡献数据和知识，让自身算法和相关算法持续进步。 多样差异带来巨大挑战 感知平台化对于自动驾驶的应用来说意义重大，但面临的挑战也同样巨大。因为在实际的量产中，不同项目的传感器、计算平台和功能普遍存在差异，用一套感知平台适配所有的功能情况和硬件情况显然极为不易。 平台化需充分考虑需求和硬件差异 具体来说，传感器作为自动驾驶的感官硬件，它的配置差异直接影响着整个感知系统的设计和具体感知算法的开发。虽然在实际应用中，有些车型的传感器类型、数量甚至安装位置看起来一模一样，但视场角、像素、焦距、旋转方向等参数可能大不相同，与相机参数高度关联的算法需要大幅调整甚至是重新开发才能使用。芯片作为算法运行的基础硬件，它在算力、算子、处理器核心等方面存在的差异，也进一步拔高了感知平台化的难度。感知平台化意味着既要考虑大算力的芯片，也要考虑低算力芯片。而且芯片算子不同，那么能部署的算法也不一样。加之自动驾驶芯片通常是多核异构SOC，所以也要考虑处理器核心的不同。另外，算法服务于具体的功能，因此感知平台化需要考虑不同算法以实现各种功能需求。比如一些基础功能只需要2D的车道线检测、障碍物检测，但是一些高阶功能需要3D的检测算法，还有稠密深度图等等。并且有的厂商还会开发一些特色功能，比如轨迹参考线、360°障碍物检测等等，那么可能会用到BEV感知、BEV规划等算法。 显而易见，感知平台化是一项难度极大的系统性工程，但在突破了这些难点之后，自动驾驶量产也能取得巨大的效率优势，在商业和技术上走得更远。 BEV-AI架构实现感知平台化 感知平台化需要完成多方面的工作，其中核心的就是技术架构，而技术架构最核心的就在于模型架构。为此，Nullmax打造了平台化的BEV-AI自动驾驶技术架构，为感知提供One Model形态的模型架构，用一个可以灵活适配的模型支持所有感知任务，满足不同自动驾驶应用的感知需求，实现整个感知系统的平台化。 Nullmax感知平台化的模型架构示意 简单来说，Nullmax的模型架构会先将来自前视、周视等相机的数据输入到主干网络，然后根据输出的一系列结果推进后续的任务。最直接的就是，主干网络提取的信息，可以直接通过CNN模型输出目标检测、车道线检测、语义分割、深度图、位姿估计等任务的结果。与此同时，主干网络输出的一系列特征，还会进入到另一个Memory Bank的视频模块，通过Transformer网络在BEV空间输出目标检测、分割、特征、自车轨迹等信息。最终，CNN模型部分的输出，Transformer模型部分的输出，融合为统一的结果，供下游使用。Nullmax感知模型架构的一大特点是存在很多功能重复的任务分支，这可以帮助网络取得更好的训练效果，从而实现更好的算法性能。因为在多任务共同训练的时候，不仅每个任务分支能帮助主干网络学习新的知识，分支之间也能起到相互促进的作用，胜过单独训练的方式。 比如，基于CNN的2D目标检测、3D目标检测和基于Transformer的BEV目标检测，基于CNN的2D车道线检测、3D车道线检测和基于Transformer的BEV车道线检测、BEV分割，这些任务之间高度相通，那么共同训练时可以在知识上互通有无，帮助彼此达到更好性能。 而且很关键的是，Nullmax的冗余分支设计可以确保每种任务有两到三个的输出信号，当中有的分支算力要求较高，有的要求较低，这样在实际部署时就可以灵活选择。 因此，基于这套感知平台架构，Nullmax既可以提供高算力方案，功能体验瞄准L4，又可以提供中低算力方案，满足主流L2+功能需求。典型例子就是Nullmax的MaxDrive行泊一体方案，既可以部署在大算力的Orin平台上，也可以基于8T算力的TDA4VM平台量产，各个算力区间都能有最优的功能选择。 在算力非常充沛的情况下，这个架构可以不做裁剪，完整部署。既以CNN网络完成感知输出，又以Transformer网络完成感知输出。不同网络的结果，融合之后作为最后的感知结果，确保整个系统的准确性、鲁棒性和冗余性。 如果算力较低，比如一些仅有前视相机的方案，那么可以只保留主干网络和部分任务分支，去掉其他任务，推理时仅运行前视部分，然后完成感知融合。而在极限情况下，比如2T的芯片上，那么可以仅保留2D车道线检测和2D目标检测，并对主干网络进行剪枝，也能组建一套极简的感知方案。 另外，Nullmax也同步构建了One Cycle形态的数据闭环，与One Model形态的模型架构搭配协同。这样在完成量产部署之后，Nullmax感知平台输出的不同方案可以通过同一套数据闭环高效汇流，回传知识给共用的主干网络和关联的任务分支，让整个感知基础模型变得更加强大。 结语 感知平台化不仅可以成倍提升量产效率，而且能够为算法效果带来质的改变。在实际的量产当中，Nullmax正是凭借高效的平台化软件算法，保证多个量产项目的同步开发和交付，助力行业的智能化升级。

近期，Nullmax纽劢获得ISO 9001质量管理体系认证证书，智能驾驶软件的开发能力再度得到权威认可。在量产规模快速扩大的当下，Nullmax通过ISO 9001认证不仅意味着能够持续提供优质的智驾产品，还代表着能以严格的全球标准服务更多客户。 ISO 9001广泛应用于包括汽车在内的众多行业，作为国际标准化组织（ISO）发布的质量管理体系国际标准，ISO 9001在全球范围内的应用非常成熟，用于评估和提升企业的质量管理水平。对于企业而言，获得这项认证代表着具备出色的质量管理能力，可以持续稳定为客户提供符合预期的合格产品或服务，并通过体系化的管理不断改进优化。 此次通过ISO 9001认证，再度证明了Nullmax在质量管理方面的领先水平和持续努力。先前，Nullmax已经顺利通过了ASPICE CL2认证，智能驾驶软件的产品开发、项目及质量管控能力获得汽车行业的国际标准认可。在获得ISO 9001质量管理体系认证之后，Nullmax开发和交付的量产方案也将再添一道保障和新的认可。 汽车产业拥有精细的产业分工和复杂的供应管理，因此质量管理严格，汽车软件的开发要求也相对较高。而智能驾驶作为一项新兴应用，直接参与车辆操控，并且涉及零部件众多，采用大量新技术，所以智能驾驶软件的质量要求尤为严格。通过完善的质量管理，Nullmax将能在与客户和伙伴的合作当中，持续提升产品效果、降低项目风险，以更高的开发效率和更低的开发成本完成最终的交付。 丰富的量产实践加上完善的质量管理，Nullmax将力争为更多客户提供优质的智能驾驶量产应用。Nullmax基于嵌入式平台完成了各项软件算法的开发，并选用成熟可靠的车规级零部件打造了包括行泊一体、视觉感知在内的量产应用，如今这些方案正陆续交付不同客户。面对市场快速上涨的量产需求，Nullmax综合量产经验对开发流程进行梳理和优化，持续提升量产效率，接下来也有望同时为更多客户提供高标准的量产服务。

在高阶智能驾驶不断上车的今天，行泊一体已经成为了汽车行业的量产共识，如何在实现极致性能体验的同时，进一步降低硬件成本，并且大幅提升开发部署的效率，是行泊一体加速落地的关键。传统的行泊一体方案，行泊功能一般来自两套系统，芯片、传感器各为阵营，不仅性能受限，也带来了多余的硬件成本。面向当下和未来，行泊一体显然需要更加「现代化」的深度融合：传感器深度复用，芯片资源完全共享，并通过强大的软件算法实现功能的整合升级。而这，也对底层的技术架构提出了更高要求。这套架构既要能够支持行车、泊车的各种传感器，基于单颗SOC为主的域控制器打造功能完整的行泊一体应用，还要提供丰富多样的算法选择，满足不同算力和算子情况下的各种行车、泊车任务要求，最好还能实现充分的技术共用和模块复用，让所有方案的开发、部署和升级变得高效便捷。为此，Nullmax打造了这样一套强大的平台化BEV-AI整体技术架构，为「现代化」的全场景行泊一体应用提供至关重要的技术支撑，推动高阶智驾加速走向普及。 自动驾驶「新基建」 在智能驾驶时代，汽车最明显的标志是硬件的变化，更高算力的芯片、更多数量的传感器，通常意味着更大的智能化潜力。这些硬件如同自动驾驶功能的基础设施，而用来驱动这些硬件高效协同并提供丰富功能的BEV-AI技术架构，就是自动驾驶的「新基建」工程。对于自动驾驶来说，感知是整个系统的最上游，当传感器的类型和数量显著增加时，如何融合所有传感器持续输入的多模态、不同视角数据，并实时输出下游所需的一系列任务结果，是自动驾驶的核心问题。并且在应用中，感知环节常常会消耗掉车上的大部份算力，所以感知其实也是技术架构的核心所在。在感知环节，系统需要融合不同视角相机的视觉数据，以及毫米波雷达、激光雷达等传感器的数据，在模型设计和工程实现上都具有很大挑战。常规的后融合处理方式，每个传感器对应一个神经网络，无法充分挖掘多传感器融合的优势，而且计算量大、耗时长。此外，如果多个任务简单地共享一个主干网络，则容易出现各个任务难以同时获得优异性能的情况。所以在2020年，Nullmax构建了基于BEV的感知基础架构，为自动驾驶提供融合更准、速度更快的感知模型。它可以有效融合空间和时序信息，对360度的多传感器数据进行高效融合，也能自动搜寻最优的网络设计，支持多传感器、多任务的协同工作。并且在2022年，Nullmax应用BEV-Transformer完成了这套架构的改造升级，形成了平台化的BEV-AI自动驾驶整体技术架构。它在技术底层考虑行车、泊车的特点，将任务范围从感知延伸到下游的规划，提供全场景、端到端、可成长的完整应用。在深入使用Transformer基础上，Nullmax BEV-AI技术架构还整合了大量BEV-CNN的成果，能在面向不同算力、算子的多核异构SOC时能够提供最优的算法选择。它可同时输出3D和2D的感知结果，既能为红绿灯检测等适合2D感知的任务提供2D输出，也可以为动态障碍物检测等任务输出3D结果，然后用进行2D校验，在系统层面形成鲁棒的设计。基于这套先进的BEV-AI整体技术架构，Nullmax可以快速完成各项功能和任务的开发，并形成一套性能拔尖、易于部署、持续升级的一体化量产方案。 面面俱到的完整BEV架构 为了满足自动驾驶全链的开发迭代需求，Nullmax的BEV-AI架构涵盖了六个方面的主要内容：BEV 3D车道线检测，BEV 3D目标检测，BEV局部地图，BEV规划，云端自动化4D真值标注，车端感知、预测、规划的量产部署。 复杂路口的BEV 3D目标检测 BEV 3D目标检测为自动驾驶提供360°的动态障碍物检测能力，并融合时序信息对各类目标进行准确预测。BEV 3D车道线检测为车辆输出实时的车道情况，BEV局部地图在车端实时构建媲美高精地图的高精度局部地图，二者能够在任意常规道路条件下，输出自动驾驶所需的静态场景深刻理解。然后以此为基础，BEV规划可以用端到端方式输出行车的轨迹和速度，实现复杂场景下的自动驾驶应用，而不依赖高精地图。[video width="1200" height="360" mp4="https://www.nullmax.ai/wp-content/uploads/2023/06/2023062508243265.mp4"][/video] 路口场景的BEV规划 云端的自动化4D真值标注，用来完成3D空间信息+时间信息的3D bunding-box真值标注，以及车道线、Local Map等方面的标注，支持BEV-AI的高效开发和迭代。最终，Nullmax BEV-AI整体架构根据实际需求，形成能在车端实时运行、易于部署的感知、预测、规划一系列量产应用。 为了让这套BEV-AI技术架构具备平台化特点，满足实际应用中的不同量产需求，Nullmax还攻克了三个方面的难点。一是融合多个摄像头数据的同时，不进行单个摄像头的独自处理和多个摄像头结果的复杂后处理，以节省算力、提升融合效果；二是在算法层面实现图像空间到BEV空间的信息转换；三是支持任意摄像头，且不过度依赖相机的外参，从而适配所有传感配置。简单来说，Nullmax的BEV-AI，采取多相机联合工作方式，输入任意数量相机的图像，直接统一输出BEV视角下的三维信息，因而无需为每个相机进行单独的处理。同时，Nullmax利用cross-attention机制实现2D图像到3D空间的关联，为BEV-AI架构打造了一系列基于Transformer的BEV检测、分割方法，并通过multi-camera cross attention等方式，实现了不过度依赖相机参数的2D和3D关联。归功于这些深入的工作，Nullmax的BEV-AI技术架构为行泊一体等量产应用带来了巨大的平台化优势和产品优势。 大幅提升的BEV量产优势 在实际应用中，芯片平台、传感器配置、功能定义、技术指标的细微差异，都可能会为自动驾驶的开发工作带来巨大变动，尤其是复杂的行泊一体量产应用。因此通过平台化的技术架构提升量产效率，意义重大。Nullmax BEV-AI架构能够支持所有的芯片平台，提供高中低不同算力平台下的行泊一体量产应用。尤其是在备受欢迎的德州仪器TDA4、英伟达Orin芯片上，基于BEV-AI技术架构的行泊一体方案，有的已经完成交付，有的正在交付。在最低8T算力的情况下，BEV-AI就可以实现包括高速NOA在内的基础行泊一体，如果算力达到16T，那么行泊车体验还会进一步升级。当算力达到100T以上，那么BEV-AI架构可以提供城市道路的领航辅助功能，实现全场景的行泊一体。同时，Nullmax BEV-AI架构还能够支持所有的自动驾驶产品。无论是完整的行泊一体，还是单独的行车、泊车功能，又或者是上游的行泊车感知，BEV-AI架构能够按需裁剪，适配任务需求，并且可以支持任意的传感器配置。 夜间基于8T算力和4颗侧视相机的BEV周视感知 通常来说，不同的车辆在传感器的类型、数量和参数上会存在普遍差异，比如相机的焦距、像素、FOV、安装位置、朝向等情况就各不相同。Nullmax的BEV-AI架构可以适配这些传感器层面的差异，无需大幅修改算法，即可提供应用。 除此之外，Nullmax BEV-AI架构还具有平台产品化的特点，让架构平台的技术优势形成了面向部署优化、超远距离感知的产品优点。这让基于BEV-AI架构的量产方案，在部署时能能取得更好的应用体验，并在资源占用、感知帧率、系统延时等关键指标上表现更佳，尤其是面对中低算力芯片平台的时候。 而且更远距离的感知，也能为自动驾驶提供更高的安全性。相比于业内BEV方案通常数十米远的感知距离，Nullmax BEV-AI架构可以轻松实现更远距离的有效感知，满足量产功能的所有性能指标。 正是凭借BEV-AI架构在平台化和产品化方面带来的这些优势，Nullmax不仅快速完成了各种量产应用的高质量开发和交付，并且方案整体达到了行业领先的技术水准。 结语 在汽车向着高阶智驾发展的过程中，先进的技术架构将为自动驾驶的落地带来全方位的优势，不论是量产方案的本身还是技术应用的过程，都不例外。Nullmax BEV-AI架构将继续作为行泊一体「现代化」路上的「新基建」，加速全场景自动驾驶应用的落地。

4月7日，Nullmax首席科学家成二康博士出席黑芝麻智能举办的BEST TECH Day 2023大会，并在智能汽车高峰论坛带来专业分享，畅谈行泊一体爆发趋势下，Nullmax如何基于Transformer打造BEV量产应用，赋能行泊一体方案加速落地、持续进化，以技术创新驱动智能驾驶的大规模普及。 打造4.0行泊一体，引领智能驾驶「增效降本」 近年来，以行泊一体为代表的智能驾驶方案在行业内深受欢迎，尤其是2022年，中国市场的行泊一体应用迎来巨幅增长。在汽车智能化竞争日趋激烈的当下，行泊一体已然处在市场爆发的前夕。行泊一体相比于传统的行泊分离架构，具有天然的成本优势，域控的整合、SOC的减少，不仅优化了汽车的硬件架构，也让智能驾驶的总体硬件成本大幅降低，因此行泊一体被看作是提升车型竞争力的重要手段。与此同时，随着芯片等硬件逐渐成熟，相应行泊一体域控制器的陆续量产下线，也为行泊一体量产上车打下了坚实基础。在此基础上，如何通过软件算法促成行泊一体应用的实质性落地，甚至进一步降低成本和提升体验，也就成为了智能驾驶走向普及的关键。Nullmax致力于实现自动驾驶的大规模商业化应用，提出了软硬件深度融合的行泊一体4.0形态，并推出了相应的MaxDrive行泊一体平台化方案，通过计算资源充分共享、传感器深度复用的方式，帮助智能驾驶「增效降本」。 归功于Nullmax在上层应用算法、中间件、云端数据系统等方面的深厚积累，MaxDrive行泊一体方案可以将行车、泊车功能整合为一套系统，并部署到单SOC的一体式域控制器上实现量产应用。同时，凭借包括BEV感知、Transformer网络在内的领先技术，MaxDrive能够在各种硬件配置下实现业内一流的智能驾驶体验，并更快完成高质量方案的交付。 成二康博士介绍，Nullmax对BEV和Transformer有着深入的研究与长期的实践，打造的平台化BEV-AI技术架构，能够同时支持行车、泊车功能，并且具有超长感知距离、面向部署优化等优点，可以为量产车型提供包括行泊一体在内的BEV领先应用。此外，Nullmax的这套BEV-AI技术架构既能支持包括德州仪器TDA4、英伟达Orin、黑芝麻智能华山系列等芯片在内的不同算力平台，也能自动化适配所有的传感器量产配置，大幅提升量产部署时的效率，为各种行泊一体应用的实际落地提供最大程度的便利。 BEV + Transformer，助力行泊一体体验升级 作为自动驾驶领域的技术热点，BEV + Transformer的研发和落地如今已经成为行业内外多方关注的焦点。Nullmax很早就在这方面开展了许多工作，尤其是在BEV-AI技术架构当中，融入了大量Transformer的研究成果。成二康博士介绍，Nullmax将自动驾驶感知分为两个方面，一是静态场景的理解，二是动态障碍物的检测、预测。这是Nullmax最早开始BEV-AI研发的环节，也是率先应用Transformer的环节，比如基于Transformer的BEV语义分割算法BEVSegFormer，基于Transformer的3D车道线检测算法CurveFormer，均取得了业界最优（SOTA）的算法效果。BEVSegFormer可以用于实时构建高精度的局部地图，将自动驾驶的场景扩展至任意道路，包括全国各地的城乡道路，而且支持任意的相机配置，不依赖相机参数。CurveFormer则是可以在不显式构建BEV的情况下，直接输出3D车道线结果，加速计算、便于部署，即使在低算力条件下也能满足复杂场景的车道线检测要求。 除此之外，Nullmax在BEV感知方面的具体应用还有车道识别、3D目标检测、3D障碍物融合等方面。这些BEV感知技术，大部份已经投入到实际的量产项目当中，部分已经在去年、今年的项目中实现交付。在规控方面，Nullmax开展了BEV Planning的研究并推进落地，以支持城市路段的自动驾驶。在不依赖高精地图的情况下，面对路口、无车道线、人车行为复杂等场景，通过BEV Planning也可以实现自动驾驶。论坛上，成二康博士还介绍了MaxDrive的自主成长系统，背后的数据平台，以及Nullmax的数据集开源工作。通过贯通车端、云端的高效数据闭环，Nullmax将持续推动自动驾驶技术的持续迭代，以及量产方案的长期升级。 当前，Nullmax已和多家汽车厂商、一级供应商、芯片厂商建立了深度合作关系，产品技术获得了业内广泛认可。所打造的自动驾驶方案，在不同算力区间的芯片平台上实现了落地。未来，Nullmax将继续扩大合作生态“朋友圈”，共同推动先进技术的商业化落地。

3月23-24日，2023光谷人工智能产业生态大会智能网联汽车专场在武汉举办，Nullmax首席科学家成二康博士出席并发表《Transformer与量产行泊一体》主题演讲。作为自动驾驶行业的智变引领者，Nullmax分享了基于BEV + Transformer技术架构的领先研究成果，以及面向行泊一体的量产落地实践与经验。近年来，兼具功能体验与成本优势的“行泊一体”成为业界关注的焦点。作为行泊一体1.0到4.0形态演变概念的提出者，Nullmax推出了目前市面上少有的深度融合式4.0形态行泊一体方案MaxDrive，得到了众多客户和合作伙伴的广泛认可，量产订单及交付进展领跑业内。MaxDrive行泊一体方案可以基于单SOC的一体化域控同时实现行车、泊车两大功能，具有传感器深度复用，芯片资源共享的优势，大幅降低了智能驾驶的硬件成本。并且得益于Nullmax打造的BEV + Transformer技术架构，MaxDrive在感知层面可同时融合空间、时间信息，多传感器、多任务之间高效协同，不仅实现了面面俱到的丰富行泊功能，而且实际体验、量产性能达到了顶尖水准。现场，成二康博士对该架构如何解决实际量产应用的难点、痛点进行了分享，并介绍了部分正投入应用的领先成果。例如Nullmax提出的基于Transformer的3D车道线检测方法CurveFormer，可在低算力平台上实现顶尖感知效果，高效满足复杂城市道路等场景下的车道线检测要求；面向任意相机配置（单个或多个）的BEV语义分割算法BEVSegFormer，实现了业内最佳水准的分割性能，能够用于实时构建稠密的高精度局部地图，并拓展到了目标检测、时序等任务当中。“通过创新实践，Nullmax在低算力平台上打造了业内唯一全栈自研单TDA4VM行泊一体量产方案，在中算力平台上交付了国内首个面向双TDA4VM的独家定点周视方案。”成二康博士介绍道，“同时，我们也是业内少数将BEV + Transformer神经网络运用至Orin大算力平台的解决方案提供商，实现基于实时构建局部地图的城市级别自动驾驶。”更重要的是，Nullmax正通过平台化的技术架构，加速落地、扩大应用，为更多客户提供高性能与高性价比兼具的行泊一体方案。Nullmax打造的BEV-AI整体架构，涵盖感知、预测、规划任务，能够通过平台化应用快速完成定制化方案的开发、部署和升级，并且具有面向部署优化和超远距离感知的特点，支持任意传感器配置以及高、中、低算力的计算平台。因此，Nullmax得以高效推进面向TDA4、Orin等芯片平台的多个量产项目。 2023年注定是人工智能热潮汹涌的一年，自动驾驶无疑是最具价值的应用之一。面对变革奇点将至，Nullmax将继续发力突破自动驾驶关键技术，提升量产体验、加速量产交付，携手更多生态合作伙伴，助推行业迈入智能驾驶应用的新阶段。

3月20日，Nullmax纽劢宣布与北京瞰瞰智能科技有限公司（以下简称“瞰瞰智能”）正式签署战略合作协议。双方将在汽车领域开展深入合作，以极致产品力、超高性价比的行泊一体方案为起点，携手推动智能驾驶应用规模化落地。 △ 瞰瞰智能董事长倪绪能（左）与Nullmax联合创始人兼COO宋新雨（右）进行签约根据协议，Nullmax将充分发挥自身在自动驾驶量产领域的技术与经验优势，结合瞰瞰智能领先的车载领域全栈式影像技术和产品，围绕高级辅助驾驶（ADAS）和高阶智驾等具体应用，打造充分满足多场景、多样化需求的行车、泊车一体化量产方案，共同推动汽车智能化的快速发展。瞰瞰智能是一家提供端到端全栈式光学影像解决方案和产品的高科技创新型企业，以核心影像技术和优秀的产业资源整合能力，持续开拓汽车影像产品力。已形成涵盖Camera产品、影像调试、图像增强算法、影像评测&标准体系、实验室、车载计算平台的全栈车载影像系统级产品能力，DMS/OMS/360°环视/前视ADAS等多款产品已定点新能源主机厂/Tier1。Nullmax是行业领先的自动驾驶科技公司，致力于打造全场景无人驾驶应用，加速移动出行智变。作为渐进式自动驾驶的行业引领者，Nullmax推出了全面涵盖自动驾驶上层应用、中间件以及数据闭环的一整套平台化软件算法，获得了国内头部OEM、造车新势力等客户的量产定点，并率先开启了完整行泊一体方案和视觉感知算法的量产交付。 Nullmax与瞰瞰智能对于智能汽车产业的蓬勃发展有着高度一致的看法，同时在产品技术、产业资源等方面也有着各自的独特优势。双方将基于全面、长期和稳定的战略合作伙伴关系，在产业上下游深度协同，全方位构建面向汽车智能化的技术和产品合作，实现产业共赢。 △ 团队合影随着汽车智能化进程的不断加速，汽车正快速迎来行泊一体以及高阶智驾的大范围应用，Nullmax将继续携手优秀产业伙伴，共建智能驾驶生态，以先进的自动驾驶产品技术为行业贡献力量。

对于高阶智能驾驶而言，建立覆盖车身360°远中近距离的感知能力，是一件尤为重要的事情。在「目视前方」的感知基础上，「眼观六路、耳听八方」的量产需求已经越来越大。 Nullmax作为量产领域的标杆企业，在去年率先交付了基于TDA4VM的周视感知模块，让行泊一体的体验进阶升级。在8 TOPS算力下，Nullmax不仅实现了20 FPS的周视感知帧率，并且性能指标超过业界顶尖量产方案的水平。周视感知是360°感知的核心组成，可以帮助车辆准确获取环绕车身、由远及近的障碍物信息，因此不少的中高端车型选择了配备周视相机。但是如何让这些硬件真正派上用场，改变「收效甚微」甚至「备而不用」的局面，却是实际量产中的巨大考验。 Nullmax的量产应用，不仅成功将周视感知扩展到了中低算力芯片上，而且实现了极佳的感知性能，让汽车在瞬息万变的驾驶环境里，也能够从容完成一系列的复杂功能。 智驾进阶的关键能力 在传统ADAS时代，车辆主要进行纵向的加减速，或者是少量横向的控制，系统通常只需要关心正前方的状况。但在智能驾驶时代，这些其实并不足够。智驾系统在实现一些长时间、高度自动化的复杂功能时，比如变换车道或者变换道路，需要进行大幅度的横向变化，车辆两侧的情况必须时刻关注。因此在前向感知的基础上，汽车还要强化侧向的感知能力，提升功能体验，确保行驶安全。 覆盖远中近的360°视觉感知 而在种种的感知配置当中，周视感知就是实现这一目标的最佳之选。它可以通过车身两侧的4个相机，对左前、左后、右前、右后的情况进行探测，建立起环绕车身360°、覆盖远中近距离的视觉感知。相比于鱼眼相机的环视感知，周视感知拥有极远的探测距离，在中远距离感知上具有无可比拟的优势。而且和环绕车身的雷达系统比起来，视觉传感器拥有远超雷达的丰富环境信息，能够取得更好的感知效果。虽然在没有周视感知的情况下，雷达和环视鱼眼相机也能够用来提供基础的周围环境信息，完成变道、避让等动作，但是周视感知仍是实现360°各距离感知覆盖的更好选择，它能让系统看到周围更远的地方，进行更准确的感知和更早的预判，安全从容地完成各种任务。 对于智驾系统而言，周视感知可以看作是功能体验「提档升级」的关键能力。 知易行难的量产应用 尽管在很多的智能驾驶方案中，以及一些量产车型上，都能看到周视相机的踪影，但周视感知实际的开发和应用却并非想象中那么容易。一方面，周视感知与前视感知存在比较大的差异，任务要求、安装位置等情况全然不同，周视感知并不适合直接使用前视感知的算法，而是需要更有针对性的开发。另一方面，不同相机数据的融合也是一项挑战性工作，既要实现出色的目标ReID（重识别）效果，还要考虑多个相机的算力消耗。在欠缺顶尖视觉感知技术和强大工程化能力的情况下，很多开发者为了保障前视感知，已经耗费了系统的大量资源，运行周视感知非常吃力。关闭部分传感器，降低感知帧率，下调感知性能，是周视感知中普遍存在的情况。 尤其是在实际的量产上车过程中，早期方案中隐藏的问题也会逐步显现。比如，周视感知模块完成集成后，实际占用资源过多，远超前期的测算值，影响其他模块和系统运行；又或者周视相机之间的跨相机目标跟踪存在问题，无法输出准确一致的感知结果。 除此之外，作为整个智驾系统以及感知部分的组成模块，周视感知在「做好自己」的同时，还需要做到「融入整体」。如何优化算力、分配资源、对接模块，完成从局部到整体的集成和优化，这需要开发者在智能驾驶的架构和全流程上，拥有深厚、全面的技术实力和产品能力。 媲美前视的周视感知 Nullmax目前已经率先在TDA4VM、Orin等主流量产芯片平台上，完成了不同算力行泊一体方案的定点并开启了量产交付，周视行泊一体方案正是当中的一个重点。在去年已经交付的项目中，Nullmax基于单颗TDA4VM完成了周视感知的集成，用8TOPS算力驱动4颗周视相机，感知帧率达到20FPS，实现了算力的极致使用。从相机的曝光开始，到整个感知结果的输出，延时控制在100ms。凭借领先的BEV-AI架构，Nullmax的周视感知模块做到了用更少算力实现了两倍于普通周视方案的帧率，以及极低的延时，确保在极速行驶的状态下和快速变化的环境中，能够为下游模块及时地输出感知信息。 并且，Nullmax周视感知的效果能够媲美业界顶尖量产方案的前视效果，性能指标更胜一筹。在这套方案中，周视感知能够为车辆准确提供左右两侧各三车道的障碍物情况，输出障碍物类型、位置、速度、朝向、尺寸等重要信息，并进行稳定的跟踪和预测。 同时，Nullmax也通过BEV很好地解决了周视感知当中关键的多相机ReID难题，将不同相机下的障碍物准确融合。当一个障碍物被多个相机同时观测到的时候，比如侧前、侧后观察到同一辆车的时候，如何将其合成一个目标而不是多个障碍物，实际上是比较难的问题。Nullmax的方案能够实现顶级的多相机融合效果，让障碍物在不同相机之间运动时保持一致，准确性和安全性大幅提高。 除此之外，Nullmax也正在通过平台化的技术架构将成熟的周视感知能力运用到不同的芯片平台和量产项目之上，为行泊一体方案提供更广、更远、更细、更准的感知覆盖。它输出的障碍物信息既能够帮助车辆全面强化两侧的环境感知能力，大大提高换道等功能的成功率和安全性，也能够在显示到仪表盘之后，帮助驾驶员更好地掌握周围情况。随着行泊一体的日益普及，技术功能和智驾体验也在加速升级，以周视感知为代表，帮助汽车实现强大的的360°环境感知。而凭借业内领先的工程化落地能力，Nullmax让先进的视觉感知技术和行泊一体产品应用在更多车型上，已陆续实现多个量产行泊一体项目的定点和交付，包括上汽、奇瑞等国内传统头部OEM、造车新势力客户，为更多复杂场景下的智驾应用保驾护航。

在发达的现代公路交通体系中，「各行其道」是交通运行的一项核心前提，车辆和行人按照划分的道路区域规范通行，可以最大程度地保障交通的安全和效率。因此对自动驾驶来说，从环境信息中求解出自己的道路区域是至关重要的感知任务。在这方面，Nullmax曾分享过一些出色的研究，包括用于3D车道线检测的CurveFormer，近日入选了国际机器人和自动化顶级会议ICRA 2023，以及可用于局部地图构建的BevSegFormer，入选了计算机视觉领域知名会议WACV 2023。这两篇论文均是在BEV视角下，基于Transformer对自动驾驶的「路在何方」问题进行了求解，不仅取得了极其出色的算法性能，还高效解决了实际量产应用中的一些难点、痛点，比如：更进一步的车道检测效果，更满足下游需求的任务输出；通过车端实时构建局部地图，将驾驶场景扩展至任意道路。作为BEV + Transformer技术架构的部分研究，这些技术正与更多的拓展工作，一同应用到Nullmax的多个量产项目中。 BEV感知与车道线检测 在自动驾驶感知中，实时检测环境中的车道情况，乃至构建一份要素更多的局部地图，可以视为理解静态场景的核心工作。有了车道信息，车辆便可以在车道内和车道间进行一系列操作，如巡航、跟车、变道等，从而实现连贯的智能驾驶。当中，感知系统需要提供自车坐标系下的车道线参数曲线，以便于下游的规控模块使用。因此一些比较领先的行业方案，是将车道线检测的输出设计为BEV视角下的2D或3D车道线参数曲线。BEV的原意是鸟瞰图视角，这种俯瞰全局的表征方式可以更好地融合不同传感器输入的数据信息，在空间、时间维度进行统一的计算。其中，BEV视角一般可以设为相机坐标系，通过车辆下线的标定与自车坐标系进行便捷的转换，所以BEV视角的车道线结果下游可以直接使用。但是在行业内，更常见的是另一种方式：先在相机输入的图像上进行感知计算，然后再经过复杂的后处理将图像空间的结果转换到BEV视角下的3D空间。当中的不足在于，这个后处理的过程需要工程师编写大量代码，同时也会消耗大量计算资源。而且面对千变万化的真实世界，这种基于人工规则的后处理方式，也很难在各种情况下都获得满意的效果。因此，包括车道线检测在内的很多感知任务，将后处理部分设计为基于学习的模块，让整个算法以学习为主，这样的话就可以重新定义任务，甚至重构整个自动驾驶系统。比如车道线检测的任务，就可以直接定义为：输入图像，输出BEV视角的车道线参数曲线。 面向量产的3D车道线算法 在去年，Nullmax提出了基于Transformer的3D车道线检测方法CurveFormer，取得了业界最佳（SOTA）的算法效果，论文在今年被国际机器人领域顶会ICRA录用。论文链接：https://arxiv.org/abs/2209.07989v1这项算法可以直接输出BEV视角的3D车道线参数曲线，而不是在图像空间进行输出。当中的技术亮点在于，无需显式构建BEV空间，直接从图像特征求解BEV视角的3D车道线参数曲线，将计算量大大减少。一般基于CNN和其他Transformer的方法，需要先构建稠密的BEV空间（比如100*100大小的BEV grid）生成BEV特征图，然后以此为基础完成感知任务的输出。但在现实世界，很多感知对象稀疏分布在环境当中。比如障碍物检测时，视野范围内的目标通常只有几个；车道线检测时，视野范围内的车道线也只有几根。这些感知对象的数量，远远小于BEV网格的数量，显式构建稠密BEV空间的做法不够高效，产生大量多余计算。Nullmax借鉴目标检测方面的一些思路，将车道线描述为稀疏的曲线query，利用deformable attention机制构建符合车道线检测的curve cross attention，完成BEV空间query和图像特征之间的关联，并通过迭代更新的方式输出3D车道线参数，大大减少了整个过程的计算量。在合成数据集和真实世界数据集上，CurveFormer与3D-LaneNet、Gen-LaneNet、PersFormer等优秀算法进行了对比，实验数据显示CurveFormer拥有非常全面的优异性能，优于其他算法。因此在量产应用中，CurveFormer也呈现出了巨大的落地优势，不仅任务效果出众，可以满足复杂城市道路等场景下的车道线检测要求，而且计算需求不大，可以部署到算力较低的量产计算平台之上。 局部地图与全场景驾驶 对于自动驾驶来说，车道线检测只是「寻路问道」的一种形态，如果更进一步，在车端实时构建局部地图，那么自动驾驶在技术和应用上还有更多发挥的空间。比如，通过常规导航地图+高精度局部地图，将驾驶场景扩展至任意常规道路，摆脱对高精地图的依赖。车辆基于导航地图进行全局的道路规划，然后通过局部地图进行具体轨迹的规划，这样在没有高精地图的情况下，自动驾驶功能也能正常启用，完成任意场景下A点到B点的行驶。再比如，基于局部地图打造端到端的整体方案，也就是一些地方所说的单栈式方案。近年来，学习为主的规划算法成为新的趋势，在这种算法设计下，局部地图相比于车道线是一种更为直接的输出形式，感知、规划更便于融为一个整体网络。正是如此，局部地图成为了近年来备受关注的一个技术热点。视觉信号蕴含着尤为丰富的环境信息，包括大量的语义、几何信息，因此视觉建图的思路早已在众包地图、泊车地图等方面进行了验证或应用。在这方面，最常用的方法是视觉SLAM（同步定位与地图构建）。如今，随着BEV感知快速发展，BEV视角的语义分割、道路环境理解也成为了在线视觉建图的一个优先选项。它的优势在于可以很好地融合多个视角相机的图像，提取出丰富的环境信息，整体效果更加鲁棒。同时，BEV视角的语义分割也更方便和其他BEV视角的感知任务、规划任务整合，形成端到端的整体方案，进行全局的优化。 局部地图和其他地图相比，不仅关注地图信息的高精度，还尤为看重车端的实时性，因此这也对算法提出了很高的要求。 行业顶尖的BEV语义分割 为了更好地满足自动驾驶上下游的需求，打造面向全场景的自动驾驶功能，Nullmax的感知团队在去年提出了面向任意相机配置（单个或多个）的BEV语义分割算法BEVSegFormer。 这一基于Transformer的BEV语义分割方法，同样也取得了当下业界最优（SOTA）的算法效果，论文入选计算机视觉学术会议WACV 2023。BEVSegFormer相比于HDMapNet等优秀算法，性能提升超过了10个百分点。 论文链接：https://arxiv.org/abs/2203.04050BEVSegFormer同样扩展deformable attention形成multi-camera cross attention，完成BEV空间的query和图像特征之间的关联，从而实现了不依赖相机参数，另一方面也可以大大节约计算量。在实际的行车过程中，颠簸、加速、制动、上下坡等情况都可能引起相机外参的变化，精准的实时相机外参估计相对困难，不依赖相机的参数，可以让算法在这些情况下更加稳定，鲁棒性更强。特别是，BEVSegFormer不依赖相机参数就可以将图像特征转成BEV特征，基于得到的BEV特征，又可以扩展出多个其他任务，比如3D目标检测，包括将不同时刻的BEV特征缓存下来，进行时序上的融合。并且基于这一创新点，Nullmax感知团队已经完成了多项扩展研究。目前，Nullmax正在将BEVSegFormer应用到量产项目中，实时构建稠密的高精度局部地图，帮助客户拓展功能范围，从而实现任意常规道路上的智能驾驶。 结语 当前，Nullmax正在完成一套车端实时运行BEV + Transformer技术架构，同时支持感知、规划任务，并能在高、中、低算力平台上完成落地的自动驾驶整体方案。通过BEV感知完成3D车道线检测和局部地图构建，正是当中的一部分工作。预计在2023年，Nullmax打造的这套多相机BEV-AI方案就将完成交付。通过这些先进的技术，Nullmax希望能够为普通用户提供极致安全、舒适高效的智能驾驶体验。