About
Technology
MLF
MaxPlatform
MaxCloud
Solutions
MaxDrive
MaxVision
Progress
News
Join Us
中
We Are Accelerating
The Process of AI-First Mobility
13
2023/10
Nullmax获得近7.8亿元B轮融资,加速推进自动驾驶落地
致力于引领移动出行智变的自动驾驶科技公司Nullmax纽劢宣布获得总计约7.8亿人民币的B轮融资。本轮融资由岩山科技(深交所股票代码:002195)独家领投,老股东Stonehill Technology Limited追加投资,其他投资者跟投。 随着新一轮融资的落地,Nullmax正式驶入全新发展阶段。在充足的资金支持下,Nullmax将有序扩大团队规模,提升交付能力,满足行业客户快速增长的智驾量产需求;并深化和扩大产品技术研发,巩固机器学习、视觉感知等核心技术优势,为新产品、新业务、新市场的开发和落地提供关键的技术支撑。 在本轮融资及相关交易完成后,Nullmax将成为岩山科技合并报表范围内的控股子公司。Nullmax将通过来自岩山科技的资源整合与协同,加速自身发展,巩固各项优势,扩大商业化规模,践行打造全场景无人驾驶应用,加速移动出行智变的品牌使命。 Nullmax一直专注于打造面向大规模量产的自动驾驶应用,并在业内率先推出了行车、泊车一体化的智能驾驶系统解决方案。从2021年一季度开始,Nullmax先后获得了基于TDA4芯片平台的行泊一体、视觉感知量产项目定点,以及基于Orin芯片平台的行泊一体量产项目定点,开启产品技术的商业化、规划化落地。 目前,Nullmax拥有MaxDrive卓行和MaxVision远见两大产品线,可以为客户提供完整的智能驾驶系统和定制化的视觉感知模块。依托于平台化的技术架构,Nullmax的产品既能通过高中低的不同配置满足差异化的量产需求,也能以更高的效率和更低的成本为客户交付功能完善、性能优异的智能驾驶系统。 同时,Nullmax与多家知名汽车厂商和一级供应商建立了面向量产的深度合作,先后获得多家行业客户的定点量产项目,合作伙伴包括上汽、奇瑞、江铃等知名汽车制造商。 现阶段,Nullmax正在有序推进各项量产项目的交付工作,推动高竞争力新量产方案的上车,以及Ultimate Self-Driving(终极自动驾驶)等高阶功能的落地。进入新的阶段,Nullmax将持续深耕智能驾驶领域,并推动自动驾驶业务和技术快速发展。 新一轮融资之后,Nullmax将继续致力实现引领移动出行智变的品牌愿景,朝大规模无人驾驶的量产之路继续前行。
Read more
11
2023/01
新成员报道 | 有点“牛”,爱了AI了!
Read more
Press Release
Blog
Media Coverage
Search
高效交付有章法,Nullmax量产工程深度解析
自动驾驶的量产落地,从来不是一件简单的事情,尤其要在有限的周期内,将复杂的软件系统与众多的硬件完美匹配在一起,稳定且安全地实现各种行车、泊车功能。因此如何紧锣密鼓地开展各项工作,将千头万绪的开发和验证事项有条不紊地推进,也就成了自动驾驶交付的关键。在这当中,量产工程发挥着至关重要的作用。 在Nullmax看来,量产工程并非看不见、摸不着的「玄学规律」,实际上它是一系列流程、方法、工具、经验的综合运用。通过量产工程,需求和技术可以平稳落地,自动驾驶复杂的万丈高楼也可以平地而起。 快速适配中的秘密 对于自动驾驶的量产开发而言,关联件的联调是一个重要节点,在量产样车下线后,软件系统需要与关联的硬件适配打通,然后进行性能和功能的深度优化。 在取得量产样车以后,Nullmax最快可以在1-2周的时间内完成软件和关联件的适配打通,然后进入后续的性能优化和功能开发阶段。Nullmax快速适配的背后,源自于三方面的工程积累。 一是Nullmax拥有一套标准化的适配流程。针对执行件、传感器等关联件,Nullmax形成了一整套验收和操作的规范,可以全面、细致、快速地确认是否符合量产标准,并推动多项开发工作同步进行。在关联件存在问题的情况下,Nullmax还可以联合OEM推动硬件达到要求,处置项目开发中的风险项。 二是Nullmax非常了解整车及关联件,可以直接触达最根本的问题。Nullmax不仅精通算法和软件,而且对芯片、传感器、执行器等关键硬件同样有着深入的理解。Nullmax擅长从系统层面思考如何实现软硬件完美融合,这是快速完成问题定位并协同对应的Tier 1、Tier 2解决问题的核心所在。 比如感知效果不佳时,就需要快速判断到底是算法还是相机ISP,又或者其他环节存在问题。Nullmax拥有出色的视觉感知能力,对ISP、CMOS、镜头等细节足够了解,并且对系统上下游有充分的理解以及丰富的实战经验,所以在量产过程中常常能够第一时间发现和解决问题。 三是Nullmax构建了平台化的技术架构,尤其是专门的自动驾驶中间件。不同车型的硬件差异极大,不仅性能、响应曲线有差别,而且关联件的接口也不一样。如果没有做好平台化,让系统适配一款新车往往需要大量的修改,工作量巨大,效率过低。 Nullmax考虑到量产的种种差异,因此开发了中间件系统。将上层的软件算法与底层的硬件隔离开来,软件和硬件解耦,这样在面对不同的硬件配置时只需要进行少量的修改。比如更换了芯片平台,那么系统只需要修改底层的适配,如果车辆的CAN矩阵发生变化,也只需要调整信号接口,而上层的软件算法不用修改。 标准化的量产流程 关联件的联调只是量产的一个环节,而且量产应用在品质上有着远超demo的严格要求,因此从需求的沟通到最终的交付,实际上是一个长周期的过程。Nullmax拥有一整套标准化的量产流程,保证项目如期高质量的交付。 比如在项目定点之后,Nullmax会根据客户的要求进行极其细致的分析,确认正式的需求文档,推动项目的具体开发。这份需求在早期不会完全固化,而是会考虑需求和技术的演化,在项目中保持迭代。 而在需求确认之后,Nullmax会设计系统的架构,分析传感器、计算平台等硬件配置,并明确关联件的量产要求。这样在取得量产样车后,就可以快速完成关联件的验证和适配,将平台化软件系统的接口调配打通。 项目初期,Nullmax会与客户确定项目的时间周期和重要节点,制定具体的开发计划,确保整个开发工作高效、可控。一方面,Nullmax会按照计划进行大的软件迭代,配合项目的集成和验证。另一方面,内部推进高频快速的小版本迭代,以周或者日为单位来进行软件发版,快速改进问题、提升性能。如果新项目的配置和需求变化不大,那么开发的节奏实际可以更快,周期大幅缩短。 Nullmax可以根据样车的下线计划,匹配联调的节奏,提高开发效率。比如在第一阶段,先将车辆横向、纵向的控制调通,实现ACC、AEB等基础功能的运行,在第二阶段,再优化性能或者增加复杂功能。 通常在样车和关联件比较成熟之后,Nullmax会对软件系统和关联件进行深度的联调。因为对于整个系统而言,软件和硬件不是完全割裂,很多地方需要共同优化才能实现最佳的效果。一般完成联调以后,关联件的接口和响应曲线固化下来,开发工作就可以进入新的阶段,专注功能性能的提升。 当系统提升到一个较为成熟的阶段,Nullmax会通过大范围的实车路试,全面检验系统的性能,同时利用路试收集的大量数据,完善和迭代系统。 Nullmax开发了多种的测试工具,来提升测试的效率,包括借助软件在环、仿真等手段回灌收集的收据,验证系统的改进效果,而不用一直进行大范围的实车路试。比如路试中发现的某个AEB误触发情况,完成改进之后,很难复现完全一样的场景,但是通过数据回灌就可以快速验证效果。 最终,经过持续的迭代,达到客户的全部功能和性能要求后,Nullmax就会向客户交付最终版本的自动驾驶系统。 刻在骨子里的安全性 Nullmax在量产工程上有着深入的安全考量,并将安全视为自动驾驶最关键、最基础的要求。 在项目开始阶段,Nullmax就会将功能安全、预期功能安全和信息安全加入到需求当中,而不仅仅是达成功能、性能的指标,还要确保交付的系统足够安全。 功能安全层面,Nullmax会按照ISO 26262的标准,将需求进行非常细致的拆解,深入到子系统层面。完成编程以后,也会在子系统和系统层面进行测试,确保达到要求。 比如最基础的ACC、AEB功能,如果要达到ASIL B等级,Nullmax就会思考系统需求是什么,拆解出的感知需求、规控需求包含哪些事项,诊断需要完成哪些任务,整个链路的架构设计需要注意什么,等等。 而在预期功能安全方面,Nullmax会通过覆盖不同天气、路况、路段等场景要素的大规模路测,挖掘出各种未知的危险场景。 预期功能安全根据已知、未知和安全、危险,将所有场景分为四类:已知的安全场景,未知的安全场景,已知的危险场景,未知的危险场景。其中,已知的危险场景,通过常规的测试手段可以完成系统验证和改进。所以功能安全的关键在于未知的危险场景,大规模的路测可以通过不同场景要素的组合找出这些场景,最大限度地把问题暴露出来。 Nullmax相信通过功能安全目标的拆解、执行和测试,可以极大程度地避免由于系统因素带来的安全问题。同时,预期功能安全也可以有效减少未知的危险场景,这些安全措施的搭配最终可以实现极高的安全性。 实际上,除了软件在环、仿真、路测以外,Nullmax还会进行大量其他的测试。比如在系统和子系统层级之下,Nullmax会进行大量的单元测试,以后单元测试之后软件模块的集成测试,还有代码的覆盖度测试、静态测试,保证代码的质量。 这样的话,安全就不仅是从最顶层贯彻,还是从底层做起,从而实现最小颗粒度的安全,最终保证整个系统的安全。 结语 Nullmax在量产工程上还有许多独特的实践,比如把控技术全局的系统工程团队,将问题扼杀在摇篮的感知测试团队,等等。所有这些流程、方法、工具、经验乃至团队的组合搭配,共同构成了Nullmax深厚的量产工程能力,让自动驾驶的落地变得规范而高效。
19
2024/04
Blog
打造智驾「新质生产力」,Nullmax BEV-AI技术架构带飞上分!
28
2024/03
Blog
高效量产有诀窍,感知平台化很重要 | Nullmax进化学
随着越来越多汽车品牌将智能驾驶部署到主销车型上,自动驾驶技术正沿着大规模前装量产的路线大踏步前进,并以更快的速度走向更大范围的普及。在这样的背景下,如何高效完成技术方案的量产落地,满足多项目、多车型的多样化量产需求,也就成为了自动驾驶商业化走向成熟的关键。它不同于面向一两个车型的量产开发,而是一系列的大规模、多样化应用,对商业和技术有着更高的要求。当中,软件算法的平台化尤为重要。在Nullmax看来,通过平台化将自动驾驶所需的绝大部分软件算法,尤其是核心的、复杂的算法模型,整合为一套支持不同车型的平台型软件,可以免去大量低价值的重复开发,大幅提高量产速度和质量。而感知作为最关键的上游环节,它的平台化是整个平台化工作的重中之重。 为此,Nullmax打造了涵盖L2+及L4感知任务的平台化感知架构,它可以支持大算力、小算力的不同计算平台,也能自动适配不同的传感器配置,为行泊一体等产品应用的高效落地提供核心的技术支撑。 细说感知平台化 感知平台化,简单来说就是设计一套感知基础架构,将感知所需的软件算法整合成一个可以支持各种需求的平台。它能够快速、低成本地输出针对不同传感器和芯片的软件包,在不同车型上实现自动驾驶的相关功能。 平台化有利于提升量产的质量和速度 在行业内,感知平台化刚刚起步,为每一款车型配备一个开发团队,开发一套专用的软件包,是最普遍的量产方式。「技术密集型」的自动驾驶,不得不以「劳动密集型」的方式开展工作,甚至「重复造轮子」,这样既耗费了稀缺的人才资源,拉长了量产周期,也无益于自动驾驶数据的整合与利用,难以为技术带来质的提升。当前,部分优秀企业已经可以实现基础的感知平台化效果,为不同芯片开发不同感知方案,以稍低一些的开发成本实现感知算法的移植。但显然,自动驾驶的感知平台化需要更加充分一些,为商业和技术带来更大进步。比如在商业层面,感知平台化可以将量产的边际成本压缩到极致,从而在不大幅增加人员和投入的情况下,完成大量新车型上的应用。这可以帮助自动驾驶形成真正成熟可闭环的商业模式,尤其是量产需要关注单位车型、单位功能的研发成本,平台化能最大程度地帮助车厂分摊各项成本。 平台化可显著降低应用的边际成本 而从技术层面来讲,感知平台化也有助于汇集不同项目、不同级别、不同任务的自动驾驶数据,促进彼此效果,提升整个感知平台的各方面任务性能。无论是适配的哪套方案,都可以为整个感知平台贡献数据和知识,让自身算法和相关算法持续进步。 多样差异带来巨大挑战 感知平台化对于自动驾驶的应用来说意义重大,但面临的挑战也同样巨大。因为在实际的量产中,不同项目的传感器、计算平台和功能普遍存在差异,用一套感知平台适配所有的功能情况和硬件情况显然极为不易。 平台化需充分考虑需求和硬件差异 具体来说,传感器作为自动驾驶的感官硬件,它的配置差异直接影响着整个感知系统的设计和具体感知算法的开发。虽然在实际应用中,有些车型的传感器类型、数量甚至安装位置看起来一模一样,但视场角、像素、焦距、旋转方向等参数可能大不相同,与相机参数高度关联的算法需要大幅调整甚至是重新开发才能使用。芯片作为算法运行的基础硬件,它在算力、算子、处理器核心等方面存在的差异,也进一步拔高了感知平台化的难度。感知平台化意味着既要考虑大算力的芯片,也要考虑低算力芯片。而且芯片算子不同,那么能部署的算法也不一样。加之自动驾驶芯片通常是多核异构SOC,所以也要考虑处理器核心的不同。另外,算法服务于具体的功能,因此感知平台化需要考虑不同算法以实现各种功能需求。比如一些基础功能只需要2D的车道线检测、障碍物检测,但是一些高阶功能需要3D的检测算法,还有稠密深度图等等。并且有的厂商还会开发一些特色功能,比如轨迹参考线、360°障碍物检测等等,那么可能会用到BEV感知、BEV规划等算法。 显而易见,感知平台化是一项难度极大的系统性工程,但在突破了这些难点之后,自动驾驶量产也能取得巨大的效率优势,在商业和技术上走得更远。 BEV-AI架构实现感知平台化 感知平台化需要完成多方面的工作,其中核心的就是技术架构,而技术架构最核心的就在于模型架构。为此,Nullmax打造了平台化的BEV-AI自动驾驶技术架构,为感知提供One Model形态的模型架构,用一个可以灵活适配的模型支持所有感知任务,满足不同自动驾驶应用的感知需求,实现整个感知系统的平台化。 Nullmax感知平台化的模型架构示意 简单来说,Nullmax的模型架构会先将来自前视、周视等相机的数据输入到主干网络,然后根据输出的一系列结果推进后续的任务。最直接的就是,主干网络提取的信息,可以直接通过CNN模型输出目标检测、车道线检测、语义分割、深度图、位姿估计等任务的结果。与此同时,主干网络输出的一系列特征,还会进入到另一个Memory Bank的视频模块,通过Transformer网络在BEV空间输出目标检测、分割、特征、自车轨迹等信息。最终,CNN模型部分的输出,Transformer模型部分的输出,融合为统一的结果,供下游使用。Nullmax感知模型架构的一大特点是存在很多功能重复的任务分支,这可以帮助网络取得更好的训练效果,从而实现更好的算法性能。因为在多任务共同训练的时候,不仅每个任务分支能帮助主干网络学习新的知识,分支之间也能起到相互促进的作用,胜过单独训练的方式。 比如,基于CNN的2D目标检测、3D目标检测和基于Transformer的BEV目标检测,基于CNN的2D车道线检测、3D车道线检测和基于Transformer的BEV车道线检测、BEV分割,这些任务之间高度相通,那么共同训练时可以在知识上互通有无,帮助彼此达到更好性能。 而且很关键的是,Nullmax的冗余分支设计可以确保每种任务有两到三个的输出信号,当中有的分支算力要求较高,有的要求较低,这样在实际部署时就可以灵活选择。 因此,基于这套感知平台架构,Nullmax既可以提供高算力方案,功能体验瞄准L4,又可以提供中低算力方案,满足主流L2+功能需求。典型例子就是Nullmax的MaxDrive行泊一体方案,既可以部署在大算力的Orin平台上,也可以基于8T算力的TDA4VM平台量产,各个算力区间都能有最优的功能选择。 在算力非常充沛的情况下,这个架构可以不做裁剪,完整部署。既以CNN网络完成感知输出,又以Transformer网络完成感知输出。不同网络的结果,融合之后作为最后的感知结果,确保整个系统的准确性、鲁棒性和冗余性。 如果算力较低,比如一些仅有前视相机的方案,那么可以只保留主干网络和部分任务分支,去掉其他任务,推理时仅运行前视部分,然后完成感知融合。而在极限情况下,比如2T的芯片上,那么可以仅保留2D车道线检测和2D目标检测,并对主干网络进行剪枝,也能组建一套极简的感知方案。 另外,Nullmax也同步构建了One Cycle形态的数据闭环,与One Model形态的模型架构搭配协同。这样在完成量产部署之后,Nullmax感知平台输出的不同方案可以通过同一套数据闭环高效汇流,回传知识给共用的主干网络和关联的任务分支,让整个感知基础模型变得更加强大。 结语 感知平台化不仅可以成倍提升量产效率,而且能够为算法效果带来质的改变。在实际的量产当中,Nullmax正是凭借高效的平台化软件算法,保证多个量产项目的同步开发和交付,助力行业的智能化升级。
30
2023/08
Blog
Nullmax BEV-AI架构,加速行泊一体「现代化」
在高阶智能驾驶不断上车的今天,行泊一体已经成为了汽车行业的量产共识,如何在实现极致性能体验的同时,进一步降低硬件成本,并且大幅提升开发部署的效率,是行泊一体加速落地的关键。传统的行泊一体方案,行泊功能一般来自两套系统,芯片、传感器各为阵营,不仅性能受限,也带来了多余的硬件成本。面向当下和未来,行泊一体显然需要更加「现代化」的深度融合:传感器深度复用,芯片资源完全共享,并通过强大的软件算法实现功能的整合升级。而这,也对底层的技术架构提出了更高要求。这套架构既要能够支持行车、泊车的各种传感器,基于单颗SOC为主的域控制器打造功能完整的行泊一体应用,还要提供丰富多样的算法选择,满足不同算力和算子情况下的各种行车、泊车任务要求,最好还能实现充分的技术共用和模块复用,让所有方案的开发、部署和升级变得高效便捷。为此,Nullmax打造了这样一套强大的平台化BEV-AI整体技术架构,为「现代化」的全场景行泊一体应用提供至关重要的技术支撑,推动高阶智驾加速走向普及。 自动驾驶「新基建」 在智能驾驶时代,汽车最明显的标志是硬件的变化,更高算力的芯片、更多数量的传感器,通常意味着更大的智能化潜力。这些硬件如同自动驾驶功能的基础设施,而用来驱动这些硬件高效协同并提供丰富功能的BEV-AI技术架构,就是自动驾驶的「新基建」工程。对于自动驾驶来说,感知是整个系统的最上游,当传感器的类型和数量显著增加时,如何融合所有传感器持续输入的多模态、不同视角数据,并实时输出下游所需的一系列任务结果,是自动驾驶的核心问题。并且在应用中,感知环节常常会消耗掉车上的大部份算力,所以感知其实也是技术架构的核心所在。在感知环节,系统需要融合不同视角相机的视觉数据,以及毫米波雷达、激光雷达等传感器的数据,在模型设计和工程实现上都具有很大挑战。常规的后融合处理方式,每个传感器对应一个神经网络,无法充分挖掘多传感器融合的优势,而且计算量大、耗时长。此外,如果多个任务简单地共享一个主干网络,则容易出现各个任务难以同时获得优异性能的情况。所以在2020年,Nullmax构建了基于BEV的感知基础架构,为自动驾驶提供融合更准、速度更快的感知模型。它可以有效融合空间和时序信息,对360度的多传感器数据进行高效融合,也能自动搜寻最优的网络设计,支持多传感器、多任务的协同工作。并且在2022年,Nullmax应用BEV-Transformer完成了这套架构的改造升级,形成了平台化的BEV-AI自动驾驶整体技术架构。它在技术底层考虑行车、泊车的特点,将任务范围从感知延伸到下游的规划,提供全场景、端到端、可成长的完整应用。在深入使用Transformer基础上,Nullmax BEV-AI技术架构还整合了大量BEV-CNN的成果,能在面向不同算力、算子的多核异构SOC时能够提供最优的算法选择。它可同时输出3D和2D的感知结果,既能为红绿灯检测等适合2D感知的任务提供2D输出,也可以为动态障碍物检测等任务输出3D结果,然后用进行2D校验,在系统层面形成鲁棒的设计。基于这套先进的BEV-AI整体技术架构,Nullmax可以快速完成各项功能和任务的开发,并形成一套性能拔尖、易于部署、持续升级的一体化量产方案。 面面俱到的完整BEV架构 为了满足自动驾驶全链的开发迭代需求,Nullmax的BEV-AI架构涵盖了六个方面的主要内容:BEV 3D车道线检测,BEV 3D目标检测,BEV局部地图,BEV规划,云端自动化4D真值标注,车端感知、预测、规划的量产部署。 复杂路口的BEV 3D目标检测 BEV 3D目标检测为自动驾驶提供360°的动态障碍物检测能力,并融合时序信息对各类目标进行准确预测。BEV 3D车道线检测为车辆输出实时的车道情况,BEV局部地图在车端实时构建媲美高精地图的高精度局部地图,二者能够在任意常规道路条件下,输出自动驾驶所需的静态场景深刻理解。然后以此为基础,BEV规划可以用端到端方式输出行车的轨迹和速度,实现复杂场景下的自动驾驶应用,而不依赖高精地图。[video width="1200" height="360" mp4="https://www.nullmax.ai/wp-content/uploads/2023/06/2023062508243265.mp4"][/video] 路口场景的BEV规划 云端的自动化4D真值标注,用来完成3D空间信息+时间信息的3D bunding-box真值标注,以及车道线、Local Map等方面的标注,支持BEV-AI的高效开发和迭代。最终,Nullmax BEV-AI整体架构根据实际需求,形成能在车端实时运行、易于部署的感知、预测、规划一系列量产应用。 为了让这套BEV-AI技术架构具备平台化特点,满足实际应用中的不同量产需求,Nullmax还攻克了三个方面的难点。一是融合多个摄像头数据的同时,不进行单个摄像头的独自处理和多个摄像头结果的复杂后处理,以节省算力、提升融合效果;二是在算法层面实现图像空间到BEV空间的信息转换;三是支持任意摄像头,且不过度依赖相机的外参,从而适配所有传感配置。简单来说,Nullmax的BEV-AI,采取多相机联合工作方式,输入任意数量相机的图像,直接统一输出BEV视角下的三维信息,因而无需为每个相机进行单独的处理。同时,Nullmax利用cross-attention机制实现2D图像到3D空间的关联,为BEV-AI架构打造了一系列基于Transformer的BEV检测、分割方法,并通过multi-camera cross attention等方式,实现了不过度依赖相机参数的2D和3D关联。归功于这些深入的工作,Nullmax的BEV-AI技术架构为行泊一体等量产应用带来了巨大的平台化优势和产品优势。 大幅提升的BEV量产优势 在实际应用中,芯片平台、传感器配置、功能定义、技术指标的细微差异,都可能会为自动驾驶的开发工作带来巨大变动,尤其是复杂的行泊一体量产应用。因此通过平台化的技术架构提升量产效率,意义重大。Nullmax BEV-AI架构能够支持所有的芯片平台,提供高中低不同算力平台下的行泊一体量产应用。尤其是在备受欢迎的德州仪器TDA4、英伟达Orin芯片上,基于BEV-AI技术架构的行泊一体方案,有的已经完成交付,有的正在交付。在最低8T算力的情况下,BEV-AI就可以实现包括高速NOA在内的基础行泊一体,如果算力达到16T,那么行泊车体验还会进一步升级。当算力达到100T以上,那么BEV-AI架构可以提供城市道路的领航辅助功能,实现全场景的行泊一体。同时,Nullmax BEV-AI架构还能够支持所有的自动驾驶产品。无论是完整的行泊一体,还是单独的行车、泊车功能,又或者是上游的行泊车感知,BEV-AI架构能够按需裁剪,适配任务需求,并且可以支持任意的传感器配置。 夜间基于8T算力和4颗侧视相机的BEV周视感知 通常来说,不同的车辆在传感器的类型、数量和参数上会存在普遍差异,比如相机的焦距、像素、FOV、安装位置、朝向等情况就各不相同。Nullmax的BEV-AI架构可以适配这些传感器层面的差异,无需大幅修改算法,即可提供应用。 除此之外,Nullmax BEV-AI架构还具有平台产品化的特点,让架构平台的技术优势形成了面向部署优化、超远距离感知的产品优点。这让基于BEV-AI架构的量产方案,在部署时能能取得更好的应用体验,并在资源占用、感知帧率、系统延时等关键指标上表现更佳,尤其是面对中低算力芯片平台的时候。 而且更远距离的感知,也能为自动驾驶提供更高的安全性。相比于业内BEV方案通常数十米远的感知距离,Nullmax BEV-AI架构可以轻松实现更远距离的有效感知,满足量产功能的所有性能指标。 正是凭借BEV-AI架构在平台化和产品化方面带来的这些优势,Nullmax不仅快速完成了各种量产应用的高质量开发和交付,并且方案整体达到了行业领先的技术水准。 结语 在汽车向着高阶智驾发展的过程中,先进的技术架构将为自动驾驶的落地带来全方位的优势,不论是量产方案的本身还是技术应用的过程,都不例外。Nullmax BEV-AI架构将继续作为行泊一体「现代化」路上的「新基建」,加速全场景自动驾驶应用的落地。
25
2023/05
Blog
玩转周视感知,请看Nullmax的量产打样 | Nullmax进化学
对于高阶智能驾驶而言,建立覆盖车身360°远中近距离的感知能力,是一件尤为重要的事情。在「目视前方」的感知基础上,「眼观六路、耳听八方」的量产需求已经越来越大。 Nullmax作为量产领域的标杆企业,在去年率先交付了基于TDA4VM的周视感知模块,让行泊一体的体验进阶升级。在8 TOPS算力下,Nullmax不仅实现了20 FPS的周视感知帧率,并且性能指标超过业界顶尖量产方案的水平。周视感知是360°感知的核心组成,可以帮助车辆准确获取环绕车身、由远及近的障碍物信息,因此不少的中高端车型选择了配备周视相机。但是如何让这些硬件真正派上用场,改变「收效甚微」甚至「备而不用」的局面,却是实际量产中的巨大考验。 Nullmax的量产应用,不仅成功将周视感知扩展到了中低算力芯片上,而且实现了极佳的感知性能,让汽车在瞬息万变的驾驶环境里,也能够从容完成一系列的复杂功能。 智驾进阶的关键能力 在传统ADAS时代,车辆主要进行纵向的加减速,或者是少量横向的控制,系统通常只需要关心正前方的状况。但在智能驾驶时代,这些其实并不足够。智驾系统在实现一些长时间、高度自动化的复杂功能时,比如变换车道或者变换道路,需要进行大幅度的横向变化,车辆两侧的情况必须时刻关注。因此在前向感知的基础上,汽车还要强化侧向的感知能力,提升功能体验,确保行驶安全。 覆盖远中近的360°视觉感知 而在种种的感知配置当中,周视感知就是实现这一目标的最佳之选。它可以通过车身两侧的4个相机,对左前、左后、右前、右后的情况进行探测,建立起环绕车身360°、覆盖远中近距离的视觉感知。相比于鱼眼相机的环视感知,周视感知拥有极远的探测距离,在中远距离感知上具有无可比拟的优势。而且和环绕车身的雷达系统比起来,视觉传感器拥有远超雷达的丰富环境信息,能够取得更好的感知效果。虽然在没有周视感知的情况下,雷达和环视鱼眼相机也能够用来提供基础的周围环境信息,完成变道、避让等动作,但是周视感知仍是实现360°各距离感知覆盖的更好选择,它能让系统看到周围更远的地方,进行更准确的感知和更早的预判,安全从容地完成各种任务。 对于智驾系统而言,周视感知可以看作是功能体验「提档升级」的关键能力。 知易行难的量产应用 尽管在很多的智能驾驶方案中,以及一些量产车型上,都能看到周视相机的踪影,但周视感知实际的开发和应用却并非想象中那么容易。一方面,周视感知与前视感知存在比较大的差异,任务要求、安装位置等情况全然不同,周视感知并不适合直接使用前视感知的算法,而是需要更有针对性的开发。另一方面,不同相机数据的融合也是一项挑战性工作,既要实现出色的目标ReID(重识别)效果,还要考虑多个相机的算力消耗。在欠缺顶尖视觉感知技术和强大工程化能力的情况下,很多开发者为了保障前视感知,已经耗费了系统的大量资源,运行周视感知非常吃力。关闭部分传感器,降低感知帧率,下调感知性能,是周视感知中普遍存在的情况。 尤其是在实际的量产上车过程中,早期方案中隐藏的问题也会逐步显现。比如,周视感知模块完成集成后,实际占用资源过多,远超前期的测算值,影响其他模块和系统运行;又或者周视相机之间的跨相机目标跟踪存在问题,无法输出准确一致的感知结果。 除此之外,作为整个智驾系统以及感知部分的组成模块,周视感知在「做好自己」的同时,还需要做到「融入整体」。如何优化算力、分配资源、对接模块,完成从局部到整体的集成和优化,这需要开发者在智能驾驶的架构和全流程上,拥有深厚、全面的技术实力和产品能力。 媲美前视的周视感知 Nullmax目前已经率先在TDA4VM、Orin等主流量产芯片平台上,完成了不同算力行泊一体方案的定点并开启了量产交付,周视行泊一体方案正是当中的一个重点。在去年已经交付的项目中,Nullmax基于单颗TDA4VM完成了周视感知的集成,用8TOPS算力驱动4颗周视相机,感知帧率达到20FPS,实现了算力的极致使用。从相机的曝光开始,到整个感知结果的输出,延时控制在100ms。凭借领先的BEV-AI架构,Nullmax的周视感知模块做到了用更少算力实现了两倍于普通周视方案的帧率,以及极低的延时,确保在极速行驶的状态下和快速变化的环境中,能够为下游模块及时地输出感知信息。 并且,Nullmax周视感知的效果能够媲美业界顶尖量产方案的前视效果,性能指标更胜一筹。在这套方案中,周视感知能够为车辆准确提供左右两侧各三车道的障碍物情况,输出障碍物类型、位置、速度、朝向、尺寸等重要信息,并进行稳定的跟踪和预测。 同时,Nullmax也通过BEV很好地解决了周视感知当中关键的多相机ReID难题,将不同相机下的障碍物准确融合。当一个障碍物被多个相机同时观测到的时候,比如侧前、侧后观察到同一辆车的时候,如何将其合成一个目标而不是多个障碍物,实际上是比较难的问题。Nullmax的方案能够实现顶级的多相机融合效果,让障碍物在不同相机之间运动时保持一致,准确性和安全性大幅提高。 除此之外,Nullmax也正在通过平台化的技术架构将成熟的周视感知能力运用到不同的芯片平台和量产项目之上,为行泊一体方案提供更广、更远、更细、更准的感知覆盖。它输出的障碍物信息既能够帮助车辆全面强化两侧的环境感知能力,大大提高换道等功能的成功率和安全性,也能够在显示到仪表盘之后,帮助驾驶员更好地掌握周围情况。随着行泊一体的日益普及,技术功能和智驾体验也在加速升级,以周视感知为代表,帮助汽车实现强大的的360°环境感知。而凭借业内领先的工程化落地能力,Nullmax让先进的视觉感知技术和行泊一体产品应用在更多车型上,已陆续实现多个量产行泊一体项目的定点和交付,包括上汽、奇瑞等国内传统头部OEM、造车新势力客户,为更多复杂场景下的智驾应用保驾护航。
14
2023/03
Blog
从3D车道线到局部地图,BEV视角求解「路在何方」| Nullmax进化学
在发达的现代公路交通体系中,「各行其道」是交通运行的一项核心前提,车辆和行人按照划分的道路区域规范通行,可以最大程度地保障交通的安全和效率。因此对自动驾驶来说,从环境信息中求解出自己的道路区域是至关重要的感知任务。在这方面,Nullmax曾分享过一些出色的研究,包括用于3D车道线检测的CurveFormer,近日入选了国际机器人和自动化顶级会议ICRA 2023,以及可用于局部地图构建的BevSegFormer,入选了计算机视觉领域知名会议WACV 2023。这两篇论文均是在BEV视角下,基于Transformer对自动驾驶的「路在何方」问题进行了求解,不仅取得了极其出色的算法性能,还高效解决了实际量产应用中的一些难点、痛点,比如:更进一步的车道检测效果,更满足下游需求的任务输出;通过车端实时构建局部地图,将驾驶场景扩展至任意道路。作为BEV + Transformer技术架构的部分研究,这些技术正与更多的拓展工作,一同应用到Nullmax的多个量产项目中。 BEV感知与车道线检测 在自动驾驶感知中,实时检测环境中的车道情况,乃至构建一份要素更多的局部地图,可以视为理解静态场景的核心工作。有了车道信息,车辆便可以在车道内和车道间进行一系列操作,如巡航、跟车、变道等,从而实现连贯的智能驾驶。当中,感知系统需要提供自车坐标系下的车道线参数曲线,以便于下游的规控模块使用。因此一些比较领先的行业方案,是将车道线检测的输出设计为BEV视角下的2D或3D车道线参数曲线。BEV的原意是鸟瞰图视角,这种俯瞰全局的表征方式可以更好地融合不同传感器输入的数据信息,在空间、时间维度进行统一的计算。其中,BEV视角一般可以设为相机坐标系,通过车辆下线的标定与自车坐标系进行便捷的转换,所以BEV视角的车道线结果下游可以直接使用。但是在行业内,更常见的是另一种方式:先在相机输入的图像上进行感知计算,然后再经过复杂的后处理将图像空间的结果转换到BEV视角下的3D空间。当中的不足在于,这个后处理的过程需要工程师编写大量代码,同时也会消耗大量计算资源。而且面对千变万化的真实世界,这种基于人工规则的后处理方式,也很难在各种情况下都获得满意的效果。因此,包括车道线检测在内的很多感知任务,将后处理部分设计为基于学习的模块,让整个算法以学习为主,这样的话就可以重新定义任务,甚至重构整个自动驾驶系统。比如车道线检测的任务,就可以直接定义为:输入图像,输出BEV视角的车道线参数曲线。 面向量产的3D车道线算法 在去年,Nullmax提出了基于Transformer的3D车道线检测方法CurveFormer,取得了业界最佳(SOTA)的算法效果,论文在今年被国际机器人领域顶会ICRA录用。论文链接:https://arxiv.org/abs/2209.07989v1这项算法可以直接输出BEV视角的3D车道线参数曲线,而不是在图像空间进行输出。当中的技术亮点在于,无需显式构建BEV空间,直接从图像特征求解BEV视角的3D车道线参数曲线,将计算量大大减少。一般基于CNN和其他Transformer的方法,需要先构建稠密的BEV空间(比如100*100大小的BEV grid)生成BEV特征图,然后以此为基础完成感知任务的输出。但在现实世界,很多感知对象稀疏分布在环境当中。比如障碍物检测时,视野范围内的目标通常只有几个;车道线检测时,视野范围内的车道线也只有几根。这些感知对象的数量,远远小于BEV网格的数量,显式构建稠密BEV空间的做法不够高效,产生大量多余计算。Nullmax借鉴目标检测方面的一些思路,将车道线描述为稀疏的曲线query,利用deformable attention机制构建符合车道线检测的curve cross attention,完成BEV空间query和图像特征之间的关联,并通过迭代更新的方式输出3D车道线参数,大大减少了整个过程的计算量。在合成数据集和真实世界数据集上,CurveFormer与3D-LaneNet、Gen-LaneNet、PersFormer等优秀算法进行了对比,实验数据显示CurveFormer拥有非常全面的优异性能,优于其他算法。因此在量产应用中,CurveFormer也呈现出了巨大的落地优势,不仅任务效果出众,可以满足复杂城市道路等场景下的车道线检测要求,而且计算需求不大,可以部署到算力较低的量产计算平台之上。 局部地图与全场景驾驶 对于自动驾驶来说,车道线检测只是「寻路问道」的一种形态,如果更进一步,在车端实时构建局部地图,那么自动驾驶在技术和应用上还有更多发挥的空间。比如,通过常规导航地图+高精度局部地图,将驾驶场景扩展至任意常规道路,摆脱对高精地图的依赖。车辆基于导航地图进行全局的道路规划,然后通过局部地图进行具体轨迹的规划,这样在没有高精地图的情况下,自动驾驶功能也能正常启用,完成任意场景下A点到B点的行驶。再比如,基于局部地图打造端到端的整体方案,也就是一些地方所说的单栈式方案。近年来,学习为主的规划算法成为新的趋势,在这种算法设计下,局部地图相比于车道线是一种更为直接的输出形式,感知、规划更便于融为一个整体网络。正是如此,局部地图成为了近年来备受关注的一个技术热点。视觉信号蕴含着尤为丰富的环境信息,包括大量的语义、几何信息,因此视觉建图的思路早已在众包地图、泊车地图等方面进行了验证或应用。在这方面,最常用的方法是视觉SLAM(同步定位与地图构建)。如今,随着BEV感知快速发展,BEV视角的语义分割、道路环境理解也成为了在线视觉建图的一个优先选项。它的优势在于可以很好地融合多个视角相机的图像,提取出丰富的环境信息,整体效果更加鲁棒。同时,BEV视角的语义分割也更方便和其他BEV视角的感知任务、规划任务整合,形成端到端的整体方案,进行全局的优化。 局部地图和其他地图相比,不仅关注地图信息的高精度,还尤为看重车端的实时性,因此这也对算法提出了很高的要求。 行业顶尖的BEV语义分割 为了更好地满足自动驾驶上下游的需求,打造面向全场景的自动驾驶功能,Nullmax的感知团队在去年提出了面向任意相机配置(单个或多个)的BEV语义分割算法BEVSegFormer。 这一基于Transformer的BEV语义分割方法,同样也取得了当下业界最优(SOTA)的算法效果,论文入选计算机视觉学术会议WACV 2023。BEVSegFormer相比于HDMapNet等优秀算法,性能提升超过了10个百分点。 论文链接:https://arxiv.org/abs/2203.04050BEVSegFormer同样扩展deformable attention形成multi-camera cross attention,完成BEV空间的query和图像特征之间的关联,从而实现了不依赖相机参数,另一方面也可以大大节约计算量。在实际的行车过程中,颠簸、加速、制动、上下坡等情况都可能引起相机外参的变化,精准的实时相机外参估计相对困难,不依赖相机的参数,可以让算法在这些情况下更加稳定,鲁棒性更强。特别是,BEVSegFormer不依赖相机参数就可以将图像特征转成BEV特征,基于得到的BEV特征,又可以扩展出多个其他任务,比如3D目标检测,包括将不同时刻的BEV特征缓存下来,进行时序上的融合。并且基于这一创新点,Nullmax感知团队已经完成了多项扩展研究。目前,Nullmax正在将BEVSegFormer应用到量产项目中,实时构建稠密的高精度局部地图,帮助客户拓展功能范围,从而实现任意常规道路上的智能驾驶。 结语 当前,Nullmax正在完成一套车端实时运行BEV + Transformer技术架构,同时支持感知、规划任务,并能在高、中、低算力平台上完成落地的自动驾驶整体方案。通过BEV感知完成3D车道线检测和局部地图构建,正是当中的一部分工作。预计在2023年,Nullmax打造的这套多相机BEV-AI方案就将完成交付。通过这些先进的技术,Nullmax希望能够为普通用户提供极致安全、舒适高效的智能驾驶体验。
17
2023/02
Blog
福满元夕,心想事圆
05
2023/02
Blog
新年新程,兔年一定「行」!
22
2023/01
Blog
新成员报道 | 有点“牛”,爱了AI了!
11
2023/01
Blog
1
2
3
…
5
>
Follow Us
Follow us on WeChat
Welcome to follow us
on social media.
Stay up to date with nullmax news.
For Report
You can download Nullmax's latest graphic and video materials here.
For more information and in-depth report, please contact us.
Contact us
Pictures
Docs
Videos
Δ
Δ
Δ