当前位置:首页>新闻 > 面向ROS开发者的NVIDIA AI Perception

面向ROS开发者的NVIDIA AI Perception

所有移动的事物都将变得自主化。 所有自主化的事物都需要先进的实时感知。

NVIDIA这一最新宣布,向ROS开发者社区提供整套感知技术。对于寻求将先进计算机视觉和AI/ML功能纳入基于ROS的机器人应用程序的开发人员来说,这将缩短开发时间并提高性能。

 

Open Robotics将扩展用于NVIDIA AI的ROS

Open Robotics首席执行官Brian Gerkey表示:“随着越来越多的ROS开发人员利用硬件平台,这些平台包含额外的计算功能,旨在减轻主机CPU的负担,ROS正在发展,以更容易有效地利用这些先进的硬件资源。我们与NVIDIA这样的加速计算领导者合作,以及其在人工智能和机器人技术创新方面的丰富经验,将为整个ROS社区带来很大益处。”

NVIDIA和Open Robotics已达成协议,将在NVIDIA Jetson边缘AI平台和基于GPU的系统上加速ROS 2性能,并在 Omniverse 上实现 Open Robotics 的 Ignition Gazebo 和 NVIDIA Isaac Sim 之间的无缝模拟互操作性。

NVIDIA Jetson 平台在很多应用领域中被机器人专家广泛采用。它旨在为机器人提供高性能、低延迟的处理,使其具有响应性、安全性和协作性。Open Robotics将通过升级ROS 2来高效管理位于NVIDIA Jetson平台上的GPU和其他处理器之间的数据流并共享内存,使负责实时处理摄像头和激光雷达等传感器高带宽数据的应用性能得到大幅提升。

除了增强机器人应用在Jetson上的部署,Open Robotics和NVIDIA正在制定整合 Ignition Gazebo 和 NVIDIA Isaac Sim 的计划。NVIDIA Isaac Sim已支持开箱即用的ROS 1和2,并通过连接Blender和Unreal Engine 4等流行应用来创建一个至关重要的3D内容生态系统。

Ignition Gazebo数十年来在整个机器人界,包括在正在进行的DARPA Subterranean Challenge等高知名度比赛中创造了许多纪录。

通过连接这两个模拟器,ROS开发者可以轻松地在Ignition Gazebo和Isaac Sim之间移动他们的机器人和环境以运行大型模拟,还可以使用高保真动力学、精确传感器模型和逼真渲染等两个模拟器的先进功能来生成用于训练和测试AI模型的合成数据。

此次合作所产生的软件预计将于2022年春季发布。

 

为ROS发布的Isaac GEM速度显著加快

用于ROS的Isaac GEM是一款使ROS开发者更容易在Jetson平台上构建高性能解决方案的硬件加速包。这些GEM专注于提高图像处理和基于DNN的感知模型的吞吐量,而后者对机器人专家而言正变得日益重要。这些软件包减少了主机CPU的负载,同时显著提升了性能。

用于ROS的全新Isaac GEM包含:

● SGM Stereo Disparity和 Point Cloud

● Color Space Conversion和Lens Distortion Correction

● AprilTags Detection

图1: ROS对立体相机的支持,在ROS的Rviz工具中可以看到左侧和右侧相机视图。Rviz能显示RGB和深度图像。

 

Isaac Sim的新功能为ROS开发者提供便利

最新版本的Isaac Sim包含对ROS开发者社区的重要支持,其中比较引人注目的是ROS2导航栈和MoveIt运动规划框架。这些示例今天即开放使用,并可在Isaac Sim文档中找到:

 

Isaac Sim中的ROS示例列表

● ROS April Tag

● ROS Stereo Camera

● ROS Navigation

● ROS TurtleBot3 Sample

● ROS Manipulation和Camera Sample

● ROS Services

● MoveIt Motion Planning Framework

● Native Python ROS Usage

● ROS2 Navigation

图2: Isaac Sim o n Omniverse功能模块图,包含机器人模型、环境模型和3D资料输入。

 

Isaac Sim生成用于训练感知的合成数据集

除了作为一个机器人模拟器之外,Isaac Sim还具备一套强大的功能,可以生成合成数据来训练和测试感知模型。随着机器人专家将更多的感知功能集成到他们的平台,这些功能将变得更加重要。显然,机器人对环境的感知能力越强,它的自主性就越强,所需的人为干预就越少。

一旦Isaac Sim生成了合成数据集,就可以将它们直接输入NVIDIA TAO(一个AI模型自适应平台),从而根据机器人的具体工作环境调整感知模型。在从目标环境中采集任何实际数据之前,就可以确保机器人的感知栈在特定工作环境中的表现。

长期以来,机器人专家在连接和集成经典机器人任务(如导航)和AI感知栈方面一直面临着各种挑战。Isaac Sim通过同时作为机器人和合成数据生成工具并与TAO训练平台进行集成解决了这一工作流程挑战。

https://www.ixigua.com/7010968939471569416?utm_source=xiguastudio

 

更多精彩内容,敬请期待 ROS World和2021年GTC大会

NVIDIA正在为2021年10月21日至22日的ROS World做准备。我们计划为Jetson开发者发布更多新的GEM,包括多个常用的DNN。我们还将发布多项支持ROS开发者社区的Isaac Sim功能。欢迎莅临我们的虚拟展台,参加NVIDIA ROS圆桌会议,观看关于Isaac Sim的技术演示等精彩内容。

在即将于11月8日至11日举行的GTC大会上,NVIDIA将为大家带来精彩纷呈的演讲、讲座和内容。我们专为机器人开发者准备了一个通道,其中包含Open Robotics首席执行官兼联合创始人Brian Gerkey的演讲。此外,我们还将举办涵盖NVIDIA Jetson、Isaac ROS、Isaac Sim、Isaac GYM等主题的讲座。

 

即刻启程

即刻体验NVIDIA AI Perception,请使用以下链接:

点击此处下载用于ROS 的Isaac GEM

点击此处进一步了解Isaac Sim

点击此处获取关于使用Isaac Sim生成合成数据的教程

点击此处进一步了解使用Tao工具包加速机器学习训练

 

关于 NVIDIA

NVIDIA (NASDAQ: NVDA) 1999年发明的GPU驱动了PC游戏市场的增长,并重新定义了现代计算机图形、高性能计算和人工智能。NVIDIA在加速计算和AI领域的创举正在重塑交通、医疗健康和制造业等价值数万亿美元的产业,并推动了许多其他产业的增长。更多信息,请访问https://nvidianews.nvidia.com/

为您推荐
  • 天王嫂方媛分享带娃日常 变超人妈妈一手一个小朋友
    2021-06-17
     新浪娱乐讯 16日,天王嫂方媛在微博晒出近日polg,自称“爱美的超人妈妈”,分享近期的带娃日常,陪孩子们上课、健身、去游乐园,生活忙碌又幸福。
  • 唐嫣戴棒球帽拍封面活力满满 穿复古束腰长裙露灿笑气质出众
    2021-06-17
    新浪娱乐讯 16日,唐嫣为某杂志拍摄的封面大片曝光。照片中,唐嫣戴着棒球帽,秀发飘逸,尽显活力,穿红色复古束腰长裙露灿笑气质出众。
  • 张柏芝晒与秦沛邓萃雯相聚合影 歪头杀乖巧比耶
    2021-06-17
    新浪娱乐讯 16日,张柏芝在微博晒出与秦沛邓萃雯相聚合影,照片中的她歪头倚在秦沛肩头,乖巧比耶,三人状态都很好。
  • 殷桃:环境变了但演员的坚持不能变,我没资格指导现在的年轻演员
    2021-06-17
    包贝尔执导的《阳光姐妹淘》讲述了一群高中时候的好姐妹因意外在23年后重聚的感动故事。在预告片中,一段“给未来自己的话”成了打动观众的催泪弹。电视上播放着一段录像,青春年少的姐妹淘们面对镜头,说出自己对未来的心愿和期许。看着这段录像的人已经青春不再,脸上的泪水反射着荧幕的亮光。“实在是太好哭了,情感的流露是非常真实的。”饰演张丽君的殷桃对《Star营业中》说起这段戏的感受。在电影中,她饰演的角色是一个典型
  • 2021东台文旅产业招商推介会成功举办
    2021-05-28
    “约会东台”夏季旅游产品同期发布五月的东台,海风徐徐,绿树浓荫。伴随着时光列车驶入东台高铁时代,这座依海而生、因海而兴的生态绿城,正以昂扬姿态阔步迈入旅游产业发展黄金期。5月27日至28日,“2021东台文旅产业招
  • 2021全国校足球联赛(大学组)高水平组男子乙级联赛开赛
    2021-05-28
        5月28日上午,2021年全国青少年校园足球联赛(大学组)高水平组男子乙级联赛开幕式在山东潍坊鲁能泰山足球学校隆重举行。开幕式现场悬挂着"学党史 悟思想 办实事 开新局""学习百年党史
  • 河南省慈善总会”护苗行动”项目捐赠活动
    2021-05-27
    在"六一"国际儿童节来临之际,5月27日上午九点,河南省慈善总会"护苗行动"庆六一公益活动在郑州大河路中心小学举行。河南省慈善总会副秘书长兼募救部部长:和占鹤、惠济区教体局领导:王保国、
  • 海安:以“节”为媒 唱响文旅融合大戏
    2021-04-24
    又到一年春,河豚欲上时。4月24日,2021国际河豚文化高峰论坛暨第十一届中国海安河豚节正式拉开帷幕,数千名领导、专家、文化名人、客商、游客齐聚海安,以河豚之名,共赴一场文旅饕餮盛宴。据悉,本届河豚节以“共享河豚
  • 盘点影视剧蛇蝎美人现状:江玉燕退圈嫁人,徐盈盈悄悄生女
    2021-03-04
    今天,是三观跟着五官走的吃瓜阿美。还记得上次写过的陈紫函吗,没想到最近又在热播的《山河令》里见到了。你敢信这美貌竟然是四十五岁的脸了?她和她老公戴向宇到底吃了什么神仙丹药,都没有变老的嘛这次陈紫函又是
  • 2021震旦家具提出你最关心的健康办公新趋势
    2021-03-02
         根据MobTech数据显示,2020年新春复工期间,中国超过4亿用户曾使用远程办公应用。2021年,国内办公、生活已逐渐恢复正常,但全球仍有许多不确定性。这场“没有硝烟的战争”加大了我们对于