四足机器人走着走着突然断了一条腿,还能继续前进吗?
来自谷歌和密歇根大学的最新成果,给出了非常肯定的答案。
(资料图片)
他们发明的一种叫做AutoRobotics-Zero(ARZ)的搜索算法,既不靠大模型,也不用神经网络,可以让机器人一旦遇到剧烈的环境变化,就立刻自动更改行动策略。
譬如断腿照样走:
相比之下,别的神经网络方法还是这样婶儿的(手动狗头):
英伟达AI科学家Jim Fan评价:
这个方法非常令人耳目一新。
机器人再也不怕被忽悠瘸了
具体如何实现?
让机器人断腿继续走的秘密
快速适应环境变化是机器人部署到现实世界中非常重要的一项技能。
但目前常用的循环神经php网络(RNN)技术存在策略单一、重参数化导致推理时间长、可解释性差等问题。
为此,作者直接“另起炉灶”,基于AutoML Zero技术开发了这项全新的四足机器人环境自适应策略:AutoRobotics-Zero(AR编程Z)。
关于AutoML Zero,不熟悉的朋友再了解一下:
它是2020年诞生的一种“从零开始的自动机器学习”算法,出自谷歌大脑Quoc V.Le大神等人之手,仅使用基本数学运算为基础,它就能从一段空程序开始,自动发现解决机器学习任务的计算机程序。
在此,作者也将各种机器人行动策略表示为程序,而非神经网络,并仅使用基本的数学运算作为构建块,从头开始演化出可适应性策略及其初始参数。
随着不断的进化,该方法能够发现控制程序(即python代码,如下图所示),从而在与环境互动的同时,利用感觉运动经验来微调策略参数或改变控制逻辑(也就是当随机分支在随机时间突然中断时运行新的分支)。最终就可以在不断变化的环境下实现自适应。
具体而言,ARZ的算法由两个核心函数组成:StartEpisode()和GetAction(),前者在机器人与环境交互的每个阶段开始时就开始运行,后者负责调整内存状态(因为策略被表示为作用于虚拟内存的线性寄存器)和代码修改。
在进化搜索上,ARZ则采用两种控制算法:负责多目标搜索的非支配排序遗传算法II(NSGA-II)和负责单目标搜索的正则化进化算法(RegEvo)。
如下图所示进化控制算法的评估过程,单目标进化搜索使用平均情节奖励作为算法的适应度,而多目标搜索优化了两个适应度指标:平均奖励(第一个返回值)和每次episode的平均步数(第二个返回值)。
以及作者介绍,为了预测动态环境中给定情况下的最佳行动,策略必须能够将当前情况与过去的情况和行动进行比较。
因此,ARZ所有策略都被设计为“有状态的”,即内存内容在一个事件的时间步长内是持续存在的,由此才得以完成自适应。
此外,有所不同的是,该方法还去掉了原始AutoML Zero技术中的监督学习模式,最终无需明确接收任何监督输入(如奖励信号)就可以让进化程序在整个生命周期内进行调整。
比神经网络更有效
作者用宇树科技的“莱卡狗”(Laikago)四足机器人模拟器在模拟环境中进行了效果测试。
最终,只编程有ARZ可以进化出在随机断腿情况下保持向前运动和避免摔倒的自适应策略。
相比之下,进行了全面超参数调整并使用最先进强化学习方法完成训练的MLP和LSTM基线都失败了:
要么不具有鲁棒性,不能每次都成功;
要么一次都没有成功过。
需要注意的,这还是在ARZ使用的参数和FLOPS比MLP和LSTM都少得多的情况下。
下图则是统计数据:只要任何一列中的reward<400就表示该腿的大多数测试都以摔倒告终。
我们可以再次看到,除了ARZ,只有MLP方法能够在右后腿成功一次。
除了以上这些js,ARZ还显现出了目前的RNN技术都做不到的可解释性。
如图所示,它在断腿案例中发现的各种策略可以都符号化为如下表示:
最后,除了机器人断腿走路,ARZ还可以在“具有随机倾斜轨道的cartpole系统”中自动保持平衡。
论文地址:
https://arxiv.org/abs/2307.16890
标签:
-
机器人也不怕被忽悠瘸了(doge)
四足机器人走着走着突然断了一条腿,还能继续前进吗?来自谷歌和密歇根
-
强化监督 建立村庄规划定期体检评估制度
近日,自治区自然资源厅印发《关于强化村庄规划编制实施助力乡村振兴的
-
莫让“私家侦探”成了“侵权侦探” 私家侦探从业现状调查
漫画 高岳本报记者张守坤“我妻子是做销售的,每个月都会出差,最近回
-
中核科技:连续4日融资净偿还累计1150.65万元(08-04)
中核科技融资融券信息显示,2023年8月4日融资净偿还万元;融资余额亿元
-
金冠电气:8月4日获融资买入78.33万元
同花顺数据中心显示,金冠电气8月4日获融资买入78 33万元,占当日买入
-
主机名或ip地址在哪里看 主机名
你们好,最近0471房产发现有诸多的对于主机名或ip地址在哪里看,主机名
-
2021年12月30日整理发布:复兴号黄色灯什么意思
复兴号黄灯是什么意思?这是支付宝蚂蚁庄园4月8日小班游玩的问题。如果
-
库房管理制度规定材料库粉料 不合格事实 库房管理制度
1、即仓库管理制度。2、仓库管理制度是指对仓库各方面的流程操作、作业
-
爱到天荒地老什么意思(爱到天荒地老)
我是小前,我来为大家解答以上问题。爱到天荒地老什么意思,爱到天荒地
-
天津最新测报:大清河洪水今日进入西青第六埠,这里水位持续上涨
截至目前大清河已累计向独流减河行洪1 98亿立方米,独流减河下泄入海1
-
根据阿来同名小说改编 四川人艺话剧《尘埃落定》成都建组
根据阿来同名小说改编四川人艺话剧《尘埃落定》成都建组话剧《尘埃落定
-
图解康冠科技中报:第二季度单季净利润同比减36.82%
康冠科技2023中报显示公司主营收入4972亿元同比下降1333归母净利润544
-
《博德之门3》大获成功 游戏总监受宠若惊夜不能寐
近日,《博德之门3》游戏总监SwenVincke接受了外媒的采访,谈到了正式
-
徐高:房地产的真正“大招”在供给侧,可以分三步走
徐高:房地产的真正“大招”在供给侧,可以分三步走
-
10家基金公司 获“输血”
近年来,资本市场震荡加剧,部分基金公司陷入规模止步不前、日常支出相
-
西安发布暴雨橙色预警信号!这些峪口封闭管理
陕西省气象台8月6日13时11分继续发布雷雨大风黄色预警信号未来6小时内
-
最高降价4.9万元 哪吒汽车宣布2022款哪吒S“放价”
8月5日,哪吒汽车宣布旗下2022款哪吒S(图片|配置|询价)“七夕放价”,
-
舒兰接收省财政厅紧急调拨的600万元救灾资金
原标题:舒兰接收省财政厅紧急调拨的600万元救灾资金来源|江城日报全媒
-
说谎歌词(《什么歌》我没有说谎 我何必说谎 你懂我的 我对你从来就不会假装 )
1、是林宥嘉的说谎、杜拉拉升职记的插曲么2、挺好听本文到此讲解完毕了
-
国家税务总局陕西省税务局发票查询 陕西省国家税务局发票查询
今天来聊聊家税务总局陕西省税务局发票查询,陕西省国家税务局发票查询
-
大妈误以老板中暑为其刮痧10分钟 画面网友点赞:当事人称暖心
热心肠的阿姨确实很暖心,网友也是纷纷点赞。近日,浙江宁波吴先生来菜
-
北京未来三天多雷阵雨天气,特别是北部地区有明显雷雨天气
北京具体未来三天天气预报8月5日北京天气:多云转雷阵雨,南部、北部和
-
“最热夏天”将成常态?减碳环保助力“双碳”
“最热夏天”将成常态?减碳环保助力“双碳”
-
多图来袭!看大运会的趣味“黑科技”
“蓉宝”机器人有隐藏技能?深夜食堂的“大厨”24小时不下班?在成都大
-
孙丹(关于孙丹简述)
,你们好,今天0471房产来聊聊一篇丹,丹简述的文章,网友们对这件事情
-
生物经济龙头股(生物经济龙头股有)(1)
生物经济龙头股生物经济龙头股股吧。下面为大家详细分析和分析生物经济
-
“最美乡音”第二届百千万音乐人选拔启动
中国青年报客户端讯(中青报·中青网记者蒋肖斌)第二届百千万音乐人选
-
海南自贸港推介会在美举行
证券时报e公司讯,以推介海南自由贸易港为主题的“2023中国海南之夜”
-
南开大学药学院硕士待遇 南开大学药学院
1、那还不如学化学,毕竟药学院是最近才从化院分离的。2、南开化学现在
-
韩国五部限制级剧集,尺度炸裂,全程高能
韩剧在全球范围内的影响力不断扩大,许多作品以其引人入胜的故事情节和