学习用灵巧的手和触弹钢琴
发布日期:2021-08-18 15:47:42
导读 钢琴演奏是一项复杂的感觉运动任务,涉及视觉、听觉和触觉。大多数以前的尝试需要特定的设计或手动订购。arXiv org 上最近的一篇论文提出
钢琴演奏是一项复杂的感觉运动任务,涉及视觉、听觉和触觉。大多数以前的尝试需要特定的设计或手动订购。arXiv.org 上最近的一篇论文提出了一种强化学习算法,以便代理可以直接从机器可读的乐谱中学习弹钢琴。
该方法利用触觉传感器进行控制,并使用生成的相应笔记作为奖励。钢琴演奏任务被表述为马尔可夫决策过程。配备有触觉传感器和小型钢琴键盘的多指快板手被创建来执行任务。
实验结果表明,该方法可以训练机器人手以正确的音符、力度和指法弹奏钢琴。该研究还表明,基于视觉的触觉传感器有可能改善钢琴演奏,尤其是指法指示。
这位演奏家以激情、诗意和非凡的技术能力弹奏钢琴。正如李斯特所说,(一个艺术大师)必须唤起香气和花朵,呼吸生命的气息。可以弹奏钢琴的最强机器人是基于专门的机器人手/钢琴和硬编码规划算法的组合。与此相反,在本文中,我们展示了代理如何直接从机器可读的乐谱中学习,从头开始使用强化学习 (RL) 在模拟钢琴上用灵巧的手弹钢琴。我们证明 RL 代理不仅可以找到正确的键位,还可以处理各种节奏、音量和指法要求。我们通过使用触摸增强奖励和新颖的任务课程来实现这一目标。
标签: