富士通实验室有限公司和富士通研究开发中心有限公司(FRDC)今天宣布开发“ Actlyzer”洗手动作识别技术，该技术利用AI和机器学习技术从视频捕获的视频数据中识别复杂的洗手动作。相机。在全球持续的大流行中，洗手作为保护人们的健康不受细菌，流感和其他传染病侵害的一种措施，其重要性在全球范围内再次受到关注。根据计划于2020年6月在日本生效的新法规(1)，还将要求食品经营者根据国际HACCP(2)食品安全标准采取更强有力的措施来确保卫生，从而迫切需要制定非食品安全法规。 -侵入性方法，可以快速，准确地确认以正确的方式进行洗手。

为此，富士通扩展了其现有的“ Actlyzer行为分析技术”的识别功能，该技术可以在不依赖大量训练数据的情况下识别各种细微而复杂的人体运动。具体而言，富士通具有完善的手动作识别功能，以创造自动识别在洗手过程中执行的复杂手动作的技术。

利用该技术，可以轻松地确定有人是否按照日本厚生劳动省的建议进行了6个洗手步骤中的每个步骤，从而减少了检查员进行现场卫生检查时进行侵入性目视检查所需的工时管理。

展望未来，富士通预计该技术还将用于医疗机构，学校，酒店和大型活动场所等各种其他场合，并计划进行现场试验和对其进行额外的研究与开发，作为其潜在的解决方案。未来的AI产品组合。

发展背景

日本厚生劳动省建议人们遵循6个步骤，以确保正确洗手，防止食物中毒以及传染病蔓延(图1)。

目前，食品服务行业的工人在洗手时需要执行这六个步骤，并确认在每个步骤中，他们的手的不同部位已经被擦了超过一定次数。为此，食品服务提供者填写一张检查表并进行自我报告，并且现场工作人员会受到主管的目视检查。

然而，由于仍然是手动进行验证，因此与人为错误，检查员的资源保护等相关的成本仍然是一项持续的挑战。随着包括食品行业在内的许多制造商通过使用机器学习技术继续朝着过程自动化进行检查的过程，洗手检查代表了通过自动化进行过程优化的主要候选人。

挑战性

使用深度学习的手势识别是识别手和手指运动的常用技术。这种常规技术可以从手的图像中检测多个特征点，例如关节和指尖，并根据特征点的位置关系确定手势(图2左)。

但是，现有技术的一个问题是，当人们正确洗手时，两只手会重叠并在肥皂上起泡沫，这会掩盖手指上的检测点并妨碍准确的手势识别(图2右)。

为了解决这一挑战，Fujitsu Laboratories Ltd.和FRDC开发了一种新的AI技术，该技术可以在上述条件下自动，准确地识别手的动作，从而扩展了原始Actlyzer行为分析技术的识别功能。

借助新技术，洗手的复杂手部动作是手形和重复摩擦动作的组合，被两个深度学习引擎检测到：手形识别和动作识别(图3)。

双手形状识别引擎使用学习过的两只手基本形状的模型来确定图像各帧的手形，这是手运动的一种典型形式，在这种模型中，手彼此叠放。专注于整体形状解决了由于手部重叠或泡沫而无法正确检测到指尖和关节特征点的问题。

此外，富士通独特的AI技术“高耐久性学习(High Durability Learning)”可以跟踪数据的变化，即使在操作过程中相机位置或光线发生变化时，也可以确保以高精度识别两只手的基本形状。 。

运动识别引擎使用学习的模型，该模型从连续的帧中检测周期性变化的运动，并将迭代次数计算为来自迭代模式及其周期的摩擦次数。另外，这两个识别引擎的结果相互反馈以提高识别精度。

运动识别引擎根据双手形状识别引擎识别的步骤设置要判断的运动幅度的阈值，以防止检测到错误的时间段，例如与泡沫运动或摩擦无关的手震。双手形状识别引擎通过使用运动识别引擎检测到的重复模式周期对判断结果进行过滤来提高检测精度。

特效

具有大约2000种变化的洗手视频数据集;包括人员，相机位置和肥皂类型在内的所有内容均被独立拍摄并收集用于学习和评估。可以确认，正确洗手的6个步骤的准确度平均为95%以上，并且搓手的次数的准确度为90%以上。

在现场操作系统时，可以避免遗漏操作，因为洗手的人始终知道要搓洗手多长时间以及他们完成了六个阶段中的哪个阶段，因为系统会确定在屏幕上一直显示到洗手为止。完全的。除此之外，系统会自动记录数据，包括开始时间戳和完成每六个步骤的动作时间以及摩擦次数。(图4)。

该技术可自动执行需要严格卫生控制的工作场所的现场洗手检查，从而消除了目视确认和手动记录所需的工时。此外，由于系统无法识别不正确或不完整的洗手，富士通希望该解决方案将有助于教育用户并确保正确洗手方式的标准化。

标签： AI视频识别技术