EN
2022年02月07日研究中心文章(列表不显示)

伦理道德类脑自主学习模型

研究承担单位

中国科学院自动化研究所


研究目标

本研究希望将类人的伦理道德价值观建立在智能体基于自我对环境以及环境中其它智能体的交互与感受基础上,即以类脑神经网络为核心,通过逐步实现智能体对自我的建模、对他人的建模与思维揣测等认知功能,并进一步在不同模拟的安全场景下进行验证,初步探索智能体更安全、更道德的行为实现。

本项目的研究目标是开展伦理道德的智能自主学习与获取模型研究。将基于类脑神经网络构建自我感知、自我建模,对其他智能体的感知与建模,发展具备高度可理解性的伦理道德智能自主学习模型,分阶段逐步实现:构建自我感知、自我建模,对其他智能体的感知与建模的类脑神经网络模型;设定至少2个场景,实现智能体的行为能够降低人类和其他智能体的安全风险;提出伦理道德准则复杂场景下的决策模型,实现具有道德冲突的情况下基于对智能体、环境风险评估等级的复杂道德决策等。


重点任务

为了构建符合人类伦理道德价值观的人工智能,智能体需要首先具备人类进行道德决策所需的足够的社会认知能力,包括能够具备对自身的感知和建模能力,以及能够理解他人的视角和策略等,其中的核心是类脑思维揣测模型的构建及应用。

在项目研究中,提出并构建了类脑思维揣测模型,通过经典的认知心理学实验范式“错误信念实验”验证了模型的有效性,并将其部署到机器人上,使机器人具备一定的思维揣测能力。所提出的类脑思维揣测模型也在进一步改进的基础上,首次应用于帮助智能体感知其他智能体持有的错误信念或策略,从而为智能体采取措施帮助其他智能体规避潜在安全风险提供了支持。


成果展示

1.自我感知模型方面,项目中提出并实现了1个受脑启发的类脑自我感知模型,通过经典的认知心理学实验范式“橡皮手错觉实验”来验证了模型的有效性。

image.png

图:类脑自我感知模型

image.png

猕猴橡皮手实验行为结果(上)对比自我感知模型输出行为结果(下)

2.对他人感知建模方面,项目中提出并实现了1个类脑思维揣测模型,通过经典的认知心理学实验范式“错误信念实验”来验证了模型的有效性,并将其部署到机器人上,使机器人具备一定的思维揣测能力。

image.png

图:类脑思维揣测模型

image.png

图:类脑思维揣测模型的网络结构

image.png

图:类脑思维揣测模型在机器人上的眼罩实验

3.项目中针对持有错误的信念和策略可能给智能体带来潜在安全风险,进一步改进了类脑思维揣测模型并应用于感知他人持有的错误信念或策略,从而采取措施帮助其他智能体规避潜在安全风险。设计了2个模拟场景并通过实验验证了模型的有效性。

image.png

图:类脑认知思维揣测模型的结构

image.png

图:类脑认知思维揣测模型帮助其他智能体规避由错误信念引起的潜在安全风险 

image.png

图:类脑认知思维揣测模型帮助其他智能体规避由错误策略引起的潜在安全风险

文本正文
复制文本
媒体联络
media@baai.ac.cn