摘要近年来,人类参与度的研究显着增长,尤其是与越来越多的智能计算机的相互作用加速了[1,2,3]。参与度估计在各个研究领域都具有重要的重要性,包括广告,市场营销,人类计算机互动和医疗保健[4,5,6]。在本文中,我们提出了一个实时应用程序,该应用程序利用单个RGB相机来捕获用户行为。我们的方法通过从面部表情和凝视方向分析的组合中提取有价值的信息来实现一种新的方法来估计人类参与现实情况。为了获取这些数据,我们使用了外部库DLIB的快速准确的机器学习算法,以及从头开始实施的自定义版本的残留神经网络。为了培训我们的模型,我们使用了Daisee数据集的修改版本,Daisee数据集是一种多标签用户情感状态分类数据集,该数据集收集了在现实世界中记录的112个不同人的正面视频。在没有基线以比较我们应用程序获得的结果的情况下,我们进行了实验以评估其在估计参与水平方面的稳健性,从而导致结果非常令人鼓舞。
主要关键词