研究助理项目，People-Centered Computing Lab, Università della Svizzera italiana。

  • 研究背景：针对多模态智能眼镜传感器数据中用户分布偏移导致泛化性能下降问题，探索基于自监督预训练的泛化与个性化适配方法。
  • 方法设计：构建原生多模态预训练框架，基于 MAE 在统一表示空间中联合建模多源信号；设计模态感知的 embedding 策略和掩码策略；结合智能眼镜佩戴场景中的领域先验，引入欧拉角信息显式建模头部姿态，为模型提供任务相关的姿态线索；提出用户库与用户路由机制，利用用户身份作为零成本弱监督信号，设计用户表征学习机制，实现个性化适配与模型泛化能力的统一。
  • 实验与结果：在用户级别划分的 5-fold 交叉验证下模拟新用户冷启动场景。仅使用 5% 标注数据微调预训练模型，在表情识别和认知负荷估计两项下游任务上均达到或超越全数据（100%）从头训练的基线性能。