人工智能、机器学习、模式识别、多媒体计算、情感计算、类脑计算
个人简介
副教授、硕士生导师，北京人工智能研究院教师。中国科学院大学博士（导师：陈熙霖研究员、黄铁军教授），北京大学博士后（合作导师：高文院士），加州大学欧文分校（UCI）访问学者（合作导师：Ramesh Jain 教授）。 研究方向主要为人工智能、机器学习、模式识别、多媒体计算、情感计算、类脑计算。主持或参与国基金重点/面上、国家重点研发计划等国家项目十余项。获授权国际专利4项（美、欧、日、韩）、国家专利 3项。长期从事多媒体技术标准化工作，曾任数字音视频编解码技术标准工作组（AVS）系统组组长，现为系统组联合组长、主执笔人。以第一起草人获颁国家标准3项、国际标准2项。荣获“AVS 十五周年个人突出贡献奖”、“IEEE 标准制定突出贡献奖”（3 次）。荣获beat365体育官网平台“立德树人榜样”学生最喜爱的教师、“立德树人”优秀毕业班班主任标兵提名、北京市优秀本科毕业设计（论文）指导教师等荣誉。担任知名国际期刊机器智能研究（MIR）客座编辑；多个重要国际期刊和国际会议的审稿人。担任中国计算机学会多媒体专委会执行委员；中国图象图形学学会多媒体专委委员、类脑视觉专委委员；中国人工智能学会艺术与人工智能专委委员；全国信息技术标准化技术委员会多媒体分委会委员；MPEG中国代表团专家；IEEE高级会员、ACM会员；中国计算机学会高级会员。作为创始主席，成功组织了四届 IEEE 人工智能与艺术创作国际研讨会（AIART 2019、2020、2021、2022）。
教育简历
2012年博士毕业于中国科学院大学，获工学博士学位；
1999年本科毕业于中央民族大学，获理学学士学位。
工作履历
2014-至今 beat365体育官网平台 讲师、副教授
2012-2014 北京大学 博士后
1999-2004 国家广电总局广播科学研究院 助理工程师
学术兼职
数字音视频编解码技术标准工作组AVS系统组联合组长；
中国计算机学会高级会员、中国计算机学会多媒体专委会执行委员；
中国图象图形学学会多媒体专委会、类脑视觉专委会委员；
中国人工智能学会艺术与人工智能专委会委员；
IEEE高级会员、ACM会员；
TIP、TAFFC、TMM、TCSVT、TITS、FITEE、ACM MM、AAAI等审稿人；
机器智能研究MIR客座编委；
MPEG中国代表团专家；
IEEE人工智能与艺术创作国际研讨会AIART创始主席。
课程教学
本科生教学：数据结构（曾授C语言、数据库、机器学习）
研究生教学：模式识别（曾授机器学习）
科研项目
国家自然科学基金面上项目：融合稀疏层次模型的内容辨识研究（主持）
国家重点研发计划项目：车辆级和网络级在途车辆运行状态安全诊断与在线预警平台（技术骨干）
博士后基金面上一等资助项目：基于媒体指纹的监控视频认证方法研究（主持）
新闻出版重大科技工程项目：数字版权保护技术研发工程-面向数字版权管理的媒体指纹技术研究（技术负责人）
国家 973 课题：面向智能监控的视频编码方法（技术骨干）
国家 863 项目：跨媒体检索关键技术研究及服务产品开发（技术骨干）
国家科技支撑计划课题：现代服务业共性技术支撑体系与应用示范工程-数字媒体内容集成分发平台（技术骨干）
华为基金项目：媒体内容加密和封装技术研究（技术负责人）
企业合作项目：恶劣天气图像优化算法研究（主持）
企业合作项目：交通安全设施智能检测原型系统（主持）
荣誉和获奖
beat365体育官网平台优秀本科毕设论文指导教师（2022，2次）
beat365体育官网平台“立德树人榜样”学生最喜爱的教师（2019）
beat365体育官网平台“立德树人”优秀毕业班班主任标兵提名（2019）
北京市优秀本科毕业设计（论文）指导教师（2019）
beat365体育官网平台本科特优毕设论文指导教师（2019）
北京市科协贡献证书（2019）
IEEE 标准制定突出贡献奖 （2013、2014、2018）
AVS十五周年个人突出贡献奖（2017）
2017年beat365体育官网平台本科招生先进个人（2017）
beat365体育官网平台班主任职业能力大赛二等奖（2016）
beat365体育官网平台“立德树人”优秀班主任（2016）
2012年AVS年度奖（2013）
中科院三好学生（2011）
代表性研究成果
在多模态机器学习、自监督学习、情感计算与驾驶员健康检测上开展了一系列研究，取得了初步研究成果。其中，针对驾驶员情绪检测（愉悦度、兴奋度和控制度），提出了基于混合注意力的多模态融合框架，研究成果（Driver Emotion Recognition with a Hybrid Attentional Multimodal Fusion Framework）发表在情感计算领域顶级期刊《IEEE Transactions on Affective Computing》（TAFFC）上。针对驾驶员疲劳检测，提出了各向同性自监督学习与基于注意力的多模态融合相结合的方法，研究成果（Isotropic Self-supervised Learning for Driver Drowsiness Detection with Attention-based Multimodal Fusion）发表在多媒体领域顶级期刊《IEEE Transactions on Multimedia》（TMM）上。针对驾驶员压力检测，提出了基于注意力的 CNN-LSTM 多模态融合模型，研究成果（Driver Stress Detection via Multimodal Fusion using Attention-based CNN-LSTM）发表在 Elsevier 主办的领域顶级期刊《Expert Systems with Applications》（ESWA）上。
主要论文论著
[1] Luntian Mou, Yiyuan Zhao, Chao Zhou, Bahareh Nakisa, Mohammad Naim Rastgoo, Lei Ma, Tiejun Huang, Baocai Yin, Ramesh Jain, Wen Gao. Driver Emotion Recognition with a Hybrid Attentional Multimodal Fusion Framework, IEEE Transactions on Affective Computing, DOI: 10.1109/TAFFC.2023.3250460 (IF: 13.99)
[2] Luntian Mou, Chao Zhou, Pengtao Xie, Pengfei Zhao, Ramesh Jain, Wen Gao, Baocai Yin. Isotropic Self-Supervised Learning for Driver Drowsiness Detection With Attention-Based Multimodal Fusion, IEEE Transactions on Multimedia, 25: 529-542. DOI: 10.1109/TMM.2021.3128738 (IF: 8.182)
[3] Luntian Mou, Chao Zhou, Pengfei Zhao, Bahareh Nakisa, Mohammad Naim Rastgoo, Ramesh Jain, Wen Gao. Driver Stress Detection via Multimodal Fusion Using Attention-based CNN-LSTM, Expert System with Applications, 173(12):114693, 2021. (IF: 8.665)
[4] Jingyao Wang, Luntian Mou*, Lei Ma, Tiejun Huang, and Wen Gao. AMSA: Adaptive Multimodal Learning for Sentiment Analysis. ACM Transactions on Multimedia Computing, Communications and Applications, 19(3s), 2023 DOI: 10.1145/3572915 (IF: 4.094)
[5] Mingyang Zhao; Xiaoshui Huang; Jingen Jiang; Luntian Mou; Dong-Ming Yan; Lei Ma. Accurate Registration of Cross-Modality Geometry via Consistent Clustering, IEEE Transactions on Visualization and Computer Graphics, DOI: 10.1109/TVCG.2023.3247169. (IF: 5.226)
[6] Luntian Mou, Tiejun Huang, Yonghong Tian, Menglin Jiang, Wen Gao. ContentBased Copy Detection through Multimodal Feature Representation and Temporal Pyramid Matching, ACM Transactions on Multimedia Computing, Communications and Applications, 10(1), 2013. (IF: 4.094)
[7] Luntian Mou, Haitao Xie, Shasha Mao, Pengfei Zhao, Yanyan Chen. VisionBased Vehicle Behaviour Analysis: A Structured Learning Approach via convolutional Neural Networks, IET Intelligent Transport Systems, 14(7), 792-801, 2020. (IF: 2.568)
[8] Luntian Mou, Pengfei Zhao, Haitao Xie, Yanyan Chen. T-LSTM: A LongShortTerm Memory Neural Network Enhanced by Temporal Information for Traffic Flow Prediction , IEEE Access, 7: 98053-98060, 2019. (IF: 3.476)
[9] Luntian Mou, Haitao Xie, Shasha Mao, Yanyan Chen. Structured behavior prediction of on-road vehicles via deep forest, Electronics Letters, 55(8): 452-454, 2019. (IF: 1.202)
[10] Luntian Mou, Tiejun Huang, Longshe Huo, Weiping Li, Wen Gao, Xilin Chen. A secure media streaming mechanism combining encryption, authentication, and transcoding, Signal Processing: Image Communication, 24(10):825-833, 2009. (IF: 3.453)
[11] Luntian Mou, Yiyuan Zhao, Chao Zhou, Baocai Yin, Wen Gao, Ramesh Jain. A Review of Personalized Health Navigation for Drivers, IEEE International Conference on Multimedia Information Processing and Retrieval (MIPR), Sep. 2022. (EI)
[12] Luntian Mou, Jueying Li, Juehui Li, Feng Gao, Ramesh Jain, Baocai Yin. MemoMusic: A Personalized Music Recommendation Framework Based on Emotion and Memory, IEEE International Conference on Multimedia Information Processing and Retrieval (MIPR), Sep. 2021. (EI)
