多模态大模型驱动的营养健康管理

多模态大模型驱动的营养健康管理陈静静复旦大学2024-06-161YSSLNLP2024多模态大模型论坛YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP20242提纲一、研究背景二、食物营养分析多模态大模型三、基于饮食日志的体重预测四、总结YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024q随着社会老龄化的加剧和慢性病发病率的上升，基于饮食监控的健康管理变得日益关键3研究背景2012-2021年60周岁及以上老年人口数量及占全国总人口比重于宁等人，“中国中老年居民高血压、糖尿病和血脂异常共病现状及影响因素研究”，老年流行病学研究，202305101520253035404550高血压糖尿病血脂异常中老年居民三高比例百分比国家卫健委：2035年左右60岁及以上老年人口将突破4亿，占比将超30%YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024q早期健康管理依赖于营养师、医生电话回访等方式，耗费人力资源，难以推广，而人工智能技术的发展为健康管理提供了新的解决方案4研究背景YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024q早期基于人工智能的健康饮食管理5研究背景在给定数据集上（通常不超过1000类）训练分类器，识别固定类别范围图像Chen Jingjing et al.，“A study of multi-task and region-wise deep learning for food ingredient recognition ”，IEEE TIP，2020难以识别未见过实物种类，泛化性差YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024q早期基于人工智能的健康饮食管理6研究背景Calorie mamaYSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024YSSNLP2024q早期基于人工智能的健康饮食管理7研究背景一个模型通常仅能完成特定任务，多任务通用性差较差Xiongwe