摘要：分析了局部卷积运算与全局注意力运算的互补性，将局部特征与全局特征耦合形成Conformer网络结构，显著增强视觉表征能力，提升表征模型的性能下限。探讨了局部卷积运算造成的自监督学习信息泄露问题，提出了Token Merging操作，突破卷积或局部运算的局部约束，形成高效分层Transformer 表征(HiViT)与全预训练的Transformer 金字塔网络（iTPN）。在ImageNet分类任务上，iTPN-Base, iTPN-Large, iTPN-Huge 分别达到了88.0%，89.2%, 89.7%的Top-1分类精度。在模型结构结构设计的基础上，探索了物理原理启发的基础模型，从热传导视角探索表征模型，取得了初步效果，代码：github.com/pengzhiliang/Conformer、github.com/sunsmarterjie/iTPN、github.com/ MzeroMiko/VMamba.

个人简介：叶齐祥，中国科学院大学特聘教授、国家杰出青年基金获得者、中科院卢嘉锡青年人才奖获得者、中国科学院优秀博士生导师、CVPR2023 、NeurIPS2023、ICLR2024 Area Chairs、国际期刊IEEE TITS，IEEE TCSVT编委。主要进行视觉表征学习与目标感知方向的研究，在CVPR, ICCV, NeurIPS等国际会议与TPAMI, TNNLS, TIP等期刊发表论文150余篇。承担了自然基金重点项目、开发的高精度目标感知方法支撑了华为、航天等单位的应用系统。曾获中国电子学会自然科学一等奖。培养多名博士生获中科院院长奖、中国科学院百篇优秀博士论文、博士后创新人才计划支持等。

题目：跨模态图像生成

报告人：鲍秉坤 南京邮电大学

摘要：近年来跨模态图像生成在图像生成、图像编辑等任务中取得了广泛应用。尽管现有研究在生成图像的质量方面取得了一定的进步，但生成图片的速度较慢，且对硬件需求较高。这主要归因于当前预训练生成模型具有庞大的参数规模，生成过程高度复杂，每个生成步骤都需要进行大量计算，从而导致整个生成过程耗时相当长。这一缺陷使得模型训练成本极高，同时也提高了用户的硬件和时间成本。本报告将首先介绍近期跨模态图像生成任务的研究进展，从提高预训练GAN模型生成质量且保证生成速度的角度出发，介绍团队在文本生成图像任务的研究思路和研究成果，最后探讨如何使用大规模预训练多模态模型优化文本到图像生成任务。

个人简介：鲍秉坤，南京邮电大学计算机学院、软件学院、网络空间安全学院副院长（主持工作），教授、博士生导师，江苏省****重大协同创新平台负责人。国家杰出青年基金获得者、中组部万人计划-青年拔尖人才、江苏省杰青、江苏省双创人才。研究方向为多媒体计算、社交多媒体、计算机视觉、人工智能等。先后主持多项国家和省部级项目，包括国家重点研发计划：科技创新2030-人工智能重大专项、国家自然科学基金重点项目、国防科技173计划技术领域基金项目、江苏省重点研发计划等。荣获2018年度电子学会科学技术（自然科学类）一等奖。荣获多媒体领域的ACM汇刊TOMM 2016年度最佳论文奖、IEEE MM 2017年度最佳论文奖、Multimedia Modeling 2019年度最佳论文Runner Up奖。荣获ICME 2020 Outstanding Areas Chair。

题目：数据增广图视角下的表示学习理论

报告人：王奕森 必赢71886网址登录

摘要：表示学习近年来在多个领域取得了巨大的成功，比如自监督学习无需数据标注即能获得很好的数据表示，成为近期一些列重要工作（CLIP，ChatGPT）中的核心技术之一。本报告将探讨自监督学习中的对比学习（Contrastive Learning）、掩码学习（Mask Image Modeling）、多模态学习（CLIP）背后的工作机理，从理论视角分析其优化过程和下游泛化能力，期望为自监督学习的算法设计提供一些新的见解。

个人简介：王奕森，必赢71886网址登录助理教授，博士生导师。主要研究方向为机器学习理论和算法，目前重点关注大模型的理论、安全等。已发表机器学习三大顶会ICML/NeurIPS/ICLR文章50余篇，多篇被选为Oral或Spotlight，获ECML 2021最佳机器学习论文奖、ICML 2021 Workshop最佳论文银奖、CVPR 2021竞赛第一等，研究成果被麻省理工科技评论（MIT Technology Review）和中国中央广播电视总台（CCTV）专题报道。主持基金委“下一代人工智能”重大研究计划项目、科技创新2030“新一代人工智能”重大项目课题。

题目：大数据时代“结构+统计”机器学习挑战与应用实践

报告人：张文生 中国科学院自动化研究所

摘要：随着大数据时代对跨域异构数据语义理解需求的日益凸显，机器学习已经成为语义理解和知识获取的关键技术。现有统计机器学习强调排中律而破缺因果律，而符号机器学习强调因果律而破缺排中律，探索一种折衷的理论，形成一套新的机器学习方法，将成为未来机器学习研究的热点。本报告通过介绍“统计+结构”知识表示的语义概率图模型，凝练语义概率图模型的知识表示与知识簇萃取、深度学习的结构发现等核心方法，可望实现大数据时代机器学习模型的生成与推理，选择从多模态气象大数据到健康医疗大数据真实场景，提供“结构+统计”机器学习泛化应用佐证效果，旨在探索大数据时代统计机器学习与符号机器学习的“水火相融”理论和方法。

个人简介：张文生，中国科学院自动化研究所多模态人工智能全国重点实验室特聘研究员、博士生导师，广州大学计算机科学与网络工程学院执行院长、百人计划特聘教授，中国科学院大学人工智能首席教授，国家科技创新人工智能重大专项首席科学家，国家基金委重大项目首席科学家。主要研究：人工智能、机器学习、大数据模式挖掘、多模态数据标注、健康医疗数据分析推理。国家“云计算和大数据”重点专项总体组专家、“物联网与智慧城市”重点专项总体组专家，中国仪器仪表学会物联网工作委员会副理事长、中国人工智能学会智能服务专委会副主任。已经在国内外发表270余篇学术论文，获得国家发明专利80余项，国家科技进步二等奖1项，省部级科学技术二等奖5项。

题目：基于最优传输的可解释深度学习理论及模型构建

报告人：雷娜 大连理工大学

摘要：最优传输研究如何将给定的概率分布以最低的代价映射到另一个概率分布，它是目前深度学习领域中一个非常火热的研究方向。在这个报告中，我们将首先介绍最优传输的基本理论和相关算法，然后从最优传输的视角来解释生成任务和分类任务，最后我们将介绍基于最优传输构建的能够避免模式崩溃的新型生成模型、长尾分类模型、图像超分辨模型、点云上采样模型等。

题目：基于多模态医学图像处理的多维可视化

报告人：李伟生 重庆邮电大学

摘要：多模态医学图像处理因为扩展了时空范围、增强了系统鲁棒性而成为辅助诊疗的关键技术之一。利用多模态医学图像可建立多维可视化的数字化结构解剖模型，有望实现对器官及组织的各个参数的精确测量，增强医学影像的可靠性、稳定性及容错能力。

个人简介：李伟生，博士、教授、博士生导师，重庆邮电大学计算机科学与技术学院执行院长。教育部新世纪人才，重庆市学术技术带头人，重庆市杰出青年科学基金获得者，入选重庆市“百千万工程领军人才培养计划”，重庆英才“大数据智能计算”创新创业示范团队负责人，“图像认知”重庆市重点实验室主任，CCF中国计算机学会重庆分部副主席、ACM国际计算机学会重庆分会副主席。主持了包括国家重点研发计划政府间国际合作重点专项、国家自然科学基金重点项目、国家自然科学基金联合重点项目、教育部科学技术研究重点项目、重庆市自然科学基金重点项目等30余项的研究。主要研究方向为大数据智能计算、模式识别、数字图像处理等，在IEEE TIP、IEEE TMM、IEEE TGRS、IEEE TBME、IEEE TCYB、IEEE TCSVT和CVPR、ECCV、MICCAI等国际重要期刊和顶级会议上发表论文100余篇，曾获吴文俊人工智能科技进步奖一等奖、重庆市自然科学一等奖、重庆市科技进步一等奖等奖励。

题目：面向多模态视觉融合的稀疏/低秩深度学习方法及其应用

报告人：吴小俊 江南大学

摘要：深度学习是是机器学习的重要内容。本报告试图以视觉融合问题为背景，介绍基于稀疏/低秩表示的深度学习方法。首先对视觉融合和深度学习进行简单回顾；然后从稀疏与低秩表示优化理论给出深度网络的结构的（自动）设计方法，并介绍这些方法的初步应用。本报告希望从一个不同的视角激发对深度学习的思考和讨论。

个人简介：吴小俊，国际模式识别协会会士（IAPR Fellow）、亚太人工智能协会会士（AAIA Fellow）、国际人工智能产业联盟产业研究院院士（AIIA Fellow）、江南大学至善教授、研究生院院长、Josef Kittler必赢626net入口院长、教育部装发创新团队负责人、科技部中英人工智能联合实验室主任、教育部/江苏省人工智能国际合作联合实验室主任、2006年教育部新世纪优秀人才、江苏省333工程第一层次人才。从事模式识别与人工智能的研究，在TPAMI、IJCV、TIP、CVPR、ICCV、AAAI等期刊和会议上发表学术论文400余篇，出版学术著作5本。研究成果获得国内外学术奖励30余项，其中包括多项国际竞赛冠军、国际会议最佳论文奖、IETE Gowri Memorial Award 、教育部科技进步一等奖、合作者Josef Kittler院士获2015江苏省国际科技合作奖和2016中国政府友谊奖；担任了2项国家重点研发计划项目首席科学家、3项国家自然基金重点项目和多项GF项目负责人。现任IEEE智慧城市指导委员会委员、多本国际期刊主编或编委、教育部计算机类教学指导委员会委员、中国图像图形学会理事和江苏省人工智能学会副理事长等职。

题目：Soft-KNN分类

报告人：张师超 广西师范大学

摘要：KNN分类是数据挖掘中十大顶级算法之一，在计算机学科各领域中都有广泛的应用。但是，这个简单有效的KNN算法依然有四个公开挑战性问题：K值设置、相关性关系度量、最近邻点搜索、分类原则。这些挑战性问题制约了KNN算法的实用性。这个报告介绍我对这个问题的10多年的主要研究成果，以及近期的一些研究思考。

个人简介：张师超教授是国家特聘专家创新人才第五批获得者。长期从事大数据挖掘的研究，在知识表示（数据底层逻辑）、多源数据挖掘和kNN分类等方面取得系列原创性研究成果。在Springer出版学术专著3部，第一或通信作者在国际重要学术期刊发表论文160多篇，包括Trans论文50多篇、ESI高引论文40多篇/次。先后主持国家级项目共15项，获得省部级自然科学奖一等奖1项，以及其它奖共9次。入选2014年以来的中国高被引学者榜单，H指数全球排名前1%，论文被引数在计算机科学和工程学中均排名全球前1%。先后担任TKDD、TKDE、KAIS等的AE，国际会议主席10多次。

题目：微监督扰动学习

报告人：李天瑞 西南交通大学

摘要：基于欧氏距离的表征学习方法常表现出一些不稳定性，此外标签的稀缺性和高成本促使我们探索更具表现力的表征学习方法。本报告将介绍一种新的表征学习方法——微监督扰动学习，该方法只需依赖于极少的标签信息。具体思想为：从表征的概率分布视角引入表征学习的微监督扰动，利用每个类簇的一对标签构成的小扰动信息（SPI）来激励表征概率分布，使同类簇数据表征的概率分布尽可能相似，不同类簇数据表征的概率分布出现尽可能的差异性。基于这一微监督扰动思想，将其融合到对比散度（CD）学习中，提出了两个变体模型来微调受限玻尔兹曼机（RBM）的期望表征概率分布，即微监督扰动高斯受限玻尔兹曼机（Micro-DGRBM）和微监督扰动受限玻尔兹曼机（Micro-DRBM）模型。进一步，为了探索在微监督扰动持续激励下的表征学习能力，基于Micro-DGRBM和Micro-DRBM模型，提出了一种深度微监督扰动学习（Micro-DL）框架。实验结果表明，与相关的浅层表征学习模型和深度学习框架相比，所提出的深度Micro-DL架构表现出更好的性能。

个人简介：李天瑞，博士，现任西南交通大学计算机与人工智能学院党委书记，教授，博士生导师，四川省工业软件研究院院长，综合交通大数据应用技术国家工程实验室副主任，四川省云计算与智能技术高校重点实验室主任，入选爱思唯尔中国高被引学者、世界前2%顶尖科学家。主持国家级项目7项，国际会议大会报告32次，在AI、IEEE TPAMI、ICML、KDD等发表论文500余篇（谷歌引用2万余次），出版编著10部。获国家优秀教学成果二等奖、教育部自然科学二等奖、机械工业科学技术奖科学进步特等奖、重庆市自然科学一等奖等。曾担任国家自然科学基金委信息学部、国家科技部重点研究计划等会评专家，现任国际杂志Human-Centric Intelligent Systems主编、ACM TIST副编辑以及Information Fusion编委等。

题目：金融大数据智能监管与舆情分析

报告人：何清 中国科学院计算技术研究所

摘要：针对证券数据高噪、高维、富格式的特点，围绕序列模式发现、异常行为检测、文本情感分析、富格式文本理解等内容开展应用基础研究，以知识注入的神经网络方法为方法论主线，融合深度学习、语言大模型等人工智能方法和证券行业长期以来形成的有效人类经验，研制了金融舆情分析系统和金融领域第一个自动化的数值交叉检查系统，提升了证券大数据挖掘效果和效率，支撑市场风险预警、行为监管等金融管理相关实际应用。

个人简介：何清，中科院计算所研究员，博导，中国人工智能学会会士、副秘书长，常务理事，机器学习专业委员会常务理事, 知识工程与分布智能专业委员会副主任委员。研究领域为机器学习、大数据挖掘和人工智能。提出了基于超曲面的系列机器学习算法，2008年底，开发完成了我国最早的基于云计算的并行大数据挖掘平台，获得授权专利10余项，2015年获得吴文俊人工智能科学技术创新奖二等奖。