1. 多模态深度学习
     如图1所示，该方向主要研究“虚拟主持人”，属于人工智能生成内容(Artificial Intelligence Generated Content, AIGC)：像人类一样具备生成创造能力的AI技术，即生成式AI，它可以基于训练数据和生成算法模型，自主生成创造新的文本、图像、音乐、视频、3D交互内容等各种形式的内容和数据，以及包括开启科学新发现、创造新的价值和意义等。

图1 多技能人工智能体接收、理解和播报中文新闻类视频

图2给出了四个具体研究内容：多模态语音分离、音视频混合驱动的视频生成、多模态视频描述、三维语音合成。

（a）语音->视频

（b）视频->语音

图2 虚拟主持人研究内容

代表性研究成果：

[1]   Zidong Liu, Jiasong Wu, Zeyu Shen, Xin Chen, Qianyu Wu, Zhiguo Gui, Lotfi Senhadji, Huazhong Shu. Improving End-to-end Sign Language Translation with Adaptive Video Representation Enhanced Transformer.IEEE Transactions on Circuits and Systems for Video Technology, 2024, 34(9): 8327-8342.

[2]       Jiasong Wu, Qingchun Li, Guanyu Yang, Lei Li, Lotfi Senhadji, Huazhong Shu. Self-supervised speech denoising using only noisy audio signals. Speech Communication, 2023, 149: 63-73.

[3]       Xize Wu, Jiasong Wu, Lei Zhu, Lotfi Senhadji, Huazhong Shu. Collaborative aware bidirectional semantic reasoning for video question answering. IEEE Transactions on Circuits and Systems for Video Technology, 2025, 35(3): 2074-2086.

[4]       Jiasong Wu, Xuan Li, Taotao Li, Fanman Meng, Youyong Kong, Guanyu Yang, Lotfi Senhadji, Huazhong Shu. CSLNSpeech: solving extended speech separation problem with the help of Chinese sign language. Speech Communication, 2024, 165, 103131.2020. 

[5] Fanman Meng, Jiasong Wu, et al. SSWMNet: Solving The Problem Of Speech Separation While Wearing a Mask. https://github.com/fanmanqian/SSWMNetwork

2. 人工智能与信号处理的结合

   该研究方向尝试沟通深度学习与信号处理两个研究领域，具体包括用信号处理的方法对深度学习网络进行解释；将信号处理中的时频分析方法作为模块构建深度学习网络（图3）；深度学习网络的数域扩展等。

图3 小波变换与Vision Transformer融合

代表性研究成果：

[1]       Fuzhi Wu, Jiasong Wu, Youyong Kong, Chunfeng Yang, Guanyu Yang, Huazhong Shu, Guy Carrault, Lotfi Senhadji. Wavelet-Based Dual-Task Network. IEEE Transactions on Neural Networks and Learning Systems. 2024,doi: 10.1109/TNNLS.2024.3486330.

[2]       Fuzhi Wu, Jiasong Wu, Huazhong Shu, Guy Carrault, Lotfi Senhadji. Spatial-enhanced Multi-level Wavelet Patching in Vision Transformers. IEEE Signal Processing Letters, 2024, 31: 446-450.

[3]       Fuzhi Wu, Jiasong Wu, Youyong Kong, Chunfeng Yang, Guanyu Yang, Huazhong Shu, Guy Carrault, Lotfi Senhadji. Multiscale low-frequency memory network for improved feature extraction in convolutional neural networks. The 38th AAAI Conference on Artificial Intelligence (AAAI), Vancouver, Canada, 2024, 5967-5975.

[4]       F.Z. Wu#, J.S. Wu#, Y.Y. Kong, C.F. Yang, G.Y. Yang, H.Z. Shu*, G. Carrault, L. Senhadji. Convolutional modulation theory: A bridge between convolutional neural networks and signal modulation theory. Neurocomputing, 2022, 514: 195-215.

[5]       Jiasong Wu*, Xiang Qiu, Jing Zhang, Fuzhi Wu, Youyong Kong, Guanyu Yang, Lotfi Senhadji, Huazhong Shu. Fractional wavelet based generative scattering networks. Frontiers in Neurorobotics. 2021.

[6]       J.S. Wu*, L. Xu, F.Z. Wu, Y.Y. Kong, L. Senhadji, H.Z. Shu. Deep octonion networks. Neurocomputing, vol. 397, pp. 179-191, 2020.

[7]       L. Liu, J. S. Wu, D. W. Li, L. Senhadji, H. Z. Shu*. Fractional wavelet scattering network and applications. IEEE Transactions on Biomedical Engineering, vol. 66, no. 2, pp. 553-563, 2019.

[8]       J. S. Wu*, S. J. Qiu, Y. Y. Kong, L. Y. Jiang, Y. Chen, W. K. Yang, L. Senhadji, H. Z. Shu. PCANet: An energy perspective. Neurocomputing, vol. 313, pp. 271-287, 2018.

[9]       Zeng R, Wu J S*, Shao Z H, Chen Y, Senhadji L, Shu H Z. Color image classification via quaternion principal component analysis network. Neurocomputing, vol. 216, pp. 416-428, 2016.

3. 疾病辅助诊疗系统研发
    该方向主要研究“虚拟医生”和“虚拟病人”，同样属于人工智能生成内容(AIGC)领域。“虚拟医生”主要指的是疾病辅助诊疗系统研发；“虚拟病人”指的是模拟真实病人，主要用于对医学生进行考核。

3.1 肝病“虚拟医生”和肝病“虚拟病人”

图4和图5分别是肝病虚拟医生（辅助诊疗系统）和肝病虚拟病人（模拟病人）页面。

图4 肝病辅助诊疗系统研发（肝病虚拟医生）页面

图5 肝病虚拟病人页面

代表性研究成果：

[1]   Yifan Xue, Wanqiang Cai, Yingyao Ma, Lotfi Senhadji, Huazhong Shu, Jiasong Wu. HSAE: Hierarchical Structure Augment Embedding for Various Knowledge Graph Completion. Knowledge-Based Systems, 2025. https://doi.org/10.1016/j.knosys.2025.114320

[2]   Yifan Xue, Shuoyan Ren, Wanqiang Cai, Yingyao Ma, Lotfi Senhadji, Huazhong Shu, Jiasong Wu. Make your choice for multimodal knowledge graph completion. Knowledge-Based Systems, 2025, 323, 113750.

[3]   Yingyao Ma, Yifan Xue, Jiasong Wu, Lotfi Senhadji, Huazhong Shu, and Jian Yang. Multimodal Entity Linking with Dynamic Modality Selection and Interactive Prompt Learning. IEEE Transactions on Knowledge and Data Engineering, 2025, 37 (9): 5467-5480.

[4]    Yifan Xue, Yingyao Ma, Wanqiang Cai, Jiasong Wu, Lotfi Senhadji, Huazhong Shu, Jian Yang. MuHE: Multimodal Hyper-Relational Knowledge Graph Embedding with Multi-Scale Convolutional Network. IEEE Transactions on Knowledge and Data Engineering, 2025, Submitted.

3.2 牙颌面畸形辅助诊疗系统开发（牙颌面畸形虚拟医生）

如图6所示开发一套牙颌面畸形辅助诊疗系统，图7展示了三维CBCT自动定点系统。以此为基础的“牙颌面畸形一栈式解决方案”项目，获得第二届长三角国创中心创新创业大赛---生物与医药领域决赛金奖。

图6 牙颌面畸形辅助诊疗全流程

图7 三维CBCT自动定点系统

代表性研究成果：

[1]       Han Bao, Zhidong He, Jiasong Wu, John Baxter, Lotfi Senhadji, Hengjia Zhang, Shirin Shahrbaf, Sherif Elbarbary, Huazhong Shu, Luwei Liu, Bin Yan. Development and validation of the deep learning enhanced facial soft tissue network (FST-Net) for 3D landmarking. Progress in Orthodontics, 2024 (Submitted)

[2]       Han Bao, Zhidong He, Jiasong Wu, John Baxter, Lotfi Senhadji, Hengjia Zhang, Shirin Shahrbaf, Sherif Elbarbary, Huazhong Shu, Luwei Liu, Bin Yan. A New Automated 3D Facial Soft Tissue Landmarking Method via Deep Learning. Journal of Dental Research, 2024 (Submitted)

[3]     Zhidong He, Han Bao, Mingzhang Chen, Jiasong Wu, Luwei Liu, Lotfi Senhadji, Huazhong Shu, Bin Yan. FST-Net: Facial Soft Tissue Landmark Localization on 3dMD Scans Using Feature Fusion and Local Coordinate Regression. IEEE International Symposium on Biomedical Imaging (ISBI), 2024.

2009/07–2012/03， 雷恩第一大学，信号处理与通信， 博士(中法联合培养)，导师：Lotfi Senhadji教授
2007/03–2012/11， bw必威西汉姆联官网， 生物医学工程， 博士， 导师：舒华忠教授
2005/09–2007/03， bw必威西汉姆联官网， 生物医学工程， 硕士研究生(提前攻博)，导师：於文雪副教授
2001/09–2005/06， 南华大学， 生物医学工程， 学士， 导师：赵修良教授

2020/05-至今， bw必威西汉姆联官网， 计算机科学与工程学院影像科学与技术系，副教授
2012/03-2020/04，bw必威西汉姆联官网，计算机科学与工程学院影像科学与技术系，讲师

国家自然基金面上项目：面向中文新闻视频场景的多模态深度学习网络构造方法研究(2025-2028)

国家重点研发计划“政府间国际科技创新合作”重点专项2025年度中法杰出科研人员交流计划项目(2025-2026)

江苏省重点国别国际合作项目：牙颌面畸形辅助诊疗系统的合作研发(2023-2026)

江苏省产学研项目：疾病智能病案、智能筛查和智能决策系统研发(2023-2025)

中电28所项目：语音伪造和防伪识别技术研究(2022-2024)

科技创新2030新一代人工智能项目课题：基于知识图谱和病历的医学证据智能体构建(2021-2024)

国家自然基金面上项目：复数及四元数域卷积神经网络的构造方法及其应用研究(2019-2022)

[1]  Xize Wu, Zheng Wang, Jiasong Wu*, Lei Zhu, Heng Tao Shen. SCL: Semantic coherence learning for video question answering. IEEE Transactions on Multimedia, 2025. Accept.

[2]  Fanman Meng, Kang Qin, Zheng Wang, Huazhong Shu, Lotfi Senhadji, Jiasong Wu*. SSWMNet: Solving the Speech Separation Problem While the Target is Wearing a Mask. ACM Transactions on Internet Technology, 2025. Accept.

[3]  Yifan Xue, Ying Sun, Wanqiang Cai, Yingyao Ma, Lotfi Senhadji, Huazhong Shu, Jiasong Wu*. HMTE: Memory-Transformer Representation Learning for Knowledge Hypergraph Completion. Neurocomputing, 2026, 670, 132560: 1-14.

[4]  Yifan Xue, Wanqiang Cai, Yingyao Ma, Lotfi Senhadji, Huazhong Shu, Jiasong Wu*. HSAE: Hierarchical Structure Augment Embedding for Various Knowledge Graph Completion. Knowledge-Based Systems, 2025, 329, 114320: 1-13.

[5]    Yingyao Ma, Yifan Xue, Jiasong Wu*, Lotfi Senhadji, Huazhong Shu, and Jian Yang. Multimodal Entity Linking with Dynamic Modality Selection and Interactive Prompt Learning. IEEE Transactions on Knowledge and Data Engineering, 2025, 37(9): 5467-5480.

[6]    Yi Zhou, Zhaodong Xue, Lotfi Senhadji, Huazhong Shu, Jiasong Wu*. BFC-Net: Boundary-Frame cross graph  attention network for partially spoofed audio localization. Neurocomputing, 2025, 650, 30867, 1-10.

[7]    Yifan Xue, Shuoyan Ren, Wanqiang Cai, Yingyao Ma, Lotfi Senhadji, Huazhong Shu, Jiasong Wu*. Make your choice for multimodal knowledge graph completion. Knowledge-Based Systems, 2025, 323, 113750.

[8]     Xize Wu, Jiasong Wu*, Lei Zhu, Lotfi Senhadji, Huazhong Shu. Collaborative aware bidirectional semantic reasoning for video question answering. IEEE Transactions on Circuits and Systems for Video Technology, 2025, 35(3): 2074-2086. 

[9]    Fuzhi Wu#, Jiasong Wu#, Youyong Kong, Chunfeng Yang, Guanyu Yang, Huazhong Shu*, Guy Carrault, Lotfi Senhadji. Wavelet-Based Dual-Task Network. IEEE Transactions on Neural Networks and Learning Systems, 2025, 36(7): 12117-12130.

[10]     Jiasong Wu*, Xuan Li, Taotao Li, Fanman Meng, Youyong Kong, Guanyu Yang, Lotfi Senhadji, Huazhong Shu. CSLNSpeech: solving extended speech separation problem with the help of Chinese sign language. Speech Communication, 2024, 165, 103131.

[11]    Zidong Liu#,Jiasong Wu#, Zeyu Shen, Xin Chen, Qianyu Wu, Zhiguo Gui, Lotfi Senhadji, Huazhong Shu*. Improving End-to-end Sign Language Translation with Adaptive Video Representation Enhanced Transformer. IEEE Transactions on Circuits and Systems for Video Technology, 2024, 34(9): 8327-8342.

[12]    Fuzhi Wu#, Jiasong Wu#, Youyong Kong, Chunfeng Yang, Guanyu Yang, Huazhong Shu*, Guy Carrault, Lotfi Senhadji. Multiscale low-frequency memory network for improved feature extraction in convolutional neural networks. AAAI, 2024, 5967-5975.

[13]    Xiangtian Xue, Jiasong Wu*, Youyong Kong, Lotfi Senhadji, Huazhong Shu. ST-LDM: A universal framework for text-grounded object generation in real images. In 18th European Conference on Computer Vision (ECCV), Milan, ITALY, 2024, pp. 145-162.

[14]     Fuzhi Wu#, Jiasong Wu#, Huazhong Shu, Guy Carrault, Lotfi Senhadji. Spatial-enhanced Multi-level Wavelet Patching in Vision Transformers. IEEE Signal Processing Letters, 2024, 31: 446-450.

[15]     Jiasong Wu*, Qingchun Li, Guanyu Yang, Lei Li, Lotfi Senhadji, Huazhong Shu. Self-supervised speech denoising using only noisy audio signals. Speech Communication, 2023, 149: 63-73.

[16]     Zhijian Sun, Zhuhong Shao, Yuanyuan Shang, Bicao Li, Jiasong Wu, Hui Bi. Randomized nonlinear two-dimensional principal component analysis network for object recognition, Machine Vision and Applications, 2023, 34(2): 1-9.

[17]     F.Z. Wu#, J.S. Wu#, Y.Y. Kong, C.F. Yang, G.Y. Yang, H.Z. Shu*, G. Carrault, L. Senhadji. Convolutional modulation theory: A bridge between convolutional neural networks and signal modulation theory. Neurocomputing, 2022, 514: 195-215.

[18]  YT He, RJ Ge, XM Qi, Y Chen, JS Wu, JL Coatrieux,  G Y Yang,  S Li.  Learning Better Registration to Learn Better Few-Shot Medical Image Segmentation: Authenticity, Diversity, and Robustness. IEEE Transactions on Neural Networks and Learning Systems.

[19]  Jiasong Wu*, Xiang Qiu, Jing Zhang, Fuzhi Wu, Youyong Kong, Guanyu Yang, Lotfi Senhadji, Huazhong Shu. Fractional wavelet based generative scattering networks. Frontiers in Neurorobotics. 2021.

[20]  Xilin Liu, Yongfei Wu, Hao Zhang, Jiasong Wu, Liming Zhang. Quaternion discrete fractional Krawtchouk transform and its application in color image encryption and watermarking. Signal Processing. 189: 108275 (2021)

[21]  Yan Zhang, Yifei Li, Youyong Kong, Jiasong Wu, Jian Yang, Huazhong Shu, Gouenou Coatrieux. GSCFN: A graph self-construction and fusion network for semisupervised brain tissue segmentation in MRI. Neurocomputing, vol. 455, pp. 23-37, 2021.

[22] J.S. Wu*, L. Xu, F.Z. Wu, Y.Y. Kong, L. Senhadji, H.Z. Shu. Deep octonion networks. Neurocomputing, vol. 397, pp. 179-191, 2020.

[23]  Yuting He, Guanyu Yang, Jian Yang, Yang Chen, Youyong Kong, Jiasong Wu, Lijun Tang, Xiaomei Zhu, Jean-Louis Dillenseger, Pengfei Shao, Shaobo Zhang, Huazhong Shu, Jean-Louis Coatrieux, Shuo Li. Dense biased networks with deep priori anatomy and hard region adaptation: semi-supervised learning for fine renal artery segmentation. Medical Image Analysis, vol. 63, 2020.

[24]  Li Liu, Da Chen, Laurent D. Cohen,Jiasong Wu, Michel Paques, Huazhong Shu^*,Anisotropic tubular minimal path model with fast marching front freezing scheme, Pattern Recognition (2020), 104: 107349. doi: https://doi.org/10.1016/j.patcog.2020.107349

[25]  L. Liu, J. S. Wu, D. W. Li, L. Senhadji, H. Z. Shu*. Fractional wavelet scattering network and applications. IEEE Transactions on Biomedical Engineering, vol. 66, no. 2, pp. 553-563, 2019.

授权国家发明专利30余项。

[1]孟凡满,伍家松,杨淳沨,孔佑勇,董志芳,陈阳,舒华忠. 一种提升合成音频自然度以及降噪的方法. 申请号: 2025100035600, 申请日期: 2025年1月2日, 授权日期: 2025年8月25日. 

[2]周义, 伍家松, 董志芳, 舒华忠. 基于立场检测的多层次评论分析方法. 申请号: 2024113185334, 申请日期: 2024年9月20日, 授权日期: 2025年11月17日.

[3]伍家松, 张家伟, 马瑛瑶, 孔佑勇, 杨冠羽, 杨淳沨, 董志芳, 舒华忠. 一种基于知识蒸馏和多模态融合的视频分类方法. 申请号: 202210609575.8, 申请日期: 2022年5月31日, 授权日期: 2025年7月5日.

[4]孟凡满, 伍家松, 杨淳沨, 孔佑勇, 章品正, 杨冠羽, 陈阳, 舒华忠. 一种文本驱动视频生成系统的实现方法. 申请号: 202310330246.4, 申请日期: 2023年3月30日, 授权日期: 2025年01月24日.

[5]靳鸿祥, 伍家松, 孔佑勇, 杨冠羽, 杨淳沨, 董志芳, 舒华忠. 一种基于预训练语言模型的零样本知识图谱补全方法. 申请国家发明专利. 申请号: 202311275705X, 申请日期: 2023年9月28日, 授权日期: 2025年08月19日.

[6]伍家松, 宋佳朋, 薛一帆, 孔佑勇, 杨冠羽, 杨淳沨, 董志芳, 舒华忠. 一种基于面部微表情的可控人脸生成方法. 申请号: 2022106123480, 申请日期: 2022年5月31日, 授权日期: 2024年12月31日.

[7]伍家松, 王正青, 舒华忠, 孔佑勇, 杨冠羽, 杨淳沨, 姜龙玉, 章品正. 一种自动采集并处理生成音乐情感数据库的方法. 申请号: ZL 202210205546.5 , 申请日期：2022年3月4日, 授权日期: 2024年12月27日.

[8]伍家松, 吴婷婷, 孙威, 杨淳沨, 孔佑勇, 章品正, 陈阳, 舒华忠. 一种粤语新闻视频中自动裁剪含主播的视听数据集的方法. 申请号: 2022111323383, 申请日期: 2022年9月17日, 授权日期: 2024年10月1日.

[9]伍家松, 陈曦, 孔佑勇, 杨淳沨, 杨冠羽, 姜龙玉, 沈傲东, 舒华忠. 一种基于慕课语音数据集的语音合成方法. 申请国家发明专利, 申请号: 202110781210.9, 申请日期: 2021年7月10日, 授权日期: 2024年5月14日.

[10]伍家松, 曹国栋, 孔佑勇, 杨冠羽, 杨淳沨, 舒华忠. 一种基于卷积神经网络的细粒度犬类图像识别方法. 申请号: 202010307109.5, 申请日期: 2020年4月18日, 公开日期: 2020年8月24日, 授权日期: 2024年3月1日.

[11]伍家松, 李清淳, 孔佑勇, 杨淳沨, 杨冠羽, 姜龙玉, 陈阳, 舒华忠. 一种使用单个带噪语音样本进行语音去噪的方法. 国家发明专利, 专利号: 202111100709.5, 申请日期: 2021年9月18日, 授权日期: 2023年11月28日.

[12]伍家松, 李晓燕, 孔佑勇, 杨淳沨, 杨冠羽, 姜龙玉, 陈阳, 舒华忠. 一种包含手语的新闻类视频描述数据集构建方法. 国家发明专利, 专利号: 201910845200.X, 申请日期: 2019年9月8日, 授权日期: 2023年6月2日.

[13]伍家松, 李桃桃, 舒华忠, 孔佑勇, 杨冠羽, 杨淳沨, 姜龙玉, 章品正. 一种手语视频中自动裁剪多模态数据的方法. 国家发明专利, 专利号: 201910835953.2, 申请日期: 2019年9月5日, 授权日期: 2022年4月8日.

[14]袁华, 张逸帆, 陈安皓, 李晓燕, 伍家松. 一种融合图像和声音信息的视频标注方法. 国家发明专利, 专利号: 202010429160.3, 申请日期: 2020年5月20日, 授权日期: 2022年11月8日.

[15]伍家松, 徐玲, 孔佑勇, 杨冠羽, 章品正, 杨淳沨, 姜龙玉, 舒华忠. 一种基于八元数卷积神经网络的图像分类方法. 申请国家发明专利, 申请号: ZL201810748292.5, 申请日期: 2018年7月10日, 授权公告日: 2022年4月8日.

第二届长三角国创中心创新创业大赛---生物与医药领域决赛金奖，2025

教育部自然科学二等奖，2012

中国海洋工程咨询协会海洋工程科学技术二等奖，2019

江苏省教育厅高校自然科学研究类三等奖，2018

江苏省“科技副总”，2022

bw必威西汉姆联官网教学成果奖研究生教育二等奖，2021

苏州独墅湖科教创新区“科教骨干人才”，2021，2023

中国国家留学基金委“国家优秀自费留学生奖学金”，2010

法国外交部“艾菲尔(Eiffel)博士奖学金”，2009

【教学】目前正在承担《深度学习与应用》（大三上）、《人工智能算法综合课程设计》（大四上）、《机器学习》（研一下）课程教学；曾经承担过《运筹学》、《深度学习导论》、《计算机视觉》、《信号与系统》的本科课程教学。

【招生】欢迎对本人研究方向感兴趣的同学联系我！”兴趣是最好的老师！“