随着信息技术在各领域的广泛应用，海量数据涌现，其多模态、大规模等特点为现有大数据分析技术带来了新的挑战。近期，我校数学与信息学院黄栋课题组围绕多模态大数据分析的多个难点问题，取得了若干重要进展，相关研究论文发表在Information Fusion（影响因子17.564）、IEEE Transactions on Neural Networks and Learning Systems（影响因子14.255）、IEEE Transactions on Knowledge and Data Engineering（影响因子9.235）、Pattern Recognition（影响因子8.518）等人工智能与大数据分析领域国际权威期刊上。
1. 面向多模态数据的高效二部图学习与聚类分析
作为数据的最基本表达之一，图结构能够有效反映数据样本间的关联信息，在多模态大规模数据分析上也扮演着重要角色。针对传统多模态（多视图）图学习与聚类分析方法的高复杂度、缺乏跨模态融合建模、无法直接学习离散簇结构等局限性，该研究提出以锚点子空间学习同时得到多个模态的大规模二部图，并将其自适应融合为具备离散簇结构的统一图结构，由此提出一种可适用于多模态大规模数据的高效二部图学习与聚类分析新算法。
团队在中科院一区期刊IEEE Transactions on Neural Networks and Learning Systems（影响因子14.255）上在线发表了题为“Efficient Multi-View Clustering via Unified and Discrete Bipartite Graph Learning”的研究论文（论文链接：https://ieeexplore.ieee.org/document/10091436）。该论文的通讯作者为黄栋副教授，第一作者为我校硕士研究生方思国。
2. 基于集成学习的多模态大规模数据聚类分析
针对传统多模态聚类在运算效率、单阶段融合以及模型调参等方面的关键问题，该研究提出一种基于集成学习的快速多模态聚类方法。该方法通过构建随机视图（模态）组，挖掘不同模态之间的多样化关联，以此作为多阶段融合的基础。进一步，整合特征级、锚点级以及邻域级的多样化信息，构建一组具有差异性的基聚类，再结合高效二部图建模与划分，以得到多模态大规模数据的集成聚类结果。相比于传统多模态聚类方法，该方法的优势主要体现在大规模可用性（Scalability）、性能优越性（Superiority）以及高效易用性（Simplicity）三个方面。
团队在中国计算机学会（CCF）推荐A类期刊IEEE Transactions on Knowledge and Data Engineering（影响因子9.235）上在线发表了题为“Fast Multi-view Clustering via Ensembles: Towards Scalability, Superiority, and Simplicity”的研究论文（论文链接：https://ieeexplore.ieee.org/document/10016684）。该论文的第一作者为黄栋副教授。
3. 基于跨模态一致性与非一致性建模的多模态子空间聚类研究
传统多模态子空间聚类方法大多仅考虑多个子空间表达的一致性，而未对其非一致性作有效建模，亦未充分反映多模态数据的局部结构信息。对此，该研究提出一种基于联合平滑约束的多模态子空间聚类方法。该方法对多个模态子空间表达的一致性与非一致性进行建模，并结合协同分组效应，利用多个模态下的局部结构信息进行联合平滑约束，进而设计了一种迭代优化算法对其进行近似求解，以实现兼顾跨模态一致性与非一致性的多模态子空间聚类分析。
近期在中科院一区期刊Information Fusion（影响因子17.564）上正式发表了题为“Seeking commonness and inconsistencies: A jointly smoothed approach to multi-view subspace clustering”的研究论文（论文链接：https://www.sciencedirect.com/science/article/abs/pii/S1566253522001968）。该论文的通讯作者为黄栋副教授，第一作者为我校硕士研究生蔡晓莎。
4. 基于深度学习与强弱增广协同训练的自监督聚类研究
深度神经网络近年来在复杂数据表征学习上表现出显著优势，其与聚类分析的融合亦日益受到关注。当前基于深度学习的聚类方法（即深度聚类方法）往往采用单路神经网络作聚类结构学习，或采用两路神经网络结构作对比学习，其对比学习过程亦大多局限于图像数据的弱增广策略。对此，该研究将过往深度聚类的神经网络结构由两路扩展至多路，并设计其多路神经网络的协同学习机制，由此提出一种基于强弱增广协同训练的自监督图像聚类方法。
团队在中科院一区期刊Pattern Recognition（影响因子8.518）上正式发表了题为“Strongly augmented contrastive clustering”的研究论文（论文链接：https://www.sciencedirect.com/science/article/abs/pii/S003132032300170X）。该论文的通讯作者为黄栋副教授，第一作者为我校硕士研究生邓小智。
前述研究工作得到了国家自然科学基金（61976097，62276277，62077045，U1811263）、广东省自然科学基金区域联合基金重点项目（2022B1515120059）、广东省自然科学基金面上项目 (2021A1515012203)、广州市科技计划项目（202201010314）等项目的支持。
文图/数学与信息学院