自表示子空間聚類方法在高維數(shù)據(jù)處理中表現(xiàn)優(yōu)秀，已成為該領(lǐng)域的關(guān)鍵技術(shù)之一。然而，傳統(tǒng)的自表示模型通常假設(shè)數(shù)據(jù)集是靜態(tài)的，難以適應(yīng)動態(tài)、連續(xù)到達(dá)的數(shù)據(jù)流，會導(dǎo)致新舊數(shù)據(jù)存在特征異構(gòu)、新到樣本可能包含未知新類別等情況。因此，文中提出聯(lián)合自表示子空間聚類方法(Joint Self-Expressive Subspace Clustering Method, JSSC)，可適應(yīng)數(shù)據(jù)流的連續(xù)到達(dá)。JSSC結(jié)合聯(lián)合自表示特征學(xué)習(xí)模塊和新類別樣本處理模塊，有效聚類新類別樣本，同時確保已有類別的聚類性能不受影響。此外，該方法利用深度自動編碼器學(xué)習(xí)子空間基，實現(xiàn)直觀、可解釋的表示，并通過成對目標(biāo)和正則化項，同時管理已知類別和新興類別。基準(zhǔn)數(shù)據(jù)集上的實驗表明，JSSC在聚類任務(wù)中表現(xiàn)較優(yōu)，尤其是在處理動態(tài)數(shù)據(jù)中的新類別方面。

　　關(guān)鍵詞：子空間聚類;自表示學(xué)習(xí);子空間基;動態(tài)數(shù)據(jù)

　　論文《面向動態(tài)數(shù)據(jù)的聯(lián)合自表示子空間聚類方法》發(fā)表在《模式識別與人工智能》，版權(quán)歸《模式識別與人工智能》所有。本文來自網(wǎng)絡(luò)平臺，僅供參考。

　　一、引言

　　近年來，子空間聚類技術(shù)因其在處理高維數(shù)據(jù)中的優(yōu)異表現(xiàn)受到廣泛關(guān)注[1]。該技術(shù)假設(shè)同簇內(nèi)的數(shù)據(jù)點共享一個公共子空間，而不同簇的數(shù)據(jù)分布在彼此獨立的子空間中。這一特性使得該技術(shù)在降維和聚類方面具有顯著優(yōu)勢，廣泛應(yīng)用于人臉聚類、視頻運動分割和圖像聚類等領(lǐng)域[2-5]。

　　自表示模型的引入為子空間聚類的發(fā)展提供關(guān)鍵的突破技術(shù)，其核心思想是將數(shù)據(jù)集上每個數(shù)據(jù)點表示為其余數(shù)據(jù)點的線性組合，從而有效構(gòu)建親和矩陣，揭示數(shù)據(jù)點之間的關(guān)系。然而，傳統(tǒng)的淺層子空間聚類方法在處理復(fù)雜數(shù)據(jù)時判別能力有限。隨著深度學(xué)習(xí)的快速發(fā)展，深度模型能更有效地捕捉數(shù)據(jù)的潛在復(fù)雜結(jié)構(gòu)，為自表示模型帶來新的突破。

　　DSC-Nets(Deep Subspace Clustering Networks)[6]是在深度神經(jīng)網(wǎng)絡(luò)中實現(xiàn)自表示子空間聚類的直接方式之一，其核心思想是在編碼器和解碼器之間引入無偏置的全連接層，用于執(zhí)行自表示建模。具體地，輸入數(shù)據(jù)通過編碼器映射到線性子空間，隨后全連接層執(zhí)行自表示建模，其權(quán)重矩陣用于譜聚類。基于DSC-Nets的后續(xù)研究引入額外的正則化項，如對抗性學(xué)習(xí)、偽監(jiān)督和自監(jiān)督卷積[7-9]等，進(jìn)一步提升聚類性能。通過結(jié)合深度學(xué)習(xí)與自表示子空間聚類，子空間聚類的應(yīng)用得到擴展和優(yōu)化。

　　盡管DSC-Nets的聚類性能較優(yōu)，但仍存在一些局限性。當(dāng)前的深度模型大多基于封閉環(huán)境的假設(shè)，即數(shù)據(jù)集是靜態(tài)、固定不變的。這種假設(shè)在現(xiàn)實世界中并不常見，因為數(shù)據(jù)往往是動態(tài)的，以流的形式不斷到達(dá)。DSC-Nets難以適應(yīng)這種新數(shù)據(jù)的到來，尤其是當(dāng)新數(shù)據(jù)包含來自全新類別的樣本時，因為這些模型通常是在固定數(shù)據(jù)集上訓(xùn)練并優(yōu)化，缺乏足夠的靈活性以應(yīng)對動態(tài)變化的數(shù)據(jù)環(huán)境。因此亟需開發(fā)具備更強泛化能力的子空間聚類方法，以適應(yīng)不斷變化且復(fù)雜的數(shù)據(jù)環(huán)境。

　　為了解決類別外數(shù)據(jù)在子空間聚類中的挑戰(zhàn)，本文在自表示子空間聚類框架的基礎(chǔ)上進(jìn)行擴展，提出聯(lián)合自表示子空間聚類方法(Joint Self-Expressive Subspace Clustering Method, JSSC)，專門用于處理舊數(shù)據(jù)和新數(shù)據(jù)的聯(lián)合聚類。然而，舊數(shù)據(jù)和新數(shù)據(jù)的特征往往存在異構(gòu)性，JSSC利用從舊數(shù)據(jù)中學(xué)習(xí)的知識，實現(xiàn)對新數(shù)據(jù)的高效表征，這種跨數(shù)據(jù)表征方式還有助于處理新類別樣本。通過迭代優(yōu)化，從舊數(shù)據(jù)中學(xué)習(xí)的子空間基被用于表示新數(shù)據(jù)，確保特征的互補性與一致性。此外，設(shè)計新類別樣本處理模塊，結(jié)合成對目標(biāo)和正則化項，有效處理舊類別和新類別樣本的聚類任務(wù)。

　　二、相關(guān)工作

　　(一)深度聚類

　　隨著深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network, DNN)的不斷發(fā)展，深度聚類方法逐漸興起，展現(xiàn)出較強的表征能力。其中，自編碼器(Autoencoder, AE)已成為許多深度聚類框架的核心，通過重構(gòu)損失函數(shù)學(xué)數(shù)據(jù)的潛在表示。Huang等[10]利用自編碼器，將數(shù)據(jù)投影到低維空間，并通過K-means對嵌入的低維數(shù)據(jù)進(jìn)行聚類。Li等[11]提出PLrSC(Projective Low-Rank Subspace Clustering)，從大數(shù)據(jù)集上隨機抽取小數(shù)據(jù)集，使用PLD(Predictive Low-Rank Decomposition)訓(xùn)練深度編碼器，從而快速計算數(shù)據(jù)樣本的低秩表示。Chang等[12]提出DSEC(Deep Self-Evolution Clustering)，通過選定的模式進(jìn)行網(wǎng)絡(luò)的交替訓(xùn)練。Wu等[13]提出DCCM(Deep Comprehensive Correlation Mining)，使用偽標(biāo)簽進(jìn)行自我監(jiān)督，并結(jié)合互信息捕捉具有更強判別力的表示。Huang等[14]提出PICA(Partition Confidence mAximisation)，通過最小化分區(qū)不確定性指數(shù)，學(xué)習(xí)最有置信度的聚類分配。Ronen等[15]提出DeepDPM(Deep Nonparametric Method)，結(jié)合深度神經(jīng)網(wǎng)絡(luò)與狄利克雷過程，并通過分裂、合并框架及動態(tài)網(wǎng)絡(luò)結(jié)構(gòu)，在訓(xùn)練過程中自適應(yīng)確定聚類數(shù)目K，在大規(guī)模數(shù)據(jù)集上取得較優(yōu)性能。

　　(二)子空間聚類

　　經(jīng)典的子空間聚類方法，如SSC(Sparse Subspace Clustering)[16]、LRR(Low-Rank Representation)[17]、KSSC(Kernel Sparse Subspace Clustering)[18]，旨在學(xué)習(xí)用于譜聚類的自表達(dá)親和矩陣。許多研究者都在探索子空間聚類的自表達(dá)系數(shù)正則化的不同選擇，(l_1)正則化廣泛應(yīng)用于稀疏子空間聚類[16]，而核規(guī)范和(l_2)正則化分別應(yīng)用于低秩[17,19]和最小二乘子空間聚類[20]。一些研究者還試圖將(l_1)規(guī)范與其它正則化混合使用，提高親和圖連通性，并對自表達(dá)模型進(jìn)行噪聲建模和特征學(xué)習(xí)的改進(jìn)。

　　在此基礎(chǔ)上，已有研究者嘗試解決樣本外數(shù)據(jù)問題。Peng等[21]提出StructureAE(Structured Autoencoder)，構(gòu)建雙向圖，揭示樣本與錨點之間的關(guān)系，使用標(biāo)簽傳播方法處理樣本外數(shù)據(jù)。然而，該方法偏離傳統(tǒng)自表示子空間框架，未能有效應(yīng)對樣本外數(shù)據(jù)的聚類挑戰(zhàn)，效果欠佳。Zhang等[22]提出SENet(Self-Expressive Network)，通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)自表達(dá)函數(shù)并創(chuàng)建自表達(dá)系數(shù)。需要注意的是，SENet僅將測試集作為樣本外數(shù)據(jù)直接判斷，因此只能處理同一分布下的樣本外數(shù)據(jù)，并且需要事先學(xué)習(xí)大量同類數(shù)據(jù)。雖然SENet對獨立同分布的樣本外數(shù)據(jù)有效，但在處理超出類別范圍的新數(shù)據(jù)時存在局限性。

　　(三)新類別發(fā)現(xiàn)

　　新類別發(fā)現(xiàn)(Novel Class Discovery, NCD)旨在利用有標(biāo)注數(shù)據(jù)中的知識發(fā)現(xiàn)未標(biāo)注數(shù)據(jù)中的新類別，并假設(shè)兩者類別相互獨立但相關(guān)。

　　近年來，該領(lǐng)域許多方法在圖像分類和語義分割等任務(wù)中表現(xiàn)出色。Hsu等設(shè)計基于成對相似性的聚類正則化分類損失，并提出框架重構(gòu)與語義聚類數(shù)量估計的方法[23]。同時，還提出MCL(Meta Classification Likelihood)[24]，通過成對相似性學(xué)習(xí)多類分類器。Zhong等[25]提出NCL(Neighborhood Contrastive Learning)，旨在學(xué)習(xí)對聚類性能重要的判別表示，通過檢索和聚合偽陽性對改進(jìn)對比學(xué)習(xí)，并在特征空間中生成硬負(fù)例。Han等[26]提出AutoNovel，結(jié)合自監(jiān)督學(xué)習(xí)，避免標(biāo)記數(shù)據(jù)的偏差，利用排名統(tǒng)計進(jìn)行知識遷移，通過聯(lián)合目標(biāo)函數(shù)優(yōu)化數(shù)據(jù)表示。Zhang等[27]提出PromptCAL(Prompt Contrastive Affinity Learning)，在預(yù)訓(xùn)練的ViT(Visual Transformer)模型中引入輔助視覺提示(Prompts)，并通過迭代式的半監(jiān)督親和圖生成策略，挖掘無標(biāo)注混合數(shù)據(jù)中的可靠正樣本對。Gu等[28]基于在已知類上訓(xùn)練的模型的預(yù)測類分布，引入新類的類關(guān)系表示，提出一種知識蒸餾框架，利用類關(guān)系表示規(guī)范新類的學(xué)習(xí)，并通過可學(xué)習(xí)的加權(quán)函數(shù)，根據(jù)新類與已知類之間的語義相似性，自適應(yīng)促進(jìn)知識轉(zhuǎn)移。

　　(四)開放世界

　　開放世界(Open World)研究涵蓋多個關(guān)鍵子領(lǐng)域，包括增量學(xué)習(xí)(Incremental Learning)、零樣本學(xué)習(xí)(Zero-Shot Learning)、領(lǐng)域適應(yīng)(Domain Adaptation)、終身學(xué)習(xí)(Lifelong Learning)。Tao等[29]提出FSCIL(Few-Shot Class-Incremental Learning)，固定少樣本類增量學(xué)習(xí)，每次引入固定數(shù)量的類別和樣本，但在實際應(yīng)用中因數(shù)據(jù)分布不確定，模型容易過擬合和遺忘。Naeem等[30]提出CGE(Compositional Graph Embedding)，通過圖結(jié)構(gòu)中狀態(tài)、對象及其組合的依賴關(guān)系，促進(jìn)已見組合與未見組合之間的知識轉(zhuǎn)移。Li等[31]針對OSDA(Open Set Domain Adaptation)中的語義偏差問題，提出ANNA(Adjustment and Alignment)，通過細(xì)粒度分析源域圖像中的視覺塊，識別隱藏的新類別區(qū)域，再利用正交掩碼，將源域和目標(biāo)域的基礎(chǔ)類別與新類別區(qū)域解耦，確保數(shù)據(jù)分布的無偏對齊。

　　三、聯(lián)合自表示子空間聚類方法

　　本文提出聯(lián)合自表示子空間聚類方法(JSSC)，旨在解決流形數(shù)據(jù)中新類別樣本聚類的挑戰(zhàn)，具體框架如圖1所示。

　　JSSC可分為如下兩部分：

　　1. 聯(lián)合自表示特征學(xué)習(xí)模塊。首先，使用舊數(shù)據(jù)訓(xùn)練自編碼器，在編碼器和解碼器之間加入無偏置的全連接層，并引入子空間基相關(guān)損失，提取舊數(shù)據(jù)的子空間基特征。在這一過程中，舊數(shù)據(jù)的特征得到有效的自表示，從而捕捉其固有結(jié)構(gòu)和子空間分布。與此同時，新數(shù)據(jù)通過共享舊數(shù)據(jù)編碼器的權(quán)重進(jìn)行特征提取，可確保新舊數(shù)據(jù)在特征空間內(nèi)的一致性和關(guān)聯(lián)性，進(jìn)而利用舊數(shù)據(jù)表征新數(shù)據(jù)，獲得新數(shù)據(jù)的特征。

　　2. 新類別樣本處理模塊。在獲取舊數(shù)據(jù)特征后，通過譜聚類生成偽標(biāo)簽，并在骨干網(wǎng)絡(luò)末端添加分類頭，將帶有偽標(biāo)簽的舊數(shù)據(jù)與無標(biāo)簽的新數(shù)據(jù)一并輸入后分類。引入成對目標(biāo)損失和正則化項，較好地區(qū)分新舊數(shù)據(jù)特征。

　　[圖1 JSSC框架圖](Fig. 1 Framework of JSSC)

　　(一)聯(lián)合自表示特征學(xué)習(xí)

　　在處理具有新樣本的數(shù)據(jù)集時，首要問題是來自不同數(shù)據(jù)集的樣本會導(dǎo)致自表達(dá)學(xué)習(xí)框架內(nèi)的特征異構(gòu)。JSSC首先從舊數(shù)據(jù)中學(xué)習(xí)一個統(tǒng)一的坐標(biāo)基，構(gòu)建共享的特征空間。在該共享空間中，可在同一坐標(biāo)系下無縫表示新數(shù)據(jù)，從而確保特征的高效整合與分析。通過這一統(tǒng)一特征空間的構(gòu)建，不僅能有效應(yīng)對多源特征的多樣性，同時也確保學(xué)習(xí)的表征對新樣本和未見數(shù)據(jù)具有良好的泛化能力。

　　給定一個舊數(shù)據(jù)集(x_i subset X in R^{d×n})，其中，d表示特征維度，n表示樣本數(shù)，假設(shè)：

　　[x_i = f_j(v) + varepsilon]

　　其中：(f_j(cdot))表示未知的非線性函數(shù)映射(R^{r_j} o R^d);(v in R^r)表示一個隨機變量;(varepsilon)表示隨機高斯噪聲。

　　假設(shè)X中有k簇，X的列被分成與函數(shù)(f_1(cdot), f_2(cdot), cdots, f_k(cdot))對應(yīng)的k簇，則上式等價于一個聚類問題，可看作是一個經(jīng)典的非線性子空間問題或流形聚類問題。

　　對于(j=1,2,cdots,k)，假設(shè)：

　　[f_j(v) = h(B_jv)]

　　其中，(B_j in R^{t×r_j})，(h: R^t o R^d)。因此當(dāng)獲得對(B_1, B_2, cdots, B_k)的良好估計時就足以識別正確聚類。在本文中通過多層神經(jīng)網(wǎng)絡(luò)對(x_i)進(jìn)行近似以估計(B_j)，即：

　　[x_i approx hat{h}(B_jv_i), x_i in C_j]

　　其中，(hat{h}(cdot))表示深度神經(jīng)網(wǎng)絡(luò)，(C_j)表示第j個集群。通過下式估計(B_j)：

　　[min left{frac{1}{2n}sum_{i=1}^nleft|x_i - hat{h}(B_jv_i) ight| ight}, B_j in C_j]

　　理想情況下，(B_j)對應(yīng)于(C_j)簇，(j=1,2,cdots,k)。然而，(B_j)的簇是未知的，因此無法直接求解上式。為此，需要引入新的約束條件。

　　根據(jù)估計的基(B_j)獲得正確聚類的假設(shè)，對于所有(j≠l)，(left|B_l^TB_j ight|_F)應(yīng)足夠小，則：

　　[ left|B_l^TB_j ight|_F leq epsilon]

　　其中(epsilon)為一個非常小的常數(shù)。基的集合([B_1, B_2, cdots, B_k])由k塊組成。為了方便起見，對塊中的每個單獨向量(B_j^{(u)})進(jìn)行歸一化處理，從而消除維度差異并簡化計算，即：

　　[ left|B_j^{(u)} ight|_F = 1, u=1,2,cdots,r_j, j=1,2,cdots,k]

　　結(jié)合上述三式，旨在得出正交且獨立的基。為了將新數(shù)據(jù)點(y_i subset Y in R^{d×m})表示為所學(xué)基([B_1, B_2, cdots, B_k])的線性組合，最小化重構(gòu)誤差：

　　[min_{z_{ij}}left|y_i - sum_{j=1}^kB_jz_{ij} ight|_2]

　　其中(z_{ij})表示使用(B_j)表示(y_i)的系數(shù)。

　　將上述各式擴展至深度網(wǎng)絡(luò)時，首先從舊數(shù)據(jù)中學(xué)習(xí)特征基。具體地，網(wǎng)絡(luò)通過自動編碼器重構(gòu)舊數(shù)據(jù)，獲得可靠的潛在表示。然后在單位正交約束下優(yōu)化特征基，利用學(xué)習(xí)的特征基對新數(shù)據(jù)進(jìn)行表征，提取新數(shù)據(jù)的特征。學(xué)習(xí)基B的損失函數(shù)：

　　[L_B = L_{rc} + zeta(B_{con1} + B_{con2})]

　　其中(zeta)表示一個超參數(shù)。

　　為了簡化處理，使用舊數(shù)據(jù)(x_i)代替隨機變量(v_i)，并引入重建目標(biāo)(hat{x}_i)代替原函數(shù)表示(hat{h}(B_jv_i))，其中(hat{x}_i)表示對原始數(shù)據(jù)(x_i)的重建。此外，(B_j)的維度調(diào)整為(t×d)以適應(yīng)新數(shù)據(jù)的重建表示。則重建損失函數(shù)為：

　　[L_{re} = frac{1}{2n}sum_{i=1}^nleft|x_i - hat{x}_i ight|_F^2]

　　通過最小化目標(biāo)函數(shù)，應(yīng)用約束條件，得：

　　[B_{con1} = frac{1}{2}left|B^TB cdot D ight|_F^2]

　　其中(cdot)表示哈達(dá)瑪乘積。

　　考慮到B的維數(shù)為(R^{1×kd})，D的配置至關(guān)重要。在設(shè)計時，D對角線塊中所有大小為d的元素都設(shè)為1，所有其它元素都設(shè)為0。這種設(shè)計使得D可選擇性地忽略對角線塊，避免同一塊內(nèi)的自我正交，強調(diào)不同塊之間的正交性。

　　然后，將約束條件的優(yōu)化目標(biāo)定義如下：

　　[B_{con2} = frac{1}{2}left|B^TB cdot I - I ight|_F^2]

　　其中(I in R^{kd×kd})為單位矩陣。

　　通過優(yōu)化目標(biāo)函數(shù)可從舊數(shù)據(jù)中得到B，類似地，同樣通過自動編碼器提取新數(shù)據(jù)的潛在特征。需要強調(diào)的是，為了確保模型的一致性，自動編碼器的參數(shù)直接復(fù)用舊數(shù)據(jù)的訓(xùn)練結(jié)果。在此基礎(chǔ)上，進(jìn)一步表示新數(shù)據(jù)的潛在特征，其優(yōu)化目標(biāo)定義如下：

　　[L(Z_{novel}) = frac{1}{2m}sum_{i=1}^mleft|y_i - sum_{j=1}^kB_jz_{ij} ight|_F^2 + lambdaleft|Z_{novel} ight|_P]

　　其中，(z_{ij} subset Z_{novel})，(lambda)表示一個超參數(shù)，(|cdot|_P)表示一個常用的正則化項如(l_1)或(l_2)。

　　(二)新類別樣本處理

　　在給定舊數(shù)據(jù)X和新數(shù)據(jù)Y的情況下面臨的一個主要問題是新數(shù)據(jù)中可能包含舊數(shù)據(jù)中未出現(xiàn)的類別。為了解決這一問題，在新類別樣本處理過程中，首先利用已有的有標(biāo)簽的舊數(shù)據(jù)，通過適當(dāng)?shù)膿p失函數(shù)優(yōu)化模型，使其能準(zhǔn)確識別已知類別，確保模型對舊類別具有良好的識別能力。對于無標(biāo)簽的新數(shù)據(jù)，采用成對目標(biāo)策略，衡量樣本之間的相似性，有效分組同類別的無標(biāo)簽樣本，從而在缺乏明確標(biāo)簽指導(dǎo)時提升新類別的識別效果。此外，考慮到有標(biāo)簽數(shù)據(jù)在訓(xùn)練過程中可能導(dǎo)致新舊數(shù)據(jù)學(xué)習(xí)速率的不平衡，采用最大熵正則化策略，引入正則化項，平衡舊數(shù)據(jù)與新數(shù)據(jù)的學(xué)習(xí)速率，保障模型在處理新舊類別時的穩(wěn)定性和高效性。

　　現(xiàn)已得到新數(shù)據(jù)的特征集(Z_{novel})，通過自表達(dá)結(jié)構(gòu)也可獲得舊數(shù)據(jù)的特征集(Z_{old})。再對(Z_{old})進(jìn)行譜聚類，生成偽標(biāo)簽，并通過反復(fù)優(yōu)化確保其準(zhǔn)確性和可靠性。

　　分類頭被集成到主干網(wǎng)絡(luò)中。由于新數(shù)據(jù)包括未知類別，分類頭的數(shù)量是先前識別的類別和新類別的總和，最終優(yōu)化分類器權(quán)重w。

　　分類器的目標(biāo)函數(shù)包括：帶有偽標(biāo)簽舊數(shù)據(jù)的交叉熵?fù)p失、成對目標(biāo)、正則化項，即：

　　[L_{NCD} = L_{cc} + eta_1L_p + eta_2R]

　　其中，(L_{ce})表示交叉熵?fù)p失，(L_p)表示成對目標(biāo)，R表示正則化項，超參數(shù)(eta_1)、(eta_2)分別控制成對目標(biāo)和正則化項的貢獻(xiàn)。由于所有數(shù)據(jù)都是無標(biāo)簽的，因此從根本上進(jìn)行聚類，全面衡量聚類性能。

　　1. 成對目標(biāo)

　　成對目標(biāo)衡量樣本之間的相似性，旨在使同類樣本在特征空間中更緊密聚集的同時，不同類別樣本之間的距離更遠(yuǎn)。具體地，首先構(gòu)建樣本對，并計算余弦相似度，量化它們的相似性。對于有偽標(biāo)簽的數(shù)據(jù)(Z_{old})，標(biāo)簽表示哪些樣本對屬于同一類別。對于未標(biāo)記的數(shù)據(jù)(Z_{novel})，計算每個小批次中所有樣本對之間的余弦距離，選擇最相似的鄰近樣本對，即：

　　[Z_{novel}' = underset{z_i in Z_{novel}}{cup} top<sigma(W^T cdot z_i), sigma(W^T cdot Z_{novel})>]

　　其中：(sigma(cdot))表示softmax函數(shù)，將樣本分配給已知類或新類之一;(top<cdot>)表示根據(jù)最高置信度選擇鄰居，為未標(biāo)記的實例找出最近的鄰居(Z_{novel}')。對于小批量的特征表示(Z_{old} cup Z_{novel})，最近的集合表示為(Z_{old}' cup Z_{novel}')。

　　二元交叉熵?fù)p失(Binary Cross-Entropy Loss, BCE)的改進(jìn)版本如下所示：

　　[L_p = frac{1}{m+n}sum_{z_i, z_i'}(-ln<sigma(W cdot z_i), sigma(W cdot z_i')>)]

　　其中：

　　[z_i in Z_{old} cup Z_{novel}, z_i' in Z_{old}' cup Z_{novel}']

　　m表示(Z_{old})的向量數(shù)，n表示(Z_{novel})的向量數(shù)。以在線方式更新距離和成對目標(biāo)。

　　2. 正則化

　　在多類別學(xué)習(xí)中，尤其是在引入新類別時，模型面臨的一個主要挑戰(zhàn)是如何在保持對舊類別良好識別能力的同時，有效學(xué)習(xí)新類別的信息。由于有標(biāo)簽的舊數(shù)據(jù)在訓(xùn)練過程中可能帶來較快的學(xué)習(xí)速率，這種不平衡可導(dǎo)致模型在處理新舊類別時表現(xiàn)不一致。最大熵正則化通過鼓勵模型輸出分布的高熵特性，有效避免模型傾向于將所有實例歸入少數(shù)幾類的簡單解。具體地，在給定條件下選擇熵最大的分布作為最優(yōu)分布，并使用KL散度約束模型輸出分布與先驗分布(q(c))之間的差異，其中c表示類別標(biāo)簽，從而實現(xiàn)正則化。具體正則化項公式如下：

　　[R = frac{1}{m+n}sum_{z_i}(KL(sigma(W^T cdot z_i) | q(c)))]

　　[z_i in Z_{old} cup Z_{novel}]

　　先驗分布定義為：

　　[q(c) = left[frac{1}{C}, frac{1}{C}, cdots, frac{1}{C} ight]]

　　其中，C為類別總數(shù)，表示對各類別的均等假設(shè)，并且無任何先驗偏好。

　　最大熵正則化的目標(biāo)是將模型輸出的條件概率與先驗分布(q(c))進(jìn)行對比，并最小化兩者之間的KL散度，從而使模型輸出更接近先驗分布，減少對標(biāo)注數(shù)據(jù)的依賴，提高模型的泛化性能。

　　四、實驗及結(jié)果分析

　　(一)實驗數(shù)據(jù)集

　　本文選擇在COIL-20、COIL-100、MNIST、CIFAR-10、E-YaleB數(shù)據(jù)集上進(jìn)行實驗，并對每個數(shù)據(jù)集進(jìn)行相應(yīng)的預(yù)處理。每個數(shù)據(jù)集按照類別劃分為兩個子集，一部分用于先到的舊數(shù)據(jù)，另一部分用于未知類別的新數(shù)據(jù)。數(shù)據(jù)集詳細(xì)信息如表1所示。

　　表1 實驗數(shù)據(jù)集詳細(xì)信息

　　|名稱|樣本總數(shù)|舊類|新類|大小|

　　|COIL-20|1440|15|5|32×32|

　　(二)實驗環(huán)境

　　在Ubuntu 20.04.6系統(tǒng)上完成實驗，采用兩塊NVIDIA RTX 3080 GPU(20GB顯存)，使用PyTorch框架實現(xiàn)。

　　在聯(lián)合自表示特征學(xué)習(xí)階段，采用表2所示的架構(gòu)進(jìn)行構(gòu)建。使用Adam(Adaptive Moment Estimation)優(yōu)化器，學(xué)習(xí)率為0.001。各數(shù)據(jù)集的訓(xùn)練輪次設(shè)置如下：COIL-20數(shù)據(jù)集上為25次，COIL-100數(shù)據(jù)集上為130次，MNIST、CIFAR-10數(shù)據(jù)集上均為128次，E-YaleB數(shù)據(jù)集上為175次，批次大小為360。子空間基B的維數(shù)定義為(R^{t×kd})，并在實驗中默認(rèn)將t固定為1。對舊數(shù)據(jù)的潛在特征進(jìn)行譜聚類，并使用Kuhn-Munkres算法匹配聚類標(biāo)簽與真實標(biāo)簽，將其作為偽標(biāo)簽。在新類別樣本處理階段，對不同數(shù)據(jù)集設(shè)置不同的超參數(shù)，并進(jìn)一步討論超參數(shù)的影響。

　　表2 五個數(shù)據(jù)集的特征學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)

　　|名稱|層數(shù)|編碼器|解碼器|

　　|COIL-20|卷積核：3×3;通道：15|卷積核：3×3;通道：15|

　　|COIL-100|卷積核：5×5;通道：50|卷積核：5×5;通道：50|

　　|MNIST|卷積核：(5×5,3×3,3×3);通道：(10,20,30)|卷積核：(3×3,3×3,5×5);通道：(30,20,10)|

　　|CIFAR-10|卷積核：(8×8,5×5,5×5,3×3);通道：(20,30,40,50)|卷積核：(3×3,5×5,5×5,8×8);通道：(50,40,30,20)|

　　|E-YaleB|卷積核：(5×5,3×3,3×3);通道：(10,20,30)|卷積核：(3×3,3×3,5×5);通道：(30,20,10)|

　　本文采用如下評價指標(biāo)進(jìn)行綜合評估：

　　1. 準(zhǔn)確率(Accuracy, ACC)。評估模型的整體準(zhǔn)確率，具體公式如下：

　　[ACC = frac{sum_{i=1}^c(TP_i + TN_i)}{sum_{i=1}^c(TP_i + FP_i + TN_i + FN_i)}]

　　其中，C表示類別數(shù)量，對于每個類別i，(TP_i)表示真正例數(shù)量，(TN_i)表示真負(fù)例數(shù)量，(FP_i)表示假正例數(shù)量，(FN_i)表示假負(fù)例數(shù)量。

　　2. 歸一化互信息(Normalized Mutual Information, NMI)。度量真實標(biāo)簽與預(yù)測標(biāo)簽的一致性，提供歸一化的一致性評分，具體公式如下：

　　[NMI = frac{2I(G, hat{G})}{H(G) + H(hat{G})}]

　　其中，(I(G, hat{G}))表示互信息，用于衡量真實標(biāo)簽G和預(yù)測標(biāo)簽(hat{G})之間的一致性，(H(cdot))表示標(biāo)簽的熵，用于評估標(biāo)簽的不確定性。

　　3. 調(diào)整蘭德指數(shù)(Adjusted Rand Index, ARI)。衡量聚類結(jié)果與真實標(biāo)簽的匹配程度，同時考慮隨機因素的影響，具體公式如下：

　　[ARI = frac{sum_{ij}inom{n_{ij}}{2} - frac{1}{inom{n}{2}}[sum_iinom{a_i}{2}sum_jinom{b_j}{2}]}{frac{1}{2}[sum_iinom{a_i}{2} + sum_jinom{b_j}{2}] - frac{1}{inom{n}{2}}[sum_iinom{a_i}{2}sum_jinom{b_j}{2}]}]

　　其中，(n_{ij})表示在聚類結(jié)果A中屬于第i個簇且在聚類結(jié)果B中屬于第j個簇的樣本數(shù)量，(a_i)表示在聚類結(jié)果A中屬于第i個簇的樣本總數(shù)，(b_j)表示在聚類結(jié)果B中屬于第j個簇的樣本總數(shù)，n表示樣本總數(shù)。

　　(三)對比實驗

　　首先選擇如下經(jīng)典子空間聚類方法進(jìn)行對比：DSC[6]、DCCM[13]、SSC[16]、SENet[22]、SSC-OMP(Sparse Subspace Clustering by Orthogonal Matching Pursuit)[32]、EDSC(Efficient Dense Subspace Clustering)[33]、AE+SSC、AE+EDSC、文獻(xiàn)[34]方法、AASSC-Net(Adaptive Attribute and Structure Subspace Clustering Network)[35]。

　　鑒于子空間聚類在處理新類別問題上的研究相對較少，現(xiàn)有工作中缺乏足夠的可比性，因此，本文不僅考察經(jīng)典子空間聚類方法，還與如下前沿的半監(jiān)督分類方法進(jìn)行參考性對比：文獻(xiàn)[23]方法、AutoNovel[26]、DTC(Deep Transfer Clustering)[36]、TR-SSL(Towards Realistic Semi-supervised Learning)[37]。

　　各方法在5個數(shù)據(jù)集上的準(zhǔn)確率對比如表3所示，在表中，黑體數(shù)字表示最優(yōu)值，“舊”表示舊數(shù)據(jù)，“新”表示新數(shù)據(jù)，“全”表示整個數(shù)據(jù)集。由表可知，傳統(tǒng)的子空間聚類方法在處理新類別數(shù)據(jù)時往往表現(xiàn)不佳，特別是當(dāng)新類別未包含在訓(xùn)練數(shù)據(jù)中時，通常只能在舊數(shù)據(jù)上取得較優(yōu)值。在動態(tài)引入新類別的復(fù)雜數(shù)據(jù)環(huán)境中，傳統(tǒng)方法的適應(yīng)性顯著不足。這主要是因為在子空間聚類領(lǐng)域，除了SENet以外，針對包含新類別的新樣本的相關(guān)研究較少。相比之下，JSSC在舊數(shù)據(jù)上的表現(xiàn)較穩(wěn)健，同時在處理新類別時展現(xiàn)出一定的泛化能力。特別是在新類別樣本處理中，JSSC表現(xiàn)出相對優(yōu)勢，能有效識別新類別，并在此過程中盡可能維持整體模型的性能平衡。盡管SENet的總體表現(xiàn)與JSSC較接近，但在處理新數(shù)據(jù)和新類別方面，JSSC具有明顯優(yōu)勢。

　　盡管半監(jiān)督方法能利用部分標(biāo)簽信息，在某些情況下表現(xiàn)出色，但對標(biāo)簽的依賴使其在動態(tài)數(shù)據(jù)環(huán)境中存在一定的局限性。相比之下，JSSC完全無監(jiān)督，能在無需任何標(biāo)簽信息的情況下處理新類別問題。從指標(biāo)上看，盡管在某些細(xì)節(jié)上JSSC的準(zhǔn)確率略遜于半監(jiān)督方法，但總體性能相當(dāng)接近。

　　本文方法與傳統(tǒng)子空間聚類方法在CIFAR-10數(shù)據(jù)集上的NMI和ARI值對比如表4所示，表中黑體數(shù)字表示最優(yōu)值。由表可見，盡管JSSC在舊數(shù)據(jù)上的性能未必始終優(yōu)于對比方法，但在新數(shù)據(jù)和整體數(shù)據(jù)上表現(xiàn)出色。

　　盡管JSSC通常假設(shè)類別數(shù)量已知，但在實際應(yīng)用中，常基于如下基本假設(shè)：舊數(shù)據(jù)的類別數(shù)量已知，而新數(shù)據(jù)的類別數(shù)量未知且需要進(jìn)行估計。

　　在此基礎(chǔ)上，本文嘗試首先估計新類別的數(shù)量以應(yīng)用JSSC。參考DeepDPM[15]，在CIFAR-10數(shù)據(jù)集上進(jìn)行類別數(shù)估計的模擬實驗。在訓(xùn)練過程中，初始設(shè)定類別數(shù)(K=10)，并在每隔若干個輪次后動態(tài)調(diào)整K值，每當(dāng)觸發(fā)調(diào)整步驟時，系統(tǒng)會隨機選擇執(zhí)行分裂或合并操作。

　　盡管初始類別數(shù)設(shè)定為10，但通過動態(tài)分裂與合并，最終自動調(diào)整為13個有效集群，接近實際類別數(shù)。實驗結(jié)果表明，這一動態(tài)調(diào)整策略導(dǎo)致分類準(zhǔn)確率有所下降，舊數(shù)據(jù)的準(zhǔn)確率下降約23%，新數(shù)據(jù)的準(zhǔn)確率下降約17%，整體數(shù)據(jù)的準(zhǔn)確率下降19%。

　　(四)特征可視化分析

　　在COIL-20數(shù)據(jù)集上，通過t-SNE(t-Distributed Stochastic Neighbor Embedding)進(jìn)行嵌入表示的可視化，效果如圖2所示。

　　由圖2可見，隨著訓(xùn)練輪次的增加，特征分布逐步趨于清晰可分。圖2(a)為所有COIL-20數(shù)據(jù)集的嵌入表示，(b)為舊數(shù)據(jù)(前15類)的嵌入。舊數(shù)據(jù)的嵌入雖然具有一定的可分性，但部分類別仍存在交疊。(c)-(g)為舊數(shù)據(jù)經(jīng)過不同輪次訓(xùn)練后的嵌入變化，隨著訓(xùn)練的深入，嵌入分離性逐步增強，類別區(qū)分更清晰。

　　圖2(h)為結(jié)合新舊數(shù)據(jù)的嵌入，通過訓(xùn)練后的舊數(shù)據(jù)嵌入特征表示新數(shù)據(jù)的嵌入，分別用黑色圓圈標(biāo)記5個新數(shù)據(jù)類別。由圖可看到，這些新數(shù)據(jù)依然表現(xiàn)出較優(yōu)的分離性。

　　實驗結(jié)果在一定程度上說明，在特征層面上，JSSC利用舊數(shù)據(jù)的嵌入特征也能準(zhǔn)確表示新數(shù)據(jù)。

　　(五)收斂性分析

　　下面驗證JSSC的收斂性，在5個數(shù)據(jù)集上進(jìn)行實驗，并繪制各自的收斂曲線，具體如圖3所示。由圖可見，新數(shù)據(jù)的收斂曲線波動較大，并且收斂速度相對較慢。其原因在于新數(shù)據(jù)是通過舊數(shù)據(jù)的特征表示進(jìn)行學(xué)習(xí)的，因此初期模型對新類別的特征分布不夠明確，導(dǎo)致訓(xùn)練過程中波動明顯，準(zhǔn)確率較低。隨著訓(xùn)練深入，模型逐步適應(yīng)新數(shù)據(jù)的特征，準(zhǔn)確率逐漸提高并最終趨于穩(wěn)定。盡管新數(shù)據(jù)的收斂較緩慢，但值得注意的是，無論是完整數(shù)據(jù)、舊數(shù)據(jù)還是新數(shù)據(jù)，收斂曲線最終都能達(dá)到穩(wěn)定狀態(tài)，由此表明JSSC在處理不同類型數(shù)據(jù)時都能有效收斂。

　　(六)消融實驗

　　新類別樣本處理模塊的目標(biāo)函數(shù)由帶有偽標(biāo)簽的舊數(shù)據(jù)的交叉熵?fù)p失((L_{ce}))、成對目標(biāo)((L_p))和正則化項(R)組成，始終保留(L_{ce})以維持模型對舊類別數(shù)據(jù)的識別能力。為了評估各模塊對JSSC性能的貢獻(xiàn)，在5個數(shù)據(jù)集上進(jìn)行詳細(xì)的消融實驗，結(jié)果如表5-表9所示。

　　(L_p)在處理新數(shù)據(jù)時具有顯著作用，通過學(xué)習(xí)新類別樣本的成對距離，可幫助模型更好地適應(yīng)新類別的分布，實驗表明加入(L_p)后新數(shù)據(jù)的分類性能明顯提升。

　　R在防止模型過擬合的同時，平衡舊數(shù)據(jù)和新數(shù)據(jù)的表現(xiàn)，確保在訓(xùn)練過程中，舊數(shù)據(jù)的性能在不受影響的情況下，提升對新數(shù)據(jù)的適應(yīng)能力。

　　由表5-表9可見，各模塊相互配合，使新類別樣本處理模塊在多個數(shù)據(jù)集上的表現(xiàn)較穩(wěn)定。

　　同時，在完成每個模塊的消融實驗后，進(jìn)一步對模型進(jìn)行更細(xì)粒度的考察，分析超參數(shù)(eta_1)和(eta_2)對聚類性能的影響。將這兩個超參數(shù)的取值范圍設(shè)置在0~1之間，不同超參數(shù)組合下模型的表現(xiàn)差異如圖4所示。

　　由圖4可看出，在5個數(shù)據(jù)集上，舊數(shù)據(jù)的聚類性能顯著受到(eta_2)的影響。隨著(eta_2)的增大，舊數(shù)據(jù)的準(zhǔn)確率呈現(xiàn)下降趨勢。相比之下，新數(shù)據(jù)的準(zhǔn)確率隨(eta_1)的增加而逐步提升。此外，完整數(shù)據(jù)的準(zhǔn)確率在不同參數(shù)設(shè)置下表現(xiàn)出一定的波動性，未能呈現(xiàn)出明顯的單調(diào)變化趨勢。

　　五、結(jié)束語

　　本文提出聯(lián)合自表示子空間聚類方法(JSSC)，這是一種用于新舊數(shù)據(jù)子空間聚類的框架，可有效管理類外數(shù)據(jù)，發(fā)現(xiàn)新的類別，強調(diào)舊數(shù)據(jù)與新數(shù)據(jù)之間的關(guān)系與互補性。通過聯(lián)合特征學(xué)習(xí)，JSSC能從舊數(shù)據(jù)中提取的知識為新數(shù)據(jù)提供有力支持，從而提高聚類的準(zhǔn)確性和可靠性。在處理異構(gòu)特征時，JSSC利用舊數(shù)據(jù)的潛在結(jié)構(gòu)，確保新數(shù)據(jù)的表示與之相符，實現(xiàn)更優(yōu)的聚類性能。這種跨數(shù)據(jù)關(guān)系的處理策略不僅增強對新類別樣本的檢測能力，也有效維護(hù)舊類別的聚類準(zhǔn)確性。實驗表明，JSSC在處理新數(shù)據(jù)方面性能較優(yōu)，同時保留現(xiàn)有數(shù)據(jù)的聚類準(zhǔn)確性，并驗證其在不同數(shù)據(jù)集上的有效性和適應(yīng)性。今后可考慮進(jìn)一步優(yōu)化JSSC在特定領(lǐng)域的應(yīng)用，如醫(yī)療影像和社交網(wǎng)絡(luò)數(shù)據(jù);探索自適應(yīng)學(xué)習(xí)策略，提升方法對不同數(shù)據(jù)流特征的適應(yīng)性;開發(fā)更高效的模型訓(xùn)練和推理方法，應(yīng)對大規(guī)模數(shù)據(jù)集的挑戰(zhàn)。

　　參考文獻(xiàn)

　　[1] VIDAL R. Subspace Clustering. IEEE Signal Processing Magazine, 2011, 28(2): 52-68.

　　[2] ZHANG Z, LIU B, SHAO J M. Fine-Tuning Happens in Tiny Subspaces: Exploring Intrinsic Task-Specific Subspaces of Pre-trained Language Models // Proc of the 61st Annual Meeting of the Association for Computational Linguistics (Long Papers). Stroudsburg, USA: ACL, 2023: 1701-1713.

　　[3] ZHOU Z L, DING C, LI J, et al. Sequential Order-Aware Coding-Based Robust Subspace Clustering for Human Action Recognition in Untrimmed Videos. IEEE Transactions on Image Processing, 2023, 32: 13-28.

　　[4] ZHANG C Q, FU H Z, HU Q H, et al. Generalized Latent Multi-view Subspace Clustering. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(1): 86-99.

　　[5] CUI Z H, JING X C, ZHAO P, et al. A New Subspace Clustering Strategy for AI-Based Data Analysis in IoT System. IEEE Internet of Things Journal, 2021, 8(16): 12540-12549.

　　[6] JI P, ZHANG T, LI H D, et al. Deep Subspace Clustering Networks // Proc of the 31st International Conference on Neural Information Processing Systems. Cambridge, USA: MIT Press, 2017: 2332.

　　[7] ZHOU P, HOU Y Q, FENG J S. Deep Adversarial Subspace Clustering // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2018: 1596-1604.

　　[8] LÜ J C, KANG Z, LU X, et al. Pseudo-Supervised Deep Subspace Clustering. IEEE Transactions on Image Processing, 2021, 30: 5252-5263.

　　[9] ZHANG J J, LI C G, YOU C, et al. Self-Supervised Convolutional Subspace Clustering Network // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2019: 5468-5477.

　　[10] HUANG P H, HUANG Y, WANG W, et al. Deep Embedding Network for Clustering // Proc of the 22nd International Conference on Pattern Recognition. Washington, USA: IEEE, 2014: 1532-1537.

　　[11] LI J, LIU H F, ZHAO H D, et al. Projective Low-Rank Subspace Clustering via Learning Deep Encoder // Proc of the 26th International Joint Conference on Artificial Intelligence Main Track. San Francisco, USA: IJCAI, 2017: 2145-2151.

　　[12] CHANG J L, MENG G F, WANG L F, et al. Deep Self-Evolution Clustering. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(4): 809-823.

　　[13] WU J L, LONG K Y, WANG F, et al. Deep Comprehensive Correlation Mining for Image Clustering // Proc of the IEEE/CVF International Conference on Computer Vision. Washington, USA: IEEE, 2019: 8149-8158.

　　[14] HUANG J B, GONG S G, ZHU X T. Deep Semantic Clustering by Partition Confidence Maximisation // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2020: 8846-8855.

　　[15] RONEN M, FINDER S E, FREIFELD O. DeepDPM: Deep Clustering with an Unknown Number of Clusters // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2022: 9851-9860.

　　[16] ELHAMIFAR E, VIDAL R. Sparse Subspace Clustering: Algorithm, Theory, and Applications. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(11): 2765-2781.

　　[17] FAN J C, YANG C R, UDELL M. Robust Non-linear Matrix Factorization for Dictionary Learning, Denoising, and Clustering. IEEE Transactions on Signal Processing, 2021, 69: 1755-1770.

　　[18] FAN J C, PATE L V M, VIDAL R. Kernel Sparse Subspace Clustering // Proc of the IEEE International Conference on Image Processing. Washington, USA: IEEE, 2014: 2849-2853.

　　[19] FAVARO P, VIDAL R, RAVICHANDRAN A. A Closed form Solution to Robust Subspace Estimation and Clustering // Proc of the IEEE Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2011: 1801-1807.

　　[20] LU C Y, MIN H, ZHAO Z Q, et al. Robust and Efficient Subspace Segmentation via Least Squares Regression // Proc of the 12th European Conference on Computer Vision. Berlin, Germany: Springer, 2012: 347-360.

　　[21] PENG X, FENG J S, XIAO S J, et al. Structured Autoencoders for Subspace Clustering. IEEE Transactions on Image Processing, 2018, 27(10): 5076-5086.

　　[22] ZHANG S Z, YOU C, VIDAL R, et al. Learning a Self-Expressive Network for Subspace Clustering // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2021: 12388-12398.

　　[23] HSU Y C, LÜ Z Y, KIRA Z. Learning to Cluster in Order to Transfer Across Domains and Tasks[C/OL]. [2024-10-27]. https://arxiv.org/pdf/1711.10125.

　　[24] HSU Y C, LÜ Z Y, SCHLOSSER J, et al. Multi-class Classification without Multi-class Labels[C/OL]. [2024-10-27]. https://arxiv.org/pdf/1901.00544.

　　[25] ZHONG Z, FINI E, ROY S, et al. Neighborhood Contrastive Learning for Novel Class Discovery // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2021: 10862-10870.

　　[26] HAN K, REBUFFI S A, EHRHARDT S, et al. AutoNovel: Automatically Discovering and Learning Novel Visual Categories. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(10): 6767-6781.

　　[27] ZHANG S, KHAN S, SHEN Z Q, et al. PromptCAL: Contrastive Affinity Learning via Auxiliary Prompts for Generalized Novel Category Discovery // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2023: 3479-3488.

　　[28] GU P Y, ZHANG C Y, XU R J, et al. Class-Relation Knowledge Distillation for Novel Class Discovery // Proc of the IEEE/CVF International Conference on Computer Vision. Washington, USA: IEEE, 2023: 16428-16437.

　　[29] TAO X Y, HONG X P, CHANG X Y, et al. Few-Shot Class-Incremental Learning // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2020: 12180-12189.

　　[30] NAEEM M F, XIAN Y Q, TOMBARI F, et al. Learning Graph Embeddings for Compositional Zero-Shot Learning // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2021: 953-962.

　　[31] LI W Y, LIU J, HAN B, et al. Adjustment and Alignment for Unbiased Open Set Domain Adaptation // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2023: 24110-24119.

　　[32] YOU C, ROBINSON D P, VIDAL R. Scalable Sparse Subspace Clustering by Orthogonal Matching Pursuit // Proc of the IEEE Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2016: 3918-3927.

　　[33] JI P, SALZMANN M, LI H D. Efficient Dense Subspace Clustering // Proc of the IEEE Winter Conference on Applications of Computer Vision. Washington, USA: IEEE, 2014: 461-468.

　　[34] YANG X, DENG C, ZHENG F, et al. Deep Spectral Clustering Using Dual Autoencoder Network // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2019: 4061-4070.

　　[35] PENG Z H, LIU H, JIA Y H, et al. Adaptive Attribute and Structure Subspace Clustering Network. IEEE Transactions on Image Processing, 2022, 31: 3430-3439.

　　[36] HAN K, VEDALDI A, ZISSERMAN A. Learning to Discover Novel Visual Categories via Deep Transfer Clustering // Proc of the IEEE/CVF International Conference on Computer Vision. Washington, USA: IEEE, 2019: 8400-8408.

　　[37] RIZVE M N, KARDAN N, SHAH M. Towards Realistic Semi-Supervised Learning // Proc of the European Conference on Computer Vision. Berlin, Germany: Springer, 2022: 437-455.