研究者表示，這一工作有望讓大規模的智能垃圾分類檢查成為可能，提升垃圾分類回收的效率，減少環境污染。

近些年來，社會的發展帶來了生活垃圾的爆發性增長，實行垃圾分類既可以減少對自然環境的破壞，同時對垃圾中的可回收資源進行回收再利用，也帶來更大經濟效益。垃圾分類的的檢查工作是其中的重要一環，只有正確的分類才能提升回收效率和避免環境污染。傳統的分類檢查方法依賴于人工的翻閱。而現有的圖像檢查方法也需要打開垃圾袋并且把垃圾攤開。這些檢查方法存在兩大缺點：

翻開垃圾袋的過程比較繁瑣，且對于接觸垃圾的人存在污染、傳播疾病的風險；

復雜繁多的垃圾容易產生視線遮擋，容易出現遺漏和錯判。

考慮到上述的問題，我們提出了以下的解決方案：

提出了第一個基于 X 光圖片的、實例級別的垃圾分割數據集 (WIXRay)。數據集中包含5,038張 X 光圖片，共30,845個垃圾物品實例。對于每個實例，我們標注了高質量的類別、bbox 以及實例級別的分割。

在現有實例分割方法的基礎上針對 X 光垃圾圖片遮擋嚴重、有穿透效果的特點進行改進，提出了從易到難的策略，設計了 Easy-to-Hard Instance Segmentation Network (ETHSeg)，利用高置信度的預測結果來幫助嚴重重疊區域的難預測物體的分割。另外，我們還增加了一個全局輪廓模塊來更好地利用 X 光下物體的輪廓信息。

論文鏈接：https://openaccess.thecvf.com/content/CVPR2022/papers/Qiu_ETHSeg_An_Amodel_Instance_Segmentation_Network_and_a_Real-World_Dataset_CVPR_2022_paper.pdf

項目主頁：https://lingtengqiu.github.io/2022/ETHSeg/

GitHub 地址：GitHub - lingtengqiu/ETHSeg: ETHSeg: An Amodel Instance Segmentation Network and a Real-world Dataset for X-Ray Waste Inspection (CVPR2022）

一、基于 X 光圖片的實例分割垃圾數據集 WIXRay (Waste Item X- Ray) 此前有關垃圾分類的數據集均為稀疏的、無遮擋的 RGB 圖片，這些數據的識別效率低，實際操作難度大。而已有的 X 光圖像實例分割數據集多為安檢物品數據集，并且這些數據集鮮有嚴重遮擋的情況。為了得到真實有效的垃圾分類數據集，我們提出了用 X 光掃描垃圾袋來獲取稠密、有遮擋的垃圾識別數據集。 數據收集 收集地點：近 8,000 居民的學校社區 垃圾類別。我們根據現有的垃圾分類方法將所有的垃圾分為可回收垃圾，廚余垃圾，有害垃圾和其他垃圾。在此基礎上，我們把收集到的最常見的垃圾分為十二小類：

可回收垃圾：塑料瓶，易拉罐（金屬罐），紙盒，玻璃瓶，木棒（筷子），餐具；

廚余垃圾：主要為食物殘渣；

其他垃圾：暖寶寶，干燥劑，飯盒；

有害垃圾：電池（充電寶），燈泡。

具體的數量統計如下：

注：對于部分分布不平衡的類別，我們在數據采集時人為添加了事先準備的物品，例如有害垃圾中的兩類。 數據標注 對于每一個垃圾物體，我們都標注了它們的類別、bbox 和實例級別的 mask。由于 X 光有穿透性， 我們可以在 X 光圖像上看到重疊的物體。 因此，與傳統實例分割標注不同，我們對于所有有遮擋的物體都標注了完整的形狀。平均每張圖片標注了6.13 個實例，遠高于此前的 X 光數據集（e.g. HiXray 2.27 個） 二、Easy-to-Hard 分割網絡 (ETHSeg) 現有的實例分割方法大多針對自然圖片設計，并沒有考慮 X 光圖像的穿透特性和一些嚴重遮擋的情況。因此，針對這兩點，我們設計了 ETHSeg 來解決 X 光下垃圾物體實例分割的問題，主要的方法有兩點：（1）顯式地利用全局輪廓引導模塊來獲取物體的輪廓信息；（2）提出了從易到難的分解策略 (ETH) 來幫助分割遮擋區域難以分割的物體。

Baseline: Bilayer convolution network (BCNet) BCNet 是一個自上而下的實例分割的 SOTA 方法。該方法使用了雙層 GCN 結構來解決物體間遮擋的問題。盡管該方法在自然圖片中取得了很好地效果，但由于 X 光圖像的穿透效果和嚴重的遮擋，該方法在我們的數據集上效果不佳。我們在 BCNet 基礎上提出了改進。 BCNet 的分割網絡可以被表示為：

其中 X ∈ R (HW )×C 為輸入的特征，A ∈ R (HW )×(HW ) 為自注意力模塊，W 是可學習的變換矩陣，σ 表示帶有 ReLU 的歸一化層，Z 為更新后的特征。F 會計算兩個節點 X_i 和 X_j 的點乘相似度，θ 和 ? 為 1 × 1 卷積。 BCNet 會將提取的 ROI 特征 X_roi 輸入到第一個 GCN 層得到更新的特征 Z_0 并且求出遮擋物（occluder）的輪廓和 mask。之后更新的特征 Z_0 會被加到 ROI 特征上作為第二層 GCN 的輸入（X_f = X_roi + Z_0）。第二個 GCN 層會進一步求出被遮擋物（occludee）的輪廓和 mask。 全局輪廓引導模塊 BCNet 的方法雖然能夠通過兩層 GCN 以及輪廓和 mask 的監督解決一些局部的遮擋問題，但是該方法的輪廓監督只使用了 ROI 部分的局部監督，這對于嚴重遮擋而且物體輪廓比較清晰的 X 光圖像效果不佳。 因此，我們設計了一個全局輪廓引導模塊來更好地利用 X 光圖片中的輪廓信息。我們將 backbone 得到特征上采樣并預測一個全局輪廓圖作為并行任務。輪廓圖的監督使用高斯分布的熱圖表示。 從易到難的分解策略 針對數據集中的嚴重遮擋問題，受到人類在物體識別時，先認出簡單、清晰的物體，再分辨識別困難的物體的這種方式的啟發，我們提出了從易到難的分解策略。我們在分割前先根據置信度將所有物體的 bbox 分成 easy 和 hard 兩個集合。 對于 easy 集合中的 bbox，我們直接求出它們的mask，同時使用 GCN 層求出更新后的特征（Z^i）_e：

easy 集合中求得的 mask 將被用于增強自注意力網絡來幫助 hard 集合的分割。 與 BCNet 不同的是，我們從 easy 和 hard 集合中提取的特征是屬于不同的 ROI，因此不能將兩組特征直接相加。因此，我們首先根據 ROI 坐標將 easy 集合中預測的 mask 映射到整張圖片的相應位置，并使用 element-wise max 與全局的 mask P 融合。P 采用軟掩碼，表示每個像素包含于物體的概率。利用軟掩碼 P ， 我們提出了 mask-guided attention (A_g) 來引導 hard 集合的實例分割：

其中⊙ 表示 Hadamard product。之后同樣求出 hard 實例的 mask 和更新后的特征 Z^j 并更新全局軟掩碼 P ：

三、實驗結果基準實驗 我們在 WIXRay 數據集上進行了大量的實驗，包括了 one-stage 和 two-stage 的經典模型和 SOTA 模型。所有的模型均采用 ResNet-101-FPN 作為骨干網絡并使用 COCO 預訓練模型。實驗得到的指標顯示我們提出的新數據集對于一般的實例分割模型具有很大的挑戰性。我們提出的 ETHSeg 模型在 mask mAP 指標上超過原來的 SOTA BCNet 1.74 點，在 bbox mAP 上也有所提升。

分割結果展示 如圖所示，相比于一般的實例分割模型或 BCNet，ETHSeg 在結果上漏檢更少，在重疊的區域的分割準確度更高。

消融實驗 實驗表明，在相同的檢測結果下，我們提出的兩個結構（Global Structure Guidance 和 Easy-to-Hard Dissembling）對于實例分割的結果均有提升。若同時使用兩個模塊，則 mask mAP 有進一步地提升（總共 + 1.32）

四、結論 針對現有的人工和視覺進行垃圾檢查的缺陷，我們提出用 X 光圖像幫助垃圾分類的檢查：

我們提出了第一個基于 X 光圖片的、實例級別的垃圾分割數據集 (WIXRay)；

針對 X 光垃圾圖片遮擋嚴重、有穿透效果的特點進行了改進。我們提出了從易到難的策略， 設計了 Easy-to-Hard Instance Segmentation Network (ETHSeg)，并在 WIXRay 數據集上達到了 SOTA。

審核編輯 ：李倩