[解決済み] セグメンテーション」「シーンラベリング」と比較した「セマンティックセグメンテーション」とは？

質問

セマンティックセグメンテーションとセグメンテーションは違うのですか？また、シーン ラベリングやシーン パーシングとの違いはありますか？

ピクセルレベルのセグメンテーションとピクセル単位のセグメンテーションの違いは何ですか？

(横から質問です。このようなピクセル単位のアノテーションがある場合、オブジェクト検出はタダでできるのでしょうか、それともまだ何かやることがあるのでしょうか?）

定義のソースを教えてください。

セマンティックセグメンテーションを使用しているソース。

• Jonathan Long、Evan Shelhamer、Trevor Darrell。 意味的セグメンテーションのための完全畳み込みネットワーク . CVPR, 2015およびPAMI, 2016
• Hong, Seunghoon, Hyeonwoo Noh, and Bohyung Han: "Decoupled Deep Neural Network for Semi-supervised Sepantic Segmentation." arXivプレプリントarXiv:1506.04924 , 2015.
• V. Lempitsky, A. Vedaldi, and A. Zisserman: A pylon model for semantic segmentation. In Advances in Neural Information Processing Systems, 2011.

シーンラベリングを使用しているソースです。

• Clement Farabet、Camille Couprie、Laurent Najman、Yann LeCun。 シーンラベリングのための階層的特徴量の学習 シーンラベリングのための . パターン解析と機械知能, 2013 に掲載されました．

pixel-level" を使用するソース。

• Pinheiro, Pedro O., and Ronan Collobert: "From Image-level to Pixel-level Labeling with Convolutional Networks." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015. (参照 http://arxiv.org/abs/1411.6228 )

pixelwiseを使用しているソースです。

• Li, Hongsheng, Rui Zhao, and Xiaogang Wang: "Highly efficient forward and backward propagation of convolutional neural networks for pixelwise classification." arXiv プレプリント arXiv:1412.4526 , 2014.

Google Ngrams

最近はシーンラベリングよりもセマンティックセグメンテーションの方が使われているようです。

どのように解決するのですか？

セグメンテーションについて。 は、画像をいくつかの "まとまった" 部分へ分割することですが がない場合 これらの部分が何を表しているのかを理解する試みはありません。最も有名な作品のひとつは（しかし間違いなく最初ではない）。 Shi and Malik "Normalized Cuts and Image Segmentation" PAMI 2000」です。 . これらの作品は、色、テクスチャ、境界の滑らかさといった低レベルの手がかりという観点から、「一貫性」を定義しようとするものです。これらの作品をさかのぼると ゲシュタルト理論 .

一方 "セマンティックセグメンテーション" は、画像を意味的に意味のある部分に分割することを試みます。 と を使って、各部分をあらかじめ決められたクラスの1つに分類します。また、（画像全体/セグメントではなく）各ピクセルを分類することでも、同じ目的を達成できます。この場合、ピクセル単位での分類を行うことになり、同じ最終結果につながりますが、少し異なる経路になります...。

つまり、セマンティックセグメンテーション、シーンラベリング、ピクセル単位の分類は、基本的に同じ目的を達成しようとしていると言えるでしょう。その目標に到達するために多くのパスを取ることができ、これらのパスは用語のわずかなニュアンスにつながります。