[논문리뷰]On Recognizing Texts of Arbitrary Shapes with 2D Self-Attention

[chjin0725]

Introduction

최근의 STR(scene text recognition)에서는 irregular shape을 가진 text를 인식하는 것에 초점을 두고었고 이를 다루는 방식에는 크게 두가지가 있다.

1. input rectification
   • spatial transformer network를 사용하여 휘어져 있는 원본 text를 canonical shape(쫙 펴져있으면서 각 글자의 너비,높이가 균일한 형태)로 펴준다.
   • 이러한 방식의 문제는 변형이 어떻게 일어날 수 있는지를 미리 정의해줘야 하고 수직으로 적혀있는 text처럼 극단적인 경우는 다루기 힘들다는 점이다.
2. 2D feature map 활용
   • height를 뭉개지 않은채(즉, 1D로 만들지 않은 상태로) 2D feature map을 뽑고 2D space에서 문자를 순서대로 인식하는 방법이다.
   • 2D feature map을 사용하는 기존 방식들의 문제는 모델이 너무 복잡하거나 각 문자에 대한 ground truth bounding box가 필요하다는 점, 그리고 spatial dependency를 고려하지 않는 점 등이 있다.

본 논문에서는 spatial dependency를 고려할 수 있는 2D self-attention mechanism을 제시한다. 여기서 사용되는 3가지의 핵심 모듈은 다음과 같다.

1. Shallow CNN block
2. Adaptive 2D positional encoding
3. Locality-aware feedforward layer

Related Works

1. Scene text recognition on arbitrary shape
   • 초기 STR에서는 text가 휘어져 있지 않게 수평으로 잘 정렬되어 있다는 가정을 사용하였다. 그래서 width방향으로의 1D feature를 뽑아서 문자를 인식하는 방식을 사용하였다. 당연히 이러한 방식으로는 휘어진 text, 회전된 text는 인식하지 못하였다.
   • 이러한 한계를 해결하기 위해 spatial transformation networks(STN)가 제시되었다. STN은 non-canonical text를 어느정도 다룰 수 있지만 변형이 어떻게 될 수 있는지를 직접 정의해줘야 하고 image interpolation으로 인해 디테일한 부분을 잃게 되는 문제가 있다.
   • 이런식으로 input단에서 normalization을 하는 방법을 대신하여 최근에는 2D feature map을 사용하여 normalization을 여러 layer에 걸쳐서 이루어 지게 하는 방식이 제안되었다.
   • 2D feature map을 활용한 이전 방식들에 대한 설명은 논문 참고.
2. Transformer for visual task
   • Transformer는 self-attention을 통하여 long-range pairwise dependencies를 고려할 수 있는 모델이다.
   • STR에서도 Transformer를 사용하려는 시도들이 있었으나 1D self-attention으로 사용하거나 decoder에만 사용하는 식으로 제한된 방식이었다.

SATRN(self-attention text recognition network) Method

1. Encoder
   1. Shallow CNN block
      • input image를 받아서 feature map을 만드는 block.
      • 자연어 처리에서와는 달리 image로 된 input은 background처럼 무시해야 하는 feature가 있기 때문에 abstraction하는 과정이 더 필요하다(예를 들어 StarBucks라는 text가 찍힌 사진에서는 StarBucks라는 text뿐만 아니라 다른 object들이나 배경이 함께 있기 때문에 이러한 불필요한 object,배경들은 noise로 취급하여 무시해야 할 필요가 있다는 뜻인 것 같음. 물론 어떤 object를 인식할 때 주위 배경도 중요할 때가 있을 수 있음에 주의하기).
      • 무시해야 하는 feature을 그대로 놔둔 채 self-attention을 하면 계산비용이 비싸지므로 CNN block을 통하여 필요한 부분만 추상화(abstraction)하여 추출한 후 쓴다.
      • 2개의 convolution layer와 2개의 polling layer로 이루어져 있다. 이름 처럼 정말 shallow한 것 같다.
   2. Adaptive 2D positional encoding(A2DPE)
      • shallow CNN으로 feature map은 self-attention block의 input으로 사용된다.
      • 다만 self-attention block은 spatial arrangement는 고려하지 못하기 때문에 2D positional encoding을 사용한다(즉 이미지안에 각 문자들이 어디에 위치해 있는지를 모르기 때문에 2D positional encoding을 이용하여 알려줘야 함).
      • 예를 들어 현재 주어진 문자의 위치를 알고 있을 때 다음 문자는 어디에 위치하는지를 알아야 한다.
      • 본 논문에서 사용한 A2DPE의 특이한 점은 scale factor를 이용하여 각 데이터마다 positional encoding값이 다르게 했다는 것이다.
      • A2DPE는 다음과 같은 방식으로 구현된다.
        
      • e_wh는 shallow CNN의 output feature map Tensor에서 (w,h)위치를 나타내는 (크기가 채널 갯수인)벡터이다.
      • 식 (1)과 (2)는 A2DPE를 적용하지 않았을 때의 self attention을 나타낸다. 앞서 얘기한 것 처럼 이렇게만 하면 spatial arrangement를 고려할 수 없다.
      • 식 (3)은 A2DPE를 e_wh에 더하여 spatial arrangement에 대한 정보를 더해주는 것을 나타낸다.
      • 식 (5)와 식(6)은 h와w에 대한 positional encoding을 만드는 식이다. Transformer논문에서의 방식과 똑같다.
      • 다만 식(4)를 보면 각 position embedding vector에 scale factor를 곱해주고 있는 점이 다르다.
      • 식 (7), (8)에서 이러한 scale factor를 계산하는 방식을 정의하고 있다.
      • E는 feature map이고 g는 global average pooling이다. W는 linear layer를 나타낸다.
      • scale factor를 이용하여 h와 w에 대해 적합한 position embedding vector를 학습시키기 위한 의도로 보인다. 즉, text의 방향성에 따라 다른 positional encoding vector를 적용시키려는 것이다.
   3. Locality-aware feedforward layer
      • self attention은 short term dependency뿐만 아니라 long term dependency도 무리없이 학습할 수 있다.
      • 다만 short-term dependency를 학습할 때 여러 겹의 self-attention block을 쌓는 것은 비효율 적일 수 있다.
      • 이러한 점을 보완하기 위해 3x3 conv를 활용하여 short-term dependency를 잡도록 설계되었는데 이 부분이 Locality-aware feedforward layer이다.
        
      • (a)가 기존의 feedforward layer의 방식이고 (b), (c)가 본 논문에서 제안하는 방식이다. (c)가 가장 효율이 좋았다고 한다.
2. Decoder
   • 기존 Transformer의 Decoder와 똑같다.

Experiments

1. Benchmark Datasets
   1. regular datasets
      • IIIT5K : 3000개의 웹 이미지들. 수평으로 바르게 정렬되어 있는 text들이다.
      • Street View Text(SVT) : Google Street View에서 얻은 647개의 이미지. blur와 noise가 심하다.
      • ICDAR2003 : 867개의 cropped text image.
      • ICDAR2013 : 1015개의 이미지. 대부분 ICDAR2003의 이미지파일과 겹친다.
   2. irregular datasets
      • ICDAR2015 : 야생(?)에서 찍은 2077개의 이미지.
      • Street View Text Perspective (SVTP) : 645개의 이미지. 정면에서 찍지 않아서 굴곡이 있는 이미지들이다.
      • CUTE80 : 288개의 휘어진(StarBucks 로고 처럼) text들.
2. Evaluation
   
   • 다른 모델들과 비교하여 모든 dataset에서 더 높은 점수를 얻었다.