[논문읽기/시계열데이터를 이미지화하기] Sensor Classification Using Convolutional Neural Network by Encoding Multivariate Time Series as Two-Dimensional Colored Images

해당 글은 논문 [Sensor Classification Using Convolutional Neural Network by Encoding Multivariate Time Series as Two-Dimensional Colored Images] 내용을 기반으로 작성된 글입니다. 

또한, 본 글은 논문에서 multivariate 시계열 데이터를 2D 컬러 이미지로 변환시킨 과정까지만을 요약하고 있습니다. 
(이미지를 ConvNet에 학습시켜 classification을 진행한 내용은 포함시키지 않았으므로 자세한 내용이 궁금하신 분은 해당 논문을 찾아 읽어보시면 좋겠습니다)

 

Methodology

(1) dimension reduction of multi variate time series by Piecewise Aggregate Approximation (PAA)

(2) image encoding with GDF / MTF

(3) image concatenation

(4) ConvNet classification model training

 

 

 

 

 

1.       Dimension Reduction of multi variate time series by Piecewise Aggregate Approximation (PAA)

• 시계열의 길이가 n일 때, 변환한 이미지의 크기는 n x n 사이즈
• 각 batch 시계열의 길이가 다를 경우, 모델에 학습시키기 위해 이미지 사이를 동일하게 맞춰 주어야 하기 때문에 해당 논문에서는 Piecewise Aggregate Approximation (PAA)를 사용해 시계열을 이미지로 인코딩하기 이전에 원본 시계열의 차원 축소를 진행해주었다
• 시계열을 이미지화하기 이전에 PAA를 사용해 전처리하는 방식은 관례적인(conventional) 방식이다

1)      PAA는 원본 시계열 데이터를 동일하게 각각 N 길이의 시계열로 분할한다

• 여기서, N은 차원이 축소된 시계열의 길이를 의미하며, [1,원본 시계열의 길이] 사이에 존재하는 값이어야 한다.

2)      그 다음, N 차원으로 축소시키기 위해 분할한 각 시계열의 평균값(mean)이 원본 시계열 값을 대체한다

• 긴 시계열을 짧게 축소할수록 데이터 손실이 발생할 수밖에 없다

 

 

2.       Time Series Data Encoding As Images

1)      시계열 데이터를 다음 3가지 기법으로 image encoding을 진행 (파이썬 pyts 팩키지 사용)

①       Gramian Angular Summation Field (GASF)

②       Gramian Angular Difference Field (GADF)

③       Markov Transition Field (MTF)

• 2D 컬러 이미지(Red, Blue)로 변환됨
• GAF기법을 사용하면 다시 시계열로 되돌릴 수 있다
• MTF의 경우에는, 다시 시계열로 되돌릴 수 없다는 한계점이 있다.
• 또한, as MTF is formed by the probabilities of element moving, it is not as symmetrical as GAF method
• GAF, MTF 모두 color를 가진 colormap으로 표현될 수 있다
• 큰 값을 가질수록 빨간색에 가깝게, 작은 값일수록 파란색에 가깝게 표현된다.

2)      차원 하나를 더해 RGB(Red, Green, Blue) 컬러가 표현될 수 있도록 함

 

 

3.       Image Concatenation

• 이전 단계에서 GDF와 MTF 기법을 통해 각 univariate 시계열마다 하나씩의 이미지를 변환했기 때문에 최종적으로 원본 시계열은 multivariate하므로 다수의 이미지를 출력 받게 된다
• 이 이미지를 한꺼번에 처리하기 위해서는 다수의 이미지를 하나로 통합하는 과정이 필요하다

1)      각각의 univariate 이미지를 3가지 RGB 단색(monochroic) 이미지로 분할

2)      각 단색 이미지는 통합되어 큰 이미지로 변환된다

• 이렇게 RGB로 맞추는 방식은 네트워크 구조의 input channel의 수를 동일하게 유지하기 위함이다

• 이미지를 통합했을 때는 “spurious edge” 문제가 발생할 수 있다. 이는 각각의 작은 이미지일 때의 모서리(edge)였던 부분들이 통합되면서 전체 이미지의 모서리가 아닌 하나하나 작은 가짜(spurious) 모서리가 남아 발생하는 문제이다.
• 따라서, 해당 논문에서는 실제 이러한 spurious edge가 classification 성능에 영향을 주는지를 실험한 결과, 영향을 주지 않았다.

 

Reference

Sensor Classification Using Convolutional Neural Network by Encoding Multivariate Time Series as Two-Dimensional Colored Images