출처 : http://jp.techcrunch.com/2018/01/03/2018-01-02-these-psychedelic-stickers-blow-ai-minds/
기계 학습 시스템은 유능하기는하지만 반드시 스마트 아니다. 그들에게는 상식이 없다. 그 것을 틈타 것이다 연구자들이 화상 인식 시스템에 대한 재미있는 공격 기법을 만들었다. 그들이 만든 특수 스티커는 AI에게있어서 너무 재미 있고 흥미로운 때문에 결국 거기에 아무것도 찾을 수없는 것이다. 그 스티커가 액세서리로 유행 할 것이다, 그리고 나는 느낀 것은 어째서 일까?
컴퓨터 비전은 대단히 복잡한 문제이며 , 인간조차 올바른 이미지 인식에 대한 인식의 지름길을 필요로한다. 그래서 컴퓨터가 그러해도 놀랄 일이 아니다.
이러한 시스템이 가지고 지름길 중 하나가 모든 픽셀을 동등하게 중요시하지 않는 것이다. 예를 들어, 집의 이미지가 있고, 그 뒤에 푸른 하늘 전면에 초원이 있다고하자. 몇 가지 기본적인 규칙은 컴퓨터에 이것이 - 하늘과 잔디가 찍혀 있어도 - 하늘과 잔디의 이미지가 아니라는 것을 알 수있다. 그래서 컴퓨터는 그들을 배경으로 간주하고 중앙의 형상 분석에 많은 CPU 사이클을 소비한다.
그래서 Google의 연구자들은 생각 (PDF) : 만약 그 지름길이 혼란하여 컴퓨터가 집을 무시하고 뭔가 다른 것에주의를 기울이고 경우 어떻게 될까?
상대가되는 시스템을 훈련하고, 여러가지 특징이있는 작은 원형 [위 그림 왼쪽]을 만들게 대상 시스템을 혼란 시키려했다. 원형은 다양한 색상과 모양, 크기가 그 어느 것이 이미지 인식 시스템의주의를 끄는 방법을 확인한다. 그 AI는 특정 커브에 주목 한 라든가 특정 색상 조합을 배경이 아닌 것으로 간주했다 등등.
그렇게해서 오른쪽 그림과 같은 환상적인 소용돌이가 여러 완성되었다.
그리고 그것을 시스템이 알고있는 것 ... 예를 들어 바나나 ... 옆에 놓으면 [위 그림 제목 이미지] 바나나 것은 바로 잊어 그것이 소용돌이의 이미지라고 인식한다. 또한 그림에 이름있는 스티커를 만들어 기존의 이미지와 일치하면 다른 결과가된다.
연구자들은이를 이미지 별이 아닌 시스템 별을 목표로 갔다. 즉, 화상 인식 시스템 (특정 이미지가 아닌)이 이상한 소용돌이 어느 것을 보여도 혼란 한 결과를 출력한다.
이것은 도대체 무엇을위한 연구 일까? 구체적으로 예를 들어, 몇 개의 이런 스티커를 옷에 붙이고 공항 감시 카메라 앞을 지날 때면 화상 인식 시스템은 그 사람이 도주 중 강도 범인이라도 간파 할 수없는 것이다 (물론 범인의 얼굴 등은 사전에 훈련되어있다). 그러나이 시스템 속이고 성공하기 위해서는 그 시스템을 잘 알고, 대량의 스티커로 사전에 테스트해야 겠지만.
컴퓨터 비전 시스템을 속이는 또 다른 방법은 이미지에 몇번이나 작은 변경하면 해당 일부러 놓인 화소 따라 총의 이미지를 거북이로 인식하기도한다. 그러나 이러한 극단적으로 국소화 된 "동요와 혼란"에 의해 새로운 위협이 만드는 나오는 것이있을 수있다.
우리가 실험 한 시스템 공격은 현실 세계에서도 효과적이다. 게다가 스티커는 겉보기 사람과 가축 무해 것을 이용한다. 이러한 결과는 공격을 오프라인으로 만들어 놓고 그것을 광범위하게 공유 할 수 있다는 것을 보여주고있다.
인간은이 정도의 패치를 느낄 수 있지만, 그래도 그 의도는 알아 차리지 않고 예술의 일종 궁금 할 것이다. 그래서 작은 동요 혼란에 대한 방어만으로는 불충분하다. 더 국소 적으로 큰 동요와 혼란이 인식 분류 시스템을 무능하게 할 수도있을 것이다.
연구진은이 실험 결과를 롱 비치에서 열린 Neural Information Processing Systems 컨퍼런스에서 발표했다.