출처 : https://jp.techcrunch.com/2018/06/17/2018-06-16-facebooks-new-ai-research-is-a-real-eye-opener/
적목 현상과 렌즈 플레어를 제거하는 등 사진을 조작하고 더 잘 보이는 방법은 많이있다. 그러나 지금까지, 윙크는 좋은 스냅 샷의 완고한 원수 인 것은 잘 알려져있다. 하지만 그것도 Facebook에 의한 연구 에 따라서 변화 할지도 모른다. 이 기술은 닫힌 눈을 뜬 눈으로 놀라 울 정도로 그럴듯하게 대체 할 수있는 것이다.
그것은 프로그램이 특정 영역을 유추하여 채우기 불필요한 객체를 지워 버리는 지능형 '인 페인팅 "예보다 훨씬 앞선 것이다. 예를 들어 Adobe는 "컨텍스트를 의식한 채우기 '에서 비슷한 일을하고 있고, 사용자가 원하지 않는 대상, 예를 들면 튀어 나온 나뭇 가지와 구름을 매우 숙련 비유를 사용하여 마치 없었던 것처럼 지울 수 를 가능하게하고있다.
그러나 도구의 대체 능력을 초월 해 버리는 경우도있다. 그 중 하나가 '눈'의 대체이다. 눈의 세부 다양성을 지닌 자연은 시스템이 그것을 리얼하게 변경 또는 생성하는 것을 실질적으로 어렵게하고있다.
아마 역사상 다른 누구보다도 많은 윙크를하고있는 사람의 사진을 보유하고있는 Facebook 은이 문제에 돌진하게했다.
그것은 GAN (Generative Adversarial Network)을 기본으로하고있다. 이것은 본질적으로 자신의 창조물이 실물하다고 생각하는 자신을 속이려고하는 기계 학습 시스템이다. GAN은 시스템의 일부가 얼굴 등을 인식하는 것을 학습하고 시스템의 다른 부분은 인식 부분에서 의견을 바탕으로 점차 현실이되어가는 이미지를 반복 생성한다.
왼쪽에서 오른쪽으로, "원형"이미지 소스 이미지, Photoshop 눈 엽니 알고리즘, 그리고 Facebook 방법.
이 경우 네트워크는 열린 눈을 그럴듯하게 인식하고 복제하도록 훈련되어있다. 이것은 이미 어느 정도 할 수 있을지도 모르지만, 오른쪽의 예에서 알 수 있듯이 기존의 방법은 아직 개선의 여지가있다. 기존의 알고리즘은 나머지 이미지와 일관성을 그다지 고려하지 않고, 사람들의 눈에 붙여 넣기를 할 것 같다.
이것은 기계의 단순함에 유래하는 것이다 : 열린 눈 주위의 피부 색깔을 바꾸거나하지 않는다는 직관적 인 이해를 가지고 있지 않은 것이다 (그 점에 관해서 말하면, 원래 그들은 눈과 색상 등 대한 직관적 인 이해를 하나도 가지고 있지 않지만).
Facebook의 연구자가 한 것은 눈을 뜬 대상자를 나타내는 "원형"데이터를 가져 오는 것이었다. 거기에서 GAN은 어떤 눈이 얼굴에 탈을 학습 할뿐만 아니라 특정 개인의 눈이 어떤 모양과 색상 등이 될지도 학습한다.
결과는 매우 현실적인 것이다 : 색상 불일치와 명백한 이음새가없는, 왜냐하면 네트워크는 인간이 그렇게 보이지 않는 것을 알고 있기 때문이다.
테스트 해 본 결과, 사람들은 만들어진 '눈 열려있는 사진'을 진짜라고 착각했다. 즉 절반 이상의 경우 어느 쪽이 어느 쪽인지를 구별 할 수 없었던 것이다. 사진이 확실히 변경되는 것을 알고 있지 않으면, 아마 뉴스 피드를 스크롤하는 동안 그것이 나와서도 알 수 없을 것이다. 하지만 간디는 조금은 이상하게 보인다.
아직도 가끔 실패 할 수도있다. 사람의 눈이 부분적으로 머리로 덮여 있었을 경우에는 묘한 결과를 생성하고 색상을 정확하게 다시 생성 할 수없는 경우도있다. 그러나 그들은 수정 가능한 문제이다.
사람의 다른 사진을 확인하여 최신 사진 윙크 부분을 대체 해주는 Facebook에서 '눈을 뜨면'자동 유틸리티의 도움은 상상할 수있는 것 같아요. 그것은 조금 기색 행동도 있지만, 이러한 방식은 실로 Facebook 같다. 그럼 적어도 몇 장의 단체 사진을 구할 수는있을 것이다.