https://techcrunch.com/2017/10/04/the-hard-tech-behind-googles-simple-clips-camera/?ncid=rss
어쩌면 구글의 하드웨어 이벤트에 가장 큰 놀라움은 , 비디오 및 이미지를 최대 3 시간까지 캡쳐 한 후 자동으로 가장 적합한 순간을 선택할 수있는 소형 독립형 AI 구동 카메라 인 클립 (Clips) 의 출시였다 . Clips가 시장에서 얼마나 잘할 지 확신 할 수는 없지만 기술적으로는 매력적인 제품입니다.
클립 제품의 저스틴 페인 (Juston Payne)과의 대화에서 Clips는 Pixel의 부속 장치가 아니라는 점을 반복해서 강조했습니다. "그것은 무엇이든에 부속품이다, 나는 말할 텐데. 독립형 카메라입니다. 새로운 종류의 카메라와 모든 디지털 카메라가 컴퓨터 나 전화의 액세서리가되는 한도 마찬가지 "라고 그는 말했다. "그 이유는 정보가 장치에 내장되어 이러한 샷을 언제 찍을 지 결정하기 때문이며, 이는 사용자에게 전체 제어권을 제공하기 때문에 매우 중요합니다."
따라서 Google 홈과 같은 클라우드에 완전히 의존하는 제품과는 달리 클립은 거의 자체 포함 된 단위입니다. 이미지를 가져 와서 (아마도 아이들과 놀고있는 동안 거실에 놓는 동안), 사전 훈련 된 기계 학습 알고리즘을 실행하여 최상의 이미지를 찾은 다음 자동으로 클립을 생성하고 최상의 이미지를 선택합니다.
즉, iOS 사용자이든 안드로이드 사용자이든 상관없이 (장치의 클립을보고 공유 할 수있는 앱이 있지만) 상관없이 작동합니다. 그리고이 장치는 버튼 하나 (수동으로 녹음 시작)와 간단한 디자인으로이 단순함을 반영합니다.
"우리는 프라이버시와 제어에 대해 매우 깊이 관여하고 있으며 전체 프로젝트에서 가장 어려운 부분 중 하나였습니다"라고 Payne은 말했습니다. "실제로는 아주 최근까지 데스크톱을 최소한으로 필요로하거나 문자 그대로 서버 팜을 필요로하여 이미지를 찍고 컨볼 루션 신경 네트워크를 실행하고 의미 론적 분석을 수행 한 다음 무언가를 내뱉습니다."
최근에야 실리콘이 진화하여 Google과 같은 회사가이 모든 것을 클립과 같은 소형 장치에 담을 수있게되었습니다. 실제로 클립을 잡을 때 놀라 울 정도로 작습니다 (실망스럽게도 클립이있는 작은 플라스틱 하우징에 넣을 수는 있지만 내장 클립이있는 것은 아닙니다). 무게의 대부분은 아마 약 3 시간 동안 지속되어야하는 배터리 일 것입니다. 카메라 유닛 자체는 꽤 광각의 모습을 보여줍니다.
카메라 모델을 실행하기 위해 Google 은 Intel의 Movidius 와 극히 저전력의 VPU (vision processing unit)를 사용했습니다.
"클립 팀과의 협력을 통해 클립과 같은 소형 장치에 Google이 얼마나 많은 정보를 담아 낼 수 있었는지를 눈여겨볼 수있었습니다."라고 Intel New Technology의 Movius 부사장 겸 총책임자 인 Remi El-Ouazzane이 말했습니다. 그룹, 오늘 자신의 회사 발표 . "이 지능형 카메라는 Myriad VPU 기술을 개발할 때 우리가 꿈꾸었던 온보드 인텔리전스 수준을 진정으로 대표합니다."
하지만 모든 AI 모델을 교육하고 클립을 교육해야합니다. Google은 실제로 비디오 편집자와 이미지 평가자 군대와 협력하여 모델을 교육했습니다. "대단한 ML (기계 학습) 모델은 없습니다. 바닥에 기어 다니는 아기가있을 것 같습니다. 아마도 좋을 것 같습니다."Payne은 설명합니다. 그래서 Google은 많은 자체 비디오를 수집했습니다. 그런 다음 직원의 편집자가 컨텐츠를보고 자신이 좋아하는 것을 말하면서 라벨 제작자는 클립을보고 어떤 모델이 더 마음에 들었는지 결정했습니다. 이것이 모델의 교육 자료가되었습니다.
시간이 지남에 따라이 장비는 사람들이 관심있는 사람과 관심있는 이미지를 학습합니다.
그러나 여기에도 단점이 있습니다. 현재 Clips는 사람과 애완 동물 (또는 실제로는 애완용 돼지가 아닌 개와 고양이)의 이미지를 찾는 데 적합합니다. 휴가를 즐기고 최고의 이미지를 찾을 수있는 장치는 아닙니다. 시간이 지남에 따라 Google은 기기에서 더 많은 상황에 대한 지원을 포함하도록 기기 학습 모델을 확장 할 계획이지만 현재는 기본적으로 어린 가족을위한 기기로 가장 적합합니다. "우리는 초점부터 시작해서 거기에서부터 시작하겠습니다."라고 Payne은 설명했습니다. "지금은 일반적으로 세계를 이해하지 못한다."
클립에 클립은 세계의 더 많은 것을 이해할 것이다. $ 249에, 확실히 비싼 장치, 나가 클립에 붙잡고 베비 샤워 기입에 일정한 모습을 보인 경우에 나는 놀래 지 않을 텐데.