월드컵 시즌이므로, 기계 학습 기사도 축구를 거론하지 않을 수 없다. 그 멋진 게임에 오늘 공물은 경기의 2D 영상에서 3D 콘텐츠를 만들고 이미 증강 현실 설치있는 사람이라면 그것을 커피 테이블 위에서도 관전 할 수있는 시스템이다. 아직 그만큼 '리얼'은 아니지만, TV보다 재미있는 것이다.
그 "Soccer On Your Tabletop" (탁상 축구) 시스템은 경기 영상을 입력 받아 그것을주의 깊게 보면서 각 선수의 움직임을 쫓아 그리고 선수들의 동상을 3D 모델로지도한다. 그 모델은 여러 축구 비디오 게임에서 추출 된 움직임을, 필드 위의 3D 표현으로 변환 한 것이다. 기본적으로 그것은 PS4의 FIFA 18과 현실의 영상을 조합 한 것으로, 일종의 미니어처 현실 / 인공 하이브리드를 만들어 내고있다.
입력 프레임] [선수 분석 깊이 추정]
소스 데이터는 2 차원으로 해상도가 낮아 끊임없이 움직이고 있기 때문에, 그런 것으로부터 리얼하고 거의 정확한 각 선수의 3D 이미지를 재구성하는 것은 어려운 작업이다.
목하 그것은 완전히 멀리이다. 이것은 아직 실용 단계에서는 없다고 느끼는 사람도있을 것이다. 캐릭터의 위치는 추계이라 조금 이동하고, 볼은 잘 보이지 않는다. 그래서 모두가 필드에서 춤을 추고있는 것처럼 보인다. 아니, 필드 위의 환희의 춤도 향후 구현 과제에 포함되어있다.
하지만 그 아이디어 는 대단하며, 아직 제약은 크지 만 이미 프로덕션 시스템이다. 앞으로 여러 각도에서 찍은 게임을 입력 할 수 있다면 그것을 텔레비전 방송 생방송에서 얻는 등, 경기 종료 몇 분 후에는 3D의 재생을 제공 할 것이다.
더군다나 고급 기술을 상상하면 한 곳의 중심적인 위치에서 게임을 여러 각도에서 촬영 / 보는 것도 가능할 것이다. 텔레비전의 스포츠 방송에서 가장 재미없는 것은 반드시 한 장면 == 원 앵글 인 것이다. 하나의 장면을 동시에 여러 각도에서 자유롭게 볼 수 있으면 최고 일 것이다.
그러기 위해서는 완전한 홀로그램 디스플레이가 싸게 구할 수있게되어, 전체 앵글 버전의 실황 중계가 방송되게되는 것이 필요하다.
이 연구는 솔트 레이크 시티에서 열린 Computer Vision and Pattern Recognition 컨퍼런스 에서 발표 된, Facebook 및 Google과 워싱턴 대학의 협력이다.