출처 : https://techcrunch.com/2018/09/06/huawei-caught-cheating-performance-test-for-new-phones/
아난드 테크 (AnandTech) 가 휴대 전화 제조사가 앱 성능 테스트를 위해 성능을 향상 시킨 것을 알게 된 후 태블릿 및 전화 성능 벤치 마크 앱인 3DMark에 속한 UL은 자사의 "최고의 스마트 폰"리더 보드에서 새로운 화웨이 휴대폰을 삭제 했다.
삭제 된 전화는 P20, P20 Pro, Nova 3 및 Honor Play입니다.
"자체 실험실에서 장치를 테스트하고 규칙을 위반했다고 확인한 후, 영향을받는 모델을 삭제하고 성능 순위에서 제거하기로 결정했습니다." 라고 성명서에서 발표했습니다 .
Huawei 사건의 경우 규칙은 사실 약간 흐릿합니다. 휴대 전화는 작업 부하를 기반으로 성능을 조정할 수 있으므로 다른 응용 프로그램의 성능이 최고조 또는 최저치가되지만 벤치 마크 응용 프로그램의 성능 최고치를 하드 코딩 할 수는 없습니다. Huawei는 벤치 마크 응용 프로그램 실행 중에 보인 성능의 최고치가 AI에 의해 결정된 직관적 인 점프라고 주장합니다. 그러나 벤치 마크 테스트의 레이블이없는 버전이 실행되면 전화기에서이를 인식 할 수 없으므로 결과적으로 성능이 저하됩니다.
다시 말해서, 전화기는 결국 똑똑하지 않습니다.
Huawei는 이러한 규칙을 극복 한 최초의 회사는 아닙니다. 삼성 은 2013 년에도 마찬가지 였고 아이러니하게도 이러한 벤치 마크 테스트의 결과는 실제로 전화의 전반적인 성능 측면에서 거의 의미가 없습니다.
스트레스가 심한 동안 전화가 어떻게 작동 하는지를 지적 할 수는 있지만 평균 성능은 개별 테스트를 통해 가장 잘 발견됩니다.
화웨이는 즉각적인 논평 요청을하지 않았다.
업데이트 : 목요일 밤 늦은 논평에서 화웨이 대변인은 TechCrunch에 다음과 같이 말했다.
Huawei는 특히 스마트 폰 벤치 마크와 사용자 경험간에 직접적인 관련이 없기 때문에 항상 높은 벤치 마크 점수를 추구하는 대신 사용자 경험을 우선시합니다. Huawei 스마트 폰은 AI와 같은 첨단 기술을 사용하여 CPU, GPU 및 NPU를 포함한 하드웨어 성능을 최적화합니다.
일반적인 벤치마킹 시나리오에서 Huawei의 소프트웨어가 벤치마킹 애플리케이션을 인식하면 "성능 모드"에 지능적으로 적응하고 최적의 성능을 제공합니다. Huawei는 "성능 모드"에 대한 액세스를 사용자에게 제공하여 필요할 때 최대한의 전력을 사용할 수 있도록 계획하고 있습니다.
업계 선두 주자 인 Huawei는 파트너와 협력하여 사용자 경험을 정확하게 평가할 수있는 최상의 벤치마킹 표준을 찾고 있습니다.
이미지 크레딧 : JOHANNES EISELE / AFP / 게티 이미지 / 게티 이미지