컴퓨터 시스템이 인간의 말을 이해하는 능력은 상당히 잘되어 가고 있지만, 몇 가지 큰 약점도있다. 특히 여러 의미와 복잡한 의미를 가진 단어의 취급에 문제가있는 것은 사실이다. ELMo라는 새로운 시스템 은 중요한 맥락을 단어에 추가하여 전반적인 이해를 이끌려 고하는 것이다.
문제를 설명하기 위해 "queen"(여왕)라는 단어를 생각해 보자. 당신과 내가 얘기 할 때 내가 그 단어를 말할 경우, 당신은 문맥에서 그것이 엘리자베스 여왕거나 체스 또는 벌집의 여왕하거나 RuPaul 's Drag Race를 가리키고 있는지를 판단 할 수있다.
여러 의미를 가질 수있는 이러한 단어의 특성은 다의성 (polysemy)이라고 부른다. 그리고 사실, 그것은 예외적 인 것이 아니라 관례 적으로 정해지는 같은 것이다. 일반적으로 문구에 따라 그 해석이 모호하지 않게 결정할 수있다 - 예를 들면 "God save the queen!"(여왕 폐하 만세!)와 "I saved my queen!"(여왕의 말을 지켰다거야!) 등 - 물론 이것은 주제, 문장의 구조, 반응이 기대되고 있는지 등을 전하고있다.
그러나 기계 학습 시스템은 이러한 수준의 유연성을 가지고 있지 않다. 그들은 단어를 표현하기 쉬운 방법은 훨씬 단순하다. 그 단어의 모든 다른 정의를 바라보고, 어떤 평균적인 복잡도 것들을 골라. 그러나 그것은 진정한 복잡성을 반영하는 것은 아니다. 올바른 말의 의미를 알 수 중요 할 때 거기에 의존 할 수 없다.
그러나 ELMo (Embeddings from Language Models : 언어 모델에서 포함)는 시스템이 모호함을 더 쉽게 처리 할 수 있도록한다. 그 유용성의 증거로서 그것은 지난 NAACL에서 최우수 논문상을 수상했다. 그 핵의 부분에서 훈련 데이터 (텍스트의 거대한 컬렉션)을 이용하여 단어가 여러 의미를 가지고 있는지, 그리고 그 다른 의미가 언어 속에서 어떻게 전해지는지가 판단된다.
예를 들어, 위의 "queen"의 예문을 인간이 읽을 때는 서로 비슷하고는 있지만, 왕족의 이야기를하고 있는지, 게임의 이야기를하고 있는지의 차이를 구별 할 수있을 것이다. 이것은 그들이 쓰는 것 중에는이 "queen"가치의 의미인지, 독자의 문맥 감지 엔진 판단하는 단서가 포함되어 있기 때문이다.
학습 대상 텍스트 코퍼스에 수동으로 주석을 통해 이러한 차이를 시스템에 알릴 수는있다. 하지만 어떤 "queen"이 어떤 뜻인지 주석을 제공하기 위해 수백만 단어에 대해 수작업을하고 싶은 사람이 있을까?
"우리는 인력에 의한 주석의 필요성을 크게 줄일 수있는 방법을 모색하고 있었다"고 설명하는 것은이 논문의 대표 저자 인 Mathew Peters이다. "목표는 레이블이없는 데이터에서 많은 것을 배울 것이 었습니다."
또한 그는 기존의 언어 학습 시스템은 "한 단어의 모든 의미를 하나의 벡터로 압축했습니다"라고 말했다. "그래서 우리는 기본적인 전제를 의심에서 시작했습니다 : 하나의 벡터를 학습하는 것이 아니라 무한 개의 벡터를 갖게하자. 왜냐하면 그 의미는 문맥에 크게 의존하고 있기 때문입니다. "
ELMo 단어가 나타나는 완전한 문장을 검색하여이 정보를 학습한다; 그것은 king (왕)이 queen과 함께 언급 될 때, 그것은 왕족 또는 게임의 이야기이며, 꿀벌의 이야기가 아니다 것을 학습하는 것이다. 그것이 pawn (체스)을 볼 때 그것을 체스하다고 판단하고 jack을 볼 때 트럼프하다고 판단하는 등이다.
ELMo를 탑재 한 언어 엔진은 수년 동안 언어를 해석 한 경험을 가진 인간만큼 우수하지는 않지만, 다의성에 대한 지식을 가지고있는 것만으로도, 언어의 이해에 많은 도움이.
뿐만 아니라 단어의 의미에 대해 전체를 고려하여 그 문장의 구조가보다 쉽게 매핑되어 자동으로 어구 및 품사를 레이블링 할 수있게된다.
ELMo 방식을 채용 한 시스템은 최신 자연 언어 알고리즘에 대한 것도 품질을 25 % 향상 시킨다는 즉효성이 보였다 - 이것은이 분야는 매우 큰 진전이다. 그리고 그것은 더 우수하고 더 상황을 의식한 학습 스타일이긴하지만 근본적으로 기존의 것과 다르지 않기 때문에 기존의 상용 시스템에 쉽게 통합 할 수있다.
사실, Microsoft는 이미 그것을 Bing에서 사용하고있는 것으로 알려져있다. 결국, 검색 의도를 결정하는 것이 중요하다. 그러기 위해서는 쿼리 (쿼리)를 정확히 읽을 필요가있다. ELMo는 Allen Institute의 AI에 대한 다른 결과와 마찬가지로 오픈 소스이기도하다. 만약 자연 언어 처리를 필요로하는 기업이라면이를 체크 할 필요가있을 것이다.
논문은 ELMo을 영어 시스템에 이용하기위한 근간 부분이 나타나고있다. 그러나 그 힘은 본질적으로 가져온 데이터를 자세히 읽어 들임으로써 얻을 수있는 것이므로, 그것을 다른 언어뿐만 아니라 다른 분야에도 적용 할 수없는 이유는 (이론적으로) 존재하지 않는다. 즉, 만약 신경 과학의 방대한 텍스트를 입력하면 시스템은 temporal 이라는 단어가 시간에 관한 것인지 뇌 부위 (측두)을 의미하는 것 가운데를 구별 할 수있게된다 것이다.
이것은 기계 학습과 언어의 관계가 급속히 발전하고 있음을 보여주는 일례에 불과하다. 기본적인 번역이나 문장의 읽기 등은 이미 충분히 도움이 있지만, 자연 언어 인터페이스를 통해 컴퓨터가있는 것은 아직 많이 것이다 - 만약 방법 만 알면.