구글 클라우드 TPU로 빅스비 AI 트레이닝 속도 향상

출처 : Google

Samsung Cloud TPUs  |  Press Releases  |  Google Cloud

 

Samsung Bixby training gets 18x speed boost with Cloud TPU | Google Cloud Blog

 

지난 10일, 구글 클라우드 보도 자료를 통해 공개된 정보에 따르면 삼성전자의 빅스비 AI 모델 트레이닝 관련하여 구글 클라우드 TPU를 활용한 결과 음성 인식 훈련 속도를 18배 향상시켰다고 합니다.

올해 초 삼성전자는 빅스비에서 사용할 Transformer 신경망 아키텍처를 기반 E2E(End to End) 자동 음성 인식(ASR) 엔진을 개발했으며, 더 많은 훈련 데이터가 필요로 하여 이를 해결하기 위해 클라우드 TPU를 채택했다고 합니다.

클라우드 TPU 시스템은 구글 클라우드에서 AI 서비스를 통해 최첨단 머신 러닝 모델을 실행할 수 있도록 설계된 ASIC(Application-Specific Integrated Circuit / 애플리케이션 별 집적회로)를 기반으로 하고 있으며 딥러닝에 최적화되어있습니다.

최대 2,048개의 코어와 32TiB의 메모리를 포함하고 있으며 확장성이 뛰어나서 ML 연구원과 엔지니어가 더 강력하고 정확한 모델을 구축하고 기업이 AI 애플리케이션을 더 빨리 출시할 수 있도록 지원하여 시간과 비용을 절감하게 해줍니다.

빅스비는 이를 활용하여 언어 서비스를 확대하며 급증한 음성 인식 데이터를 빠르게 처리할 수 있었고, 그 결과 클라우드 TPU에 배포한 이후 모델 학습 속도와 18배 향상되었다고 합니다.

기술 블로그에 보다 세부적으로 설명되어 있는 사항을 살펴보면, 빅스비는 그동안 DNN-HMM(Deep Neural Network-Hidden Markov Model) 하이브리드 ASR 시스템 아키텍처를 사용하고 있었습니다. DNN-HMM 시스템 같은 경우 음성 인식 파이프라인에 음향, 발음 및 언어 모델이 통합되어 있으나, 교육 과정이 복잡하여 전반적인 정확도를 최적화하기 어려웠다고 합니다.

이를 극복하기 위해 빅스비 팀은 E2E 딥러닝 접근 방식으로 엔진을 개선하기로 결정, Transformer 아키텍처를 기반으로 단일 심층 신경망 모델을 활용하여 단순화된 프로세스와 방대한 훈련 데이터를 얻을 수 있었다고 하며, 새로운 언어를 지속적으로 확장하면서 중요해진 라이브 서비스를 최신으로 유지하기 위해 클라우드 TPU를 탐색하기로 결정했다고 합니다.

이 과정에서 GPU에서 TPU로 마이그레이션이 진행되었으며, 순조롭게 진행되는 듯했으나 GPU에서 다시 TPU 학습 모델을 테스트할 때 추론을 실행한 후 계속 반복되는 문제가 발생되었다고 합니다. 이는 TPU에서 학습된 모델을 GPU에서 문장의 끝을 제대로 예측할 수 없어 발생한 문제로 오디오 끝에 추가 패딩을 도입하여 학습 코드를 수정하지 않고 손쉽게 해결되었다고 합니다.

보다 상세하고 정확한 내용은 위의 링크를 통해서 확인해 주시길 바랍니다.