[AI News] 23.05.17 “AI의 미래는 하이브리드입니다”... 온 디바이스 인공지능이 ‘생성 AI’ 확장을 가능하게 하는 방법

본문 요약

- 생성 인공지능(Generative AI) 채택이 기록적인 속도로 증가하고 컴퓨팅 요구가 증가함에 따라 하이브리드 처리가 그 어느 때보다 중요해짐.

- 기존 컴퓨팅이 메인프레임과 클라이언트의 성능을 강화하기 위해 서버에서 처리하는 방식 씬 클라이언트(Thin Clients)에서 클라우드와 엣지 디바이스의 조합으로 진화한 것처럼 AI가 확장되고 잠재력을 최대한 발휘하려면 클라우드와 디바이스 간에 AI 프로세싱이 분산되어야 한다.

- 하이브리드 AI (Hybrid AI) 아키텍처는 클라우드에서만 처리하는 것이 아니라 클라우드와 엣지 장치 간에 AI 워크로드를 분산하고 조정한다. 클라우드 및 엣지 장치(스마트폰, 자동차, 개인용 컴퓨터 및 IoT 장치)는 함께 작동하여 보다 강력하고 효율적이며 고도로 최적화된 AI를 제공한다.

- 여기서 가장 큰 동기는 비용 절감이다. 예를 들어, 생성 AI 기반 검색 쿼리당(질의당) 비용은 기존 검색 방식에 비해 10배 정도 증가할 것으로 추정되며, 이는 수많은 생성 AI 애플리케이션 중 하나에 불과하다.

- 하이브리드 AI를 통해 생성 AI 개발자와 제공업체는 엣지 디바이스에서 사용할 수 있는 컴퓨팅 기능을 활용하여 비용을 절감할 수 있다. 하이브리드 AI 아키텍처(또는 디바이스 내에서만 AI를 실행)는 글로벌 규모로 성능, 개인화, 개인 정보 보호 및 보안의 추가적인 이점을 제공할 수 있다.

- 이러한 아키텍처에는 모델 및 쿼리 복잡성과 같은 요인에 따라 클라우드와 장치 간에 처리를 분산하는 다양한 오프로드 옵션이 있을 수 있다. 예를 들어 모델 크기, 프롬프트 및 생성 길이가 특정 임계값보다 작고 허용 가능한 정확도를 제공하는 경우 추론이 디바이스에서 완전히 실행될 수 있다. 작업이 더 복잡하다면 클라우드와 디바이스 전반에서 모델을 실행할 수 있다. 

- 하이브리드 AI를 사용하면 디바이스와 클라우드에서 동시에 모델을 실행할 수도 있다. 디바이스는 가벼운 버전의 모델을 실행하고 클라우드는 전체 모델의 여러 토큰을 병렬로 처리하고 필요한 경우 디바이스의 응답을 수정한다.

엣지 디바이스로 생성 AI 확장

하이브리드 AI의 잠재력은 강력한 생성 AI 모델이 더 작아지고 온디바이스 처리 기능이 지속적으로 향상됨에 따라 더욱 커지고 있다. 매개변수가 10억 개 이상인 AI 모델은 이미 클라우드와 유사한 성능 및 정확도 수준으로 휴대폰에서 실행되고 있으며, 가까운 시일 내에 100억 개 이상의 매개변수를 가진 모델이 디바이스에서 실행될 예정이다.

이처럼 하이브리드 AI 접근 방식은 스마트폰, 노트북, 확장 현실 헤드셋, 자동차 및 IoT를 포함한 거의 모든 생성 AI 애플리케이션 및 디바이스 세그먼트에 적용할 수 있다. 이 접근 방식은 생성 AI가 전 세계적으로 기업과 소비자의 요구를 확장하고 충족하는 데 매우 중요한 것이다.

퀄컴, 5월 연구 보고서 : 'AI의 미래는 하이브리드입니다(The future of AI is hybrid)'

https://www.qualcomm.com/content/dam/qcomm-martech/dm-assets/documents/Whitepaper-The-future-of-AI-is-hybrid-Part-1-Unlocking-the-generative-AI-future-with-on-device-and-hybrid-AI.pdf

출처 : 인공지능신문(https://www.aitimes.kr)

 

추가 조사

Hybrid AI 란?

여기서 하이브리드는 클라우드와 온 디바이스로 딥러닝 연산을 함께 처리한다는 뜻이다.

기존의 인공지능(AI) 기술은 모바일 등 스마트기기에서 수집한 정보를 중앙 클라우드 서버로 전송해 분석하고 다시 기기에 보내는 방식으로 진행되어 왔다. 이와 달리 온 디바이스(On-device) AI는 이름 그대로 멀리 떨어진 클라우드 서버를 거치지 않고 스마트기기 자체적으로 정보를 수집하고 연산할 수 있다.

 

Hybrid AI 의 장점

1. 단말 기기 내부에서 정보를 처리하기 때문에 저지연을 통한 빠른 작업이 가능

온 디바이스 AI는 단말 기기 내부에서 정보를 처리하기 때문에 저지연을 통한 빠른 작업이 가능해진다. 중앙 서버를 통하지 않기 때문에 클라우드 기반 AI의 문제점으로 대두되었던 보안 문제도 해결할 수 있다. 또한 별도의 네트워크가 필요 없기 때문에 인터넷 연결이 어려운 상황에서도 실시간 번역과 같은 작업이 가능하다.

2. 사용자와 직접 접촉하는 하드웨어인 엣지 디바이스(AI가 결부된 형태의 온 디바이스 AI)는 환경을 직접 경험하고 정보를 처리하기 때문에 실제 사용하는 사람에게 더욱 적합한 결정을 내릴 수 있다.

기존에는 클라우드 서버가 정보를 처리하는 뇌라면 휴대폰이나 태블릿 PC 등은 사용자와 접점을 이뤄 정보를 수집하는 눈과 귀와 같은 역할을 담당한다. 하지만 이러한 처리 방식은 멀리 떨어져 있는 인공지능이 실제 정보가 발생하고 있는 현장을 본질적으로 이해하기는 어렵다는 한계가 있었다. 그러나 사용자와 직접 접촉하는 하드웨어인 엣지 디바이스에 AI가 결부된 형태의 온 디바이스 AI는 환경을 직접 경험하고 정보를 처리하기 때문에 실제 사용하는 사람에게 더욱 적합한 결정을 내릴 수 있다는 장점이 있다.

이에 최근에는 딥러닝(Deep Learning) 알고리즘과 온 디바이스 AI와 같은 혁신기술 연구에 집중하고 있다. 대표적으로 지연 없이 실시간으로 다양한 연산을 처리하는 시스템 반도체 신경망처리장치(NPU, Neural Processing Unit) 를 탑재하면 모바일 기기 자체에서 기존 대비 7배 빠른 인공지능 연산 처리가 가능해졌다.

 

3줄 요약

1. 빠르게 데이터를 처리하기 위해 온 디바이스 형태로 AI 모델을 돌린다는 점이 흥미로웠다. 사실, 요즘 많은 AI 를 탑재한 제품을 개발하는 기업에서 시도하고 있는 부분이라고 생각한다.

2. iot, 로봇에 탑재되기 위해 가볍고 효율적이고 최적화된 AI 모델을 개발하는 것이 트랜드가 아닐까 생각된다. 

3. 요즘 재미있게 보는 분야인 만큼 빅 teacher 모델의 피처를 distilation 해서 작은 student 모델로 학습시켜서 큰 모델의 성능을 내는 Knowledge Distillation에 대해 공부 해봐야겠다 ^__^