오픈소스 솔루션기업 레드햇과 일본 최대 통신 기업 NTT가 차세대 통신 표준 협의체 아이온(IOWN, Innovative Optical and Wireless Network) 이니셔티브의 일환으로 엔비디아 및 후지쯔와 협력해 엣지(edge)에서 실시간 생성형 AI 데이터 분석을 향상하고 확장할 수 있는 솔루션을 공동 개발했다.

레드햇은 이 솔루션은 아이온 글로벌 포럼(IOWN Global Forum)에서 개발한 기술을 사용해 쿠버네티스 기반 하이브리드 클라우드 애플리케이션 플랫폼인 레드햇 오픈시프트 상에 구축됐으며, 실제 실행 가능성 및 사용 사례에 대해 ‘아이온 글로벌 포럼의 개념 증명을 획득했다고 27일 밝혔다.

AI 센싱 기술과 네트워킹 혁신이 가속화되고 특히 데이터 소스가 빠르게 확장됨에 따라, 네트워크 엣지에서 데이터를 평가하고 분류하는데 있어 AI 분석 활용의 중요성은 더욱 커지고 있다. 그러나 AI 분석을 대규모로 사용하는 것은 속도가 느리고 복잡해, 새로운 AI 모델과 추가적인 하드웨어로 인한 관리 비용과 소프트웨어 유지 비용 등이 증가하게 된다. 하지만, 더 많은 원격지에서 엣지 컴퓨팅이 가능하게 되면 AI 분석을 센서에 더 가깝게 배치함으로써 지연 시간을 줄이고 대역폭을 늘릴 수 있다.

이에, 레드햇과 NTT은 엣지 AI분석 솔루션을 개발하게 됐다. 이 솔루션은 아이온 APN(All-Photonics Network, 올 포토닉스 네트워크)과 아이온 DCI(Data-Centric Infrastructure, 데이터 중심 인프라) 내의 데이터 파이프라인 가속 기술로 구성돼 있다. NTT의 AI용 가속 데이터 파이프라인은 APN을 통한 RDMA(Remote Direct Memory Access, 원격 직접 기억장치 접근) 방식을 채택해 엣지에서 대량의 센서 데이터를 효율적으로 수집하고 처리한다.

또한 레드햇 오픈시프트의 컨테이너 오케스트레이션 기술은 지리적으로 분산돼 있는 원격 데이터 센터들에 걸쳐 있는 가속 데이터 파이프라인 내에서 워크로드를 보다 유연하게 운영할 수 있도록 지원한다. 레드햇과 NTT는 이번 솔루션이 엣지에서 이뤄지는 실시간 AI 분석을 위한 저지연성과 낮은 전력 소비량을 확보할 수 있음을 성공적으로 입증했다고 설명했다.

양사는 개념 증명(PoC)을 통해 일본 요코스카시를 센서 설치 거점으로, 무사시노시를 원격 데이터센터로 하여 두 곳 모두 APN으로 연결된 상태에서 실시간 AI 분석 플랫폼을 평가했다.

그 결과, 많은 수의 카메라를 포함한 경우에도 AI 분석을 위한 센서 데이터를 집계하는 데 필요한 지연 시간이 종래의 AI 추론 워크로드 대비 60% 줄었다. 또한, 엣지의 각 카메라 별 AI 분석에 필요한 전력 소비량이 기존 기술보다 40% 절감됐다.

이 실시간 AI 분석 플랫폼을 사용하면 CPU의 병목 현상 없이 더 많은 수의 카메라를 수용할 수 있도록 GPU를 확장할 수 있다. 시범 계산에 따르면 1000대의 카메라를 수용할 수 있는 규모일 경우, 전력 소비량을 60%까지 줄일 수 있을 것으로 기대된다.

카츠히코 카와조에(Katsuhiko Kawazoe), NTT 수석 부사장 겸 아이온 글로벌 포럼 회장은 "이번 아이온 개념 증명은 AI의 집단 지성을 지원하는 AI용 그린 컴퓨팅을 향한 중요한 진전이며, 우리는 포토닉스-전자 융합 기술을 컴퓨팅 인프라에 적용하여 아이온의 전력 효율을 더욱 개선하고 있다"면서 "아이온을 통해 넷 제로(net zero)의 지속 가능한 미래를 구현하고자 한다"고 밝혔다.