인공지능(AI) 모델이 일반적인 업무에서 의사 결정을 수행하는 등 더 핵심적인 업무로 확산되고 있다. 하지만, 이미 결정한 최종 결과의 근거와 도출과정의 타당성을 제공하지 못하고 있다. 또 오류 원인을 즉각적으로 알지 못하고 어떻게 이런 결정을 했는지 개발자조차 파악하지 못하는 것을 블랙박스라고 한다.

최근 컴퓨팅 성능 향샹과 잇달은 고성능 AI 칩셋 출시로 엣지에서 수많은 데이터가 생성되면서 AI 모델이 더 정교해지고 뚜렷한 성과도 나오고 더 많은 비즈니스 기회도 생겨나고 이로 인해 AI 사용이 계속 증가할 것으로 전망된다. 그러나 군사, 의료 등 아주 중요한 분야에서는 모델에 블랙박스의 존재로 AI에 의존할 수 없다는 인식 또한 커지고 있다. 

여기에, AI가 내린 결정이나 답을 AI 스스로가 사람이 이해하는 형태로 설명하고 제시할 수 있는 설명가능한 AI(eXplainable Artificial Intelligence, 이하, XAI)가 핵심적인 비즈니스에 필수적으로 대두되고 있다. 

미국 방위고등연구계획국(DARPA)는 지난 2016년 XAI 투자 프로그램을 발표했으며 국내 KAIST, UNIST를 포함한 세계의 유명 대학 및 연구 기관 등도 XAI 개발에 박차를 가하고 있다. 다양한 문제를 정밀하게 예측하는 AI 활용이 본격화 되고 있는 것이다.

XAI는 학습 과정 중 데이터로부터 다양한 패턴을 추출·분석해 드러나지 않았던 법칙, 전략 등을 도출할 수 있다. 이에 따라 사용자들 사이에 신뢰를 쌓고 조직이 이러한 모델을 사용해 개발하는 제품에 대한 신뢰와 자신감이 높아지는 것이다.

특히 AI가 사람에게 의사결정의 이유를 설명하게 되면서 질병 진단과 금융거래, 조사 보고서 등에서 그 결과에 대한 신뢰성이 높아지고 활용도도 더욱 높아질 것으로 보인다.

예를 들어, 전자 의료기록이나 뇌 영상 이미지, 생체 데이터 등을 자동으로 분석해 췌장암이나 치매 같은 질병을 진단할 수 있다. 그러나 이것으로 끝나는 것이 아니라 진단 결과에 '왜' 췌장암이나 치매로 판단하는지 파악할 수 있어 AI의 진단에 대한 신뢰도를 높이는 것이다.

또 천연자원 구매나 주식 거래 등에서도 사고파는 결정에 대한 보고서를 받을 수 있으며, 금융에 적용하면 정확한 분석과 이를 바탕으로 예측이 가능해 지는 것이다.

결론적으로 '설명가능한 AI(XAI)'는 기존 인공지능의 다양한 모델에서 과정과 판단 결과를 논리적으로 설명하는 것이 가능해진 것으로 AI 이면의 신뢰성을 채우려는 일환으로 금융, 보험, 군사 등 다양한 분야에서 사용자로부터 신뢰를 얻고 있고 사회적 수용을 위한 공감대 형성과 더 나은 경험을 제공하기 위해 서비스를 향상시키고 있다.

현재, XAI는 다양한 비지니스에서 AI 시스템의 성능 저하 요인을 파악하고 학습 모델 간 정량화 된 비교를 통해 최적의 학습 모델을 도출하는데 효과적으로 활용되고 있다. 특히, AI 시스템의 성능 향상과 기존에 알고리즘의 복잡성으로 인해 알 수 없었던 최종 결과의 근거를 제시하고 인간과 인공지능 간 상호작용을 보다 효율적으로 높이는 도구로 사용되기 시작한 점도 주목할 만하다.