비지도 NLP는 챗봇의 다음 기술 혁명이 될까요?

챗봇 학습에서 비지도 NLP가 주목받고 있습니다. 비지도 NLP가 무엇이며 기존의 지도 NLP와 어떻게 다른지 알아보세요.

오늘날 상품을 구매하거나 서비스를 이용할 때 챗봇과 ‘대화’하는 것은 더 이상 낯선 일이 아닙니다. 챗봇은 자주 묻는 질문에 관한 정보를 제공하거나 사람의 판단 없이 자율적으로 수행할 수 있는 간단한 작업을 처리하는 데 매우 유용한 도구입니다. 일반적으로 챗봇은 지도 학습 기반의 자연어 처리(NLP)를 통해 ‘대화’하는 방법을 배웁니다. 그러나 비지도 NLP라는 새로운 기술이 부상하고 있으며, 데이터 처리에 새로운 가능성을 열 잠재력이 있다는 평가를 받고 있습니다. 이 글에서는 두 기술의 차이와 기업이 비지도 NLP로 전환해야 할지 여부를 설명합니다.

챗봇의 기존 학습 시스템인 지도 NLP

개념 설명

자연어 처리는 컴퓨터가 인간의 언어를 이해하고 해석하도록 돕는 AI의 한 분야입니다. NLP는 자연어 이해(NLU)와  자연어 생성(NLG)이라는 두 가지 주요 부분으로 구성됩니다. 전자는 컴퓨터가 주어진 텍스트의 의미를 이해하도록 돕고,  후자는 해석된 의미에 따라 자연스러운 응답을 생성합니다. NLP는 챗봇과 같은 기계가 문맥 의존성이 높은 질문을 학습하고 이에 적응하도록 돕습니다.

지도 NLP 챗봇은 초기의 스크립트 기반 챗봇에 인공지능(AI) 기술을 더해 발전한 형태입니다. 초기의 스크립트 기반 챗봇은 사전에 정의된 질문과 표현이 정확히 일치하는 경우에만 응답할 수 있었습니다. 따라서 새로운 내용이나 새로운 표현 방식이 인식될 때마다 해석을 분석하고 추가하며 조정하기 위해 전문가의 상당한 감독이 필요했습니다. 

지도 NLP 기반 챗봇이 작동하려면 특정 목적(이 경우 챗봇 학습)에 맞게 일정한 조건에 따라 정제되고 라벨이 정확하게 지정된 대량의 데이터를 확보해야 합니다. 챗봇을 지도하는 방식은 교사가 수업 시간에 학생들에게 처음부터 끝까지 지침을 제공하는 것과 비슷합니다. 시스템은 자동 응답이 요구 기준에 부합할 때까지 입력(라벨이 지정된 데이터)을 지속적으로 분석하고 출력(원하는 응답)을 추정합니다.

장점 & 단점

지도 NLP 시스템을 갖춘 챗봇은 충분히 큰 데이터베이스를 확보하면 사람과 매끄럽고 자연스러운 대화를 나눌 수 있습니다. 또한 각 개인과의 대화를 개인화하여 높은 수준의 고객 상호작용과 만족도를 이끌어낼 수 있습니다. Apple, Google, Amazon과 같은 기술 선도 기업들은 이러한 개인화 요소를 중요하고 필수적인 것으로 만들었습니다(Forbes, 2021).

그러나 이러한 유형의 챗봇에는 여전히 몇 가지 단점이 있습니다. 첫째, 충분히 분류된 풍부한 데이터 소스가 제공되어야만 제대로 작동하며, 이러한 데이터를 구축하는 데는 많은 비용이 들 수 있습니다. 둘째, 높은 수준의 결과를 유지하려면 지도 학습을 자주 수행해야 하고 수준 높은 전문가도 필요합니다. Rulai는 상당한 규모의 챗봇 시스템을 구축하는 데 평균적으로 수개월이 걸릴 수 있다고 지적했습니다. 또한 새로운 데이터를 처리하도록 가르쳐야 하므로 시간이 지날수록 시스템 유지 관리에 많은 인력이 투입됩니다. 따라서 비지도 NLP는 자연어 처리 분야의 새로운 진일보라 할 수 있습니다.

비지도 NLP와 더욱 정교하고 비용 효율적인 고객 소통 방식

개념 설명

비지도 NLP 학습은 인간의 언어를 학습하는 분야의 최신 흐름입니다. 여전히 머신러닝의 핵심 메커니즘을 기반으로 작동하지만 입력 데이터를 분류할 필요가 없습니다. 스스로 정보를 분석하고 파악한 패턴을 바탕으로 적절한 응답을 제공할 수 있습니다. 이는 기계가 예시 답변 없이 스스로 문맥을 학습하고 적절한 응답을 제공한다는 뜻입니다. 이러한 자율적인 학습 과정 때문에 ‘비지도’라고 부릅니다. 따라서 전문가의 감독 필요성을 최소한으로 줄일 수 있습니다. Forbes(2021)에 따르면 구축 시간도 수개월에서 수시간으로 단축됩니다.

장점과 단점

비지도 NLP 학습은 더 적은 학습 시간과 인력으로 더욱 빠르고 지능적인 분석을 제공하므로 사실이라고 믿기 어려울 정도로 좋아 보입니다. 이는 Covid-19 팬데믹으로 생겨난 ‘뉴노멀’, 즉 비대면 상호작용이 증가하고 그 문맥적 복잡성도 높아지는 상황에 기업이 적응할 수 있는 해결책이 될 수 있습니다(Forbes, 2021). 정의되지 않은 데이터의 양은 늘어나는 반면, 이를 처리하고 응답하는 데 주어지는 시간은 크게 줄어들 것입니다. 따라서 이러한 현상에 대응하기 위해서는 민첩한 시스템이 절실히 필요합니다.

하지만 몇 가지 단점도 있습니다. 첫째, 비지도 NLP 학습 기반 챗봇은 지도 NLP 학습에 비해 결과의 정확성과 신뢰성이 낮습니다. 둘째, 계산 복잡도가 더 높기 때문에 인프라에 대한 초기 투자 규모가 지도 NLP 학습 방식보다 큽니다. 마지막으로, 기능을 유지하는 데 전문가가 필요하지는 않지만, 처음 시스템을 구축할 때는 고도의 전문성을 갖춘 과학자가 필요합니다.

비지도 NLP 챗봇은 어디에, 어느 정도까지 적합할까요? 

기업에서 다루는 데이터가 다양하여 분류하는 데 많은 비용이나 시간이 들거나, 데이터에 풍부한 맥락이 담겨 있다고 가정해 보겠습니다. 이 경우 챗봇이 사람처럼 더욱 자연스럽게 소통하고 지원할 수 있도록 비지도 NLP 학습 시스템 도입을 고려해야 합니다.

반면, 입력 데이터가 주로 레이블이 지정된 데이터이고 가장 중요한 작업이 반복적인 요청을 관리하는 것이라면, 비지도 NLP보다는 기존의 지도 NLP가 더 적합할 수 있습니다. 

결론적으로, 기술은 빠르게 발전해 왔으며 앞으로도 새로운 도구는 계속 등장할 것입니다. 최신 동향을 파악하는 것은 좋지만, 기업 경영자는 사업의 특성과 고객 지원에 적합한 도구가 무엇인지를 바탕으로 변화를 추진해야 합니다.


NLP 전문가를 찾고 계신가요?

1. GEM Corporation은 AI 솔루션 개발 경험을 갖춘 IT 아웃소싱 기업입니다. 당사는 일본의 주요 산업 기업을 위해 NLP 및 OCR 솔루션을 개발해 왔으며, 챗봇, 텍스트 및 이미지 처리 시스템, 추천 시스템 구축을 전문으로 합니다. 또한 과학 연구와 인재 양성을 위해 Vietnam National University의 AI Laboratory와 협력하고 있습니다. 

2. 당사는 물류, 통신, 금융, 은행 및 보험, 소매, 제조 등 다양한 산업 분야의 전문성을 보유하고 있습니다.

3. 당사는 7년이 넘는 경험을 보유하고 있습니다. 사무소는 베트남 하노이와 일본 도쿄에 있습니다.

4. 당사는 미국, 영국, 유럽, 일본, 한국, 싱가포르를 비롯한 여러 지역의 고객을 위해 100개 이상의 프로젝트를 성공적으로 수행했습니다.

5. 다음 AI 솔루션을 구축하는 데 어떤 도움이 필요한지 알려 주세요. 지금 문의하시고 프로젝트를 위한 데모를 받아 보세요.

    Ready to build your next project?

    Our experts will connect with you within 24 hours to discuss your project.

    contact

    Quick contact

      Or reach us at:
      whatsapp
      viber
      kakao
      Line
      0971098183