AI/머신러닝 프로젝트의 과거 가장 전형적인 모습은, 처음 도입되고 더 이상 사용되지 않아 폐기되는 모습이다. 그리고 이를 주도하는 AI조직의 성장은 정체된다. 그리고 이 과정을 전체로 살펴보면 기술 스타트업이 살아남는 과정과 비슷하다.
다른 말로하면 돈이 되는, 경제성이 있는 AI 도입을 잘 해내는 조직이 드물다. 많은 조직이 지속 가능하지 않는 길을 밟아 프로젝트가 사라진다.
그렇다. 분야 선택이 잘못되는 경우가 많다. 사실 이 비판은 대개 결과론적이라 좀 서운할 수도 있겠다. 하지만 어쩌면 명확해 보이는 안좋은 경제성에도, 시도된 프로젝트들도 있다. 즉, 일반적인 rule base와 다르게 데이터 관리 및 재학습, 모호함의 오버헤드를 지닌 AI의 특성을 미리 충분히 고려하지 못한 것이다. 예컨대 장기적으로 보면 자체 개선에 한계가 있고 시장에서 너무나 빨리 발전하는, 소싱해야 하는 모델을 직접 만드는 경우나, 학습시켜야 할 데이터가 늘 불안하게 축적되는 분야이다. 끊임없이 수기로 분류해야 하는 분야면 어떻게 될까? 초기에 투자비는 곧 사라지고 이제 순익으로 버텨야 하는데 그 시기를 넘길 수 있겠는가?
의외로 어지간해서는 built-in(외부소싱이 아닌) 모델이 경제성을 내기가 어렵다. 이 모델의 관리는 곧 데이터 관리와 직결되고 돈먹는 하마로 전락하기 쉽다. 데이터가 만성적으로 부족하고 프로세스 변경은 감당하기 어려울 것 같다면, 관리 비용은 늘고 정확도를 높이기는 더 어려워지고, 그에 따라 경제성을 확보할 만한 인식 정확도를 달성하기가 난해하기 때문이다.
다르면서도 같은 이야기인데, 모델 정확도 유지를 위한 인력비용을 과소평가하는 경우도 마찬가지다. 그것을 쓰는 사람도 운영하는 사람도 어느정도 지식이 있어야 하며, 모델과 데이터는 늘상 최고의 품질을 갖춰 줘야 경제성이 나오는데, 이 녀석은 언제든 들쑥날쑥 해지기가 쉽다. 어설픈 관리로는 곧 정확도가 떨어지기 시작하고, 제대로 사용하는 사람이 타 부서로 배치되고, 결국 신뢰를 잃어버리면 선순환의 단계를 밟지 못한다.
AI가 rule base대비 정확도가 높아지는 것은 대부분 맞지만, 그 단순 명확함과 운영의 저렴함과 사용의 편리성을 이 똑똑하고 비싼 AI가 못이기는 경우가 적지 않은데, 바로 위에서 설명한 수많은 오버헤드들이 그 원인이 되어 AI의 경제성을 수시로 갉아 먹기 때문이다.
조금 정리해보면, 이런 질문들을 다각도로 해봐야 한다. 경험과 스킬이 조금 부족한 엔지니어나 부족한 장비라면 유지하기 힘든 복잡한 모델이거나 비싼 학습 비용은 아닌가? 데이터 관리가 얼마나 어려운가? 오히려 rule base로 최선을 다해 조율해가면 AI모델못지 않은 분야는 아닌가? 전체 파이프라인 관리가 난해해질 수 있는 소지가 잠재해 있는 것은 아닌가? 모델을 합리적인 가격에 소싱해서 재학습 없이 쓸 수는 없는가? 같은 질문을 해봐야한다는 말이다.
rule base라는 방법이 그렇게 손쉽게 버릴 수 있는 방법이 아님을 자각하는게 중요하다는 말이다. 앞서 밝힌 대로 머신러닝에 비해 훨씬 단순하고 무식한 이 방법은 데이터를 관리할 필요가 없다! 그리고 누구나 즉각적인 개선 방법을 찾기가 더 쉽기도 하다. ML/AI 방법이 가진 까다로운 전문지식에 대한 오버헤드가, 이 상관관계를 적당히 정의해 if/then으로 운영하는 rule base 방법에는 없다!
그래서 아예 외부 간단히 소싱한 모델로 별로 변화하지 않는 영역을 건드릴 수 있으면 오히려 좋을 수 있다. rule base와의 hybrid도 좋다. 신입 머신러닝 엔지니어라도 금방 다룰 수 있는 환경과 조건에서 먼저 시작할 수 있고, 적은 인원으로도 유지가 충분한 분야를 찾아서 성공시켜야 한다. 모두가 이해하기 쉽고 단순해서, 성공시켜 기초를 쌓아두지 않으면 더 어려운 모델은 확실히 더 진행하기 어렵다.
쉽고 단순하고 가급적 데이터를 늘 구하기 쉽고 자동으로 생겨나는 분야가 먼저다. 가만히 둬도 데이터가 정확하게 관리되지 않을 수 없는 분야가 먼저다. 재료가 싸야 경제성을 확보하기가 쉽고 이렇게 매출이 생기고 순익이 생겨야, 회사처럼 그 AI 조직이 성장할 수 있다. 물론 시행착오를 위한 프로젝트는 늘 필요하긴 하지만, 이 생각을 바탕에 깔고 있어야 어느정도 키울 수 있지 않겠는가? 아니면 순익이 부족한 스타트업처럼 곧 한계에 달하게 되겠다. 신기술 조직도 이렇게 어떻게든 작게라도 현실적인 매출(?)을 확보해야 하는게 인지상정 아니겠는가.
경제성 있는 AI는 기술스타트업 회사를 키우는 것처럼 지속 일정 수준의 먹거리를 가져가면서 키워가야 누가 크게 투자해주지 않아도 탄탄하게 성장해 나갈 수 있다.
