2025년, 인공지능(AI) 분야에서 가장 주목받는 키워드는 단연 ‘생성형 인공지능(Generative AI)’입니다. 이미 많은 기업들이 실험적으로 도입해오던 이 기술은 이제 본격적인 상용화 국면에 접어들고 있습니다. 글로벌 시장조사기관인 Gartner는 2025년 전 세계 Gen AI 관련 지출이 6,440억 달러에 이를 것이라고 전망했습니다.
이번 글에서는 Gartner 보고서를 바탕으로, 2025년 Gen AI 지출의 주요 흐름과 기업이 주목해야 할 기술 영역, Gen AI 프로젝트가 실패하는 주요 이유, 그리고 이를 실제 경영 전략에 어떻게 연결할 수 있을지를 하나씩 짚어보겠습니다.
Gen AI 투자는 어디를 향해 가고 있을까요?
Gartner의 보고서에 따르면, 2025년 Gen AI에 대한 전 세계 지출은 2024년보다 76.4% 증가해 6,440억 달러에 도달할 전망입니다. 이는 AI가 단순한 부가 기술을 넘어, 기업 IT 전략의 중심으로 떠올랐다는 것을 보여주는 지표입니다. 이처럼 AI가 조직 내 전사적으로 적용되기 시작하면서, 기업들은 보다 체계적인 전략과 투자 방향을 고민하게 되었습니다.
Gen AI 투자에서 흥미로운 점은 지출의 대부분이 예상과 달리 ‘하드웨어’에 집중되고 있다는 점입니다. Gartner에 따르면 전체 Gen AI 지출 중 약 80%가 하드웨어 관련 분야에 투입될 예정입니다. 세부 항목을 보면, 디바이스는 전년 대비 약 99.5% 늘어난 3,983억 달러, 서버는 33.1% 증가한 1,806억 달러로 집계됩니다. 반면, 소프트웨어와 서비스는 각각 372억 달러, 278억 달러 수준에 머무르고 있습니다.
이 수치만 보면, 많은 사람들이 기대했던 것과는 정반대 방향일 수 있습니다. AI라고 하면 대부분 데이터 분석 플랫폼이나 알고리즘을 떠올리지만, 실제로는 물리적 인프라에 대한 수요가 더 빠르게 확대되고 있는 셈입니다. 이는 최근 AI 기능이 PC, 스마트폰, IoT 기기 등 다양한 디바이스에 기본으로 내장되면서, 하드웨어가 곧 AI 경험의 시작점이 되고 있음을 의미합니다.
AI 기능은 이제 ‘선택’이 아니라 ‘기본값’이 되고 있습니다
Gartner 수석 애널리스트인 존 러블록(John Lovelock)은 이 같은 변화를 ‘공급 주도의 변화’라고 명확히 표현했습니다. 그는 “소비자나 기업이 AI 기능이 탑재된 제품을 의도적으로 선택하는 것이 아니라, 제조사들이 기본 내장 방식으로 AI를 탑재하고 있고, 이러한 공급이 시장 전체를 움직이고 있다”고 말합니다.
이러한 흐름이 강화되면, 2027년쯤에는 AI 기능이 없는 PC를 찾는 것이 오히려 더 어려워질 수 있습니다. 기업이 새로운 서버나 기기를 도입할 때도 별도로 AI 기능을 고려할 필요가 없을 만큼, 모든 제품군에서 AI가 자연스럽게 제공될 가능성이 큽니다.
실제로 Dell과 HP와 같은 글로벌 제조사들은 최신 PC 모델에 AI 기반 코파일럿 기능을 기본으로 탑재하고 있으며, 서버 제품군에서도 스마트 NIC, AI 가속기 등 다양한 AI 최적화 장비들이 포함된 형태로 제공되고 있습니다. 기업의 기술 도입 방식이 ‘선택’이 아니라, ‘기본 포함’으로 바뀌고 있는 것입니다.
소프트웨어 지출 비중이 의외로 낮은 이유는 무엇일까요?
AI 도입이라고 하면 대부분 소프트웨어 중심이라고 생각하기 쉽습니다. 그러나 실제 Gartner 수치에서 소프트웨어 관련 지출은 전체의 극히 일부를 차지합니다. 이유는 간단합니다. AI가 이제는 ‘별도 도입’이 아니라 ‘내장된 기능’으로 확산되고 있기 때문입니다.
대표적인 예가 마이크로소프트의 Office 365에 내장된 Copilot입니다. 또는 Notion의 글쓰기 보조 기능, Salesforce의 Einstein AI 등도 이에 해당합니다. 이들 기능은 독립 소프트웨어가 아닌, 기존 사용 툴에 자연스럽게 녹아있는 형태로 제공됩니다. 이와 같은 흐름은 사용자의 학습 부담을 줄이고, 도입 속도를 빠르게 만들어주기 때문에 기업 입장에서 효율적인 전략이 될 수 있습니다.
실패하는 Gen AI 프로젝트에는 공통된 패턴이 있습니다
기업들이 앞다퉈 AI 투자를 확대하고 있지만, 모든 프로젝트가 성공하는 것은 아닙니다. 오히려 일부 기업들은 기대 이하의 결과를 경험하며 전략을 재검토하기도 합니다. Gartner는 이러한 실패의 주요 원인을 세 가지로 정리했습니다.
첫 번째는 ‘데이터 품질 부족’입니다. 많은 기업들이 자신들이 많은 데이터를 보유하고 있다고 생각하지만, 실제 Gen AI는 데이터의 양보다 질에 더 민감하게 반응합니다. 정제되거나 라벨링이 부족한 데이터는 AI가 잘못된 판단을 하게 만들 수 있습니다. 예를 들어, 한 유통회사가 고객 데이터를 기반으로 챗봇 서비스를 도입했으나, 응답 오류율이 무려 50%에 달해 프로젝트를 전면 중단했습니다. 알고 보니 비구조적인 데이터와 불균형한 라벨링이 원인이었습니다.
두 번째는 ‘조직 내부의 저항’입니다. 기술은 빠르게 변화하지만, 현업 구성원들의 업무 방식은 쉽게 바뀌지 않습니다. 한 제조기업의 경우, AI 기반의 비디오 분석 시스템을 도입했으나, 기존 수기 방식에 익숙한 현장 작업자들의 저조한 사용률로 인해 투자 대비 효과가 거의 나타나지 않았습니다.
세 번째는 ‘ROI 입증의 실패’입니다. 파일럿 프로젝트를 거친 후, 그 효과와 성과를 경영진에게 입증하지 못한다면 대부분의 AI 도입은 큰 힘을 얻지 못합니다. 단순히 “우리는 AI를 쓴다”는 말로는 예산을 확보할 수 없는 시대입니다. 핵심은 정량적이고 객관적인 성과 지표입니다. 투자 대비 절감 효과, 업무 생산성 향상, 고객 만족도 상승 등 구체적인 수치로 결과를 제시해야 합니다.
자체 개발보다 상용 솔루션으로, 전략적 전환이 필요합니다
과거에는 기업들이 자체적으로 AI 역량을 개발하고 플랫폼을 구축하려는 시도를 많이 했습니다. 그러나 최근에는 높은 기술 장벽과 인재 확보의 어려움, 고비용 문제로 인해 상용 솔루션을 활용하는 사례가 늘고 있습니다. 특히 SaaS 기반으로 제공되는 Gen AI 솔루션은 빠른 도입과 안정적인 ROI 측면에서 주목받고 있습니다.
Gartner는 이러한 변화가 2025년을 기점으로 더욱 가속화될 것으로 내다보고 있습니다. 실제로 Deloitte 조사에 따르면 상용 Gen AI 솔루션을 도입한 기업 중 74%가 프로젝트에서 기대 이상의 성과를 거둔 것으로 나타났습니다.
기업이 참고할 만한 상용 솔루션은 다양합니다. 예를 들어 Microsoft, Google, Salesforce, Adobe는 이미 다양한 SaaS 기반 AI 기능을 제공하고 있으며, SAP와 Oracle의 경우 ERP 시스템에 AI 기능을 통합해 제공하고 있습니다. 클라우드 인프라 측면에서는 AWS, Google Cloud Platform, Azure 등에서 AI 툴킷과 플랫폼을 통해 안정적인 성능과 보안 환경을 제공합니다.
지금 기업이 추진할 수 있는 다섯 가지 실행 전략
Gartner 보고서를 통해 도출할 수 있는 실행 전략은 다음과 같습니다. 우선, AI가 단순한 유행이 아니라 기업 성장을 결정짓는 기준이 되고 있다는 점을 분명히 인식해야 합니다.
첫째, 예산 배분 구조를 재정비해야 합니다. 특히 하드웨어 중심의 투자가 필수로 자리 잡고 있으므로, AI 디바이스, 가속기, 서버에 대한 투자를 늘리는 것이 중요합니다.
둘째, 신규 프로젝트보다는 기존 시스템 내 AI 기능을 통합하는 방식이 ROI를 입증하기에 유리합니다. 별도의 개발보다는 기존 툴 속에 자동화된 AI 기능을 삽입해 바로 체감 효과를 얻는 접근이 효율적입니다.
셋째, 조직 전체의 AI 인식 수준도 개선되어야 합니다. 특히 전사 교육, 직무 맞춤형 워크숍 등을 통해 ‘기술 도입’보다는 ‘활용 역량 강화’에 집중해야 합니다.
넷째로는 데이터 전략입니다. 단순 수집이 아니라 라벨링, 체계화, 최신성 유지 등 데이터 엔지니어링 역량을 동시에 확보해야 합니다.
마지막으로, 평가 지표 설정이 빠질 수 없습니다. AI 도입 이후 어떤 지표를 통해 성과를 판단할 것인지를 사전에 명확하게 정리해야 장기적인 투자 설득이 가능합니다.
결론: 기술보다 전략이 AI 성공을 좌우합니다
Gartner의 예측은 우리에게 매우 중요한 교훈을 제시합니다. AI 도입 여부보다 더 중요한 것은, ‘어떻게’ ‘왜’ ‘무엇을 위해’ 도입할 것인가에 대한 전략적 사고입니다. AI는 기술의 문제가 아니라, 기업 비전과 역량을 연결하는 전략 과제입니다.
무작정 도입한다고 성공이 보장되지 않습니다. 필요한 것은 조직 전체가 공감하고 실행할 수 있는 전략적 로드맵입니다. 지금이 바로, AI를 ‘도입할지 말지’가 아니라, ‘어떻게 제대로 도입할 것인가’를 고민할 시점입니다. 선택은 더 이상 막을 수 없는 흐름입니다. 하지만 실행의 방식은 충분히 전략적으로 결정해야 합니다. AI는 도구가 아니라, 새로운 경쟁력입니다.
 | AX 100배의 법칙 – 나와 조직의 능력을 100배 높이는 AI 경영의 실제 도서 구매 |
함께 읽으면 좋은 글:
디지털 트랜스포메이션: 조직의 습관을 바꾸는 일, 도서 구매
