2024 SAP 2시 데이트 with PwC

온라인 세미나 QA

Q. 만약 SAP에 AI 기술을 접목하는 경우 데이터에 대한 보안은 어느 정도로 가능한가요? 특히 클라우드를 사용할 경우에요.: A. SAP가 자체적으로 개발한 LLM 모델은 BTP 내에서 작동하므로 BTP 클라우드의 보안 정책을 따릅니다. 그리고 파트너사가 개발한 LLM 모델을 BTP를 통해서 접근하는 경우에는 파트너사의 클라우드 보안 정책을 따릅니다. 비록 클라우드 환경이라 하더라도 Private Cloud 형태의 서비스이므로, 회사의 민감 정보가 LLM 모델 학습의 용도 등으로 활용되지 않으며 회사의 민감 정보가 외부로 유출되지는 않습니다.

Q. 기업 내부에 존재하는 각종 데이터를 SAP AI/ML 을 통해 학습시키려면 어떠한 준비 절차나 과정를 거쳐야 하나요?: A. 교과서적인 대답일 수 있겠으나, 무작정 데이터 수집을 하기보다는 목표로 하는 과제 및 어젠다를 먼저 선정한 다음에 필요한 데이터를 선별하고, 이어서 기업이 현재 보유한 데이터를 비교한 후, 필요한 데이터를 조달하는 것이 좋습니다. 예를 들어 수요 예측 모델을 만든다고 할 때, 어떤 Product Group에 대한 수요 예측인지 혹은 목적이 경영계획 목적인지 혹은 판매 계획 및 생산계획까지 연동할 것인지에 따라 필요한 데이터의 수준은 많이 달라집니다. 그리고 필요한 데이터 중에 사내에 없는 데이터라면 외부 API 및 리서치 회사와의 제휴 등을 통해서 조달해야 합니다. 데이터의 품질도 중요합니다. 일반적으로 예측 모델을 만들기 위해서는 결측치나 무의미한 이상치에 대한 처리는 반드시 필수입니다.

Q. LLM을 이용해 다큐먼트 데이터 추출이나 질의응답 기능을 구현할 때, LLM이 부정확한 답변을 하거나 환각 현상을 보일 수 있는데, 재무나 회계 같은 엄밀성이 요구되는 영역에서 충분한 정확성이 담보되는지 궁금합니다.: A. 비록 LLM의 답변이 적절한 경우가 높다고 해도 100%일 수는 없습니다. 물론 인간의 답변도 100%일리는 없지요. 그렇기 때문에 인간의 업무도 결재 및 리뷰의 과정을 거칩니다. 그러므로 LLM을 활용해서 프로세스를 만들 때에는 이러한 리뷰 및 결재의 단계를 반드시 삽입해야 합니다. 대표적으로 LLM을 쓸 경우에는 판단의 근거를 내 놓도록 프롬프팅을 해야 하고, Document Information Extraction의 경우에는 신뢰도를 표시하여서 결재 및 리뷰의 과정을 좀 더 쉽게 할 수 있도록 프로세스를 설계해야 합니다.

Q. 시중에는 이미 OpenAI, MS copilot 과 같은 거대 AI 회사 제품들이 이미 나와 있습니다. 이런 상황에서 이런 기존 서비스와 SAP를 연동하는 것과, 아예 ERP 에 녹아든 형태의 서비스를 사용하는 것 가운데 어떤 기준으로 선택해야 할까요?: A. 이는 SAP의 Embedded AI의 기능이 사용 목적에 적합한지 여부 및 대상 데이터가 SAP 생태계 내에 얼마나 있는지에 따라 결정될 듯 합니다.

Q. SAP ECC 버전에서도 AI를 사용 가능한가요? 사용 가능하다면 ECC 어느 버전 부터 가능한가요?: A. Embedded AI (application에 탑재된 AI기능)은 ECC 에는 대부분 적용이 되지 않는 것으로 알고 있습니다. Customized AI (BTP를 활용한 고객 맞춤형 AI 개발 방식)은 ECC - BTP 연동을 통해서 개발 가능하다고 저희는 알고 있습니다.

Q. 이러한 대화 형태의 업체 입력과 같은 경우, 처음 사용하는 사람이나 익숙하지 않은 사람들에겐 매우 유용하겠지만 터미널 앞에서 일괄 입력하는 것이 편한 사람들에겐 오히려 생산성이 떨어질 수도 있을 것 같다는 우려도 듭니다. 이처럼 AI 가 숙련된 사용자에게 어떤 생산성 향상 기능을 어떤 형태로 제공하게 될까요?: A. 말씀하신대로 대화형 프로세스 UI는 일반 사용자에게는 유용할 수 있으나 전문 사용자에게는 느리다는 단점도 있습니다. 그러므로 전문 사용자의 경우에는 Application Embedded 방식의 AI가 더 적합하다고 봅니다. 다만 비즈니스 시스템 프로젝트를 할 때, 해당 프로세스의 사용자를 기준으로 대화형 프로세스 and/or Application embedded 일지는 결정하는 절차가 새롭게 필요하다고 강조드리고 싶습니다.

Q. 저희 회사도 경비 처리와 Invoice는 S/4HANA를 통해서 자동화 처리(예를 들면 바코드 통해서 주요 데이터 주요 입력 및 FI/MM 모듈 통해 결재상신까지 온라인 자동화)를 하고 있는데 매우 편리하고 입력 오류 등을 개선하는데 도움이 되었습니다, 다만 아직까진 뭔가 정형화되고 반복적인 문서만 가능한데 데이터 분석에서 시사점 발굴까지 BTP로 고도화하기 위해서는 현재 SAP 시스템에서 어떤 부분이 업그레이드가 필요하고 실제 적용된 샘플이 있는지 궁금합니다.

A. 소개시켜 드렸던 사례 중에서 강조하는 부분이 2가지 입니다. '비정형 혹은 반정형 형식의 지류 문서에서' '타케팅된 정보만을 추출하는' 부분입니다.

기존의 OCR 류의 서비스는 양식이 정해진 문서를 대상으로 하고, 타케팅된 정보만을 추출하여 시사점을 발굴하는 케이스까지는 못 만들었는데요, 이번 소개 사례에서는 여러가지 기능을 접목해서 "프로세스"단위의 효율성 개선된 사례를 보여드렸다고 이해해 주시면 좋겠습니다.

이러한 기능을 SAP ERP에서 사용하기 위해서 어떤 부분이 업그레이드되어야 하는지는 고객사의 상황에 따라 다를 수 있습니다. 저희가 알고 있기로는 Embedded AI (기존의 SAP standard application에 기성품 형태의 AI 기능 탑재)는 ECC나 On-premise 시스템은 적용이 안되는 제약이 존재하고, Customized AI는 ECC나 on-premise 시스템도 BTP와 연동될 수 있으므로 적용 가능하다고 알고 있습니다.

Q. 전표의 Clusting 의 경우, 분류 class의 결정과 같은, 예를 들어 NN의 지름이나 kNN 의 k 값 설정 같은 부분은 미리 결정되나요 혹은 동적 변경도 가능한가요?: A. 머신러닝의 경우에는 모델 훈련의 과정이 필요하고 그 과정에서 최적의 하이퍼 파라미터를 결정하는 절차는 있어야 합니다. Auto ML 라이브러리 중에는 클러스터링의 최적 개수를 각종 방법 (예: elbow method) 등으로 결정하는 기능이 있습니다만, 실무적으로 사용할 때에는 머신러닝 모델을 만드는 사람이 이에 대한 검증은 해야 한다고 봅니다. 일부 머신러닝 라이브러리나 딥러닝 라이브러리의 경우에는 이러한 하이퍼 파라미터에 대한 설정이 불필요한 알고리즘이 있는 것으로 알고 있습니다.

Q. SAP BTP는 단일 생성형 AI 엔진만 지원하는지 다양한 생성형 AI 엔진을 지원하는지 여부와, SAP가 직접 개발한 생성형 AI 기술의 탑재 여부와 해당 서비스는 무엇인지 문의드립니다.: A. SAP BTP는 SAP가 곧 출시할 Foundation 모델 뿐만 아니라 여러 파트너사의 AI 모델을 제공합니다. 대표적으로 MS Azure의 GPT-4o 및 AWS Bedrock의 Cluade 모델이 있습니다.

Q. ERP의 민감 데이터에 대한 Cloud Public Edition 사용 시, 보호 방안과 암호화 등 어떤 보호 정책이 지원되나요? 백업과 복구 관련 지원은 어떤 것이 있나요?: A. 원칙적으로 ERP에 AI/ML을 접목할 때에는 Public Cloud 사용을 권장하지 않습니다. 반드시 Private Cloud 혹은 On-Premise를 권장드립니다. Private Cloud 회사들은 회사가 클라우드에 in/out하는 정보는 자신들의 서비스 향상을 위한 학습 데이터로 사용하지 않는다는 약관을 제시합니다. 또한 ERP에서 민감 데이터가 Private Cloud로 전송이 될 때에는 마스킹 기법 혹은 더미 데이터 치환 기법 등으로 민감정보 이슈를 우회하기도 합니다.

Q. 과거 ERP 데이터와 트랜드에 따른 판매량 분석 시, 보이지 않는 주요 시장 변화, 국제 정세, 전쟁 등에 대한 주요 변수에 대한 반영과 보정은 어떻게 하는지요?: A. 예측 모델은 모델이 학습될 때에는 정확도가 높다가 시간이 갈수록 낮아집니다. 이러한 이유가 주요 변수의 영향도가 시간과 상황이 바뀜에 따라 변하기 때문이라고 봅니다. 그리고 이를 개선하기 위해서 MLOps라는 방식의 지속적인 머신러닝의 학습을 수행하기도 하고요. 사례 중에 사전 예측 및 사후 검종의 절차도 회귀 모델을 이용한 예측 모델의 적용 시에 가정치의 차이와 주요 변수 혹은 숨겨진 변수의 차이를 나눠 보고자 하는 노력이었다고 이해해 주시면 좋겠습니다. 즉, 숨겨진 변수 차이나 모델 성능 차이가 크다면 '예측 모델은 몰랐지만 실제로는 필요한 변수'를 발굴해서 모델의 재학습을 수행해야 합니다.

Q. 회계 전표 사후 검증시 자동화하여 해결할 수 있는 부분과 해결이 불가능한 부분은 무엇이 있으며, AI는 어느 부분에서 가장 효과적으로 사용이 되는지 궁금합니다.: A. 회계 전표 사후 검증은 부정을 적발하는 방법은 아닙니다. 다만, 많은 트랜잭션 중에서 유독 주의깊게 봐야하는 트랜잭션을 식별하는 도구라고 보고 있고요, 그렇기 때문에 부정 여부를 판단할 수는 없습니다.
또한 사후 검증 포인트 자체는 사람이 고안해야 하고, 또한 사후 검증에 필요한 데이터 역시 어떠한 방식으로든 모델에 입력되어야 하는 이슈는 있습니다. 예를 들어 위/경도 정보를 이용하여 경비 사용처와 사업장 간의 거리를 구하기 위해서는 당연히 경비 사용처의 위/경도 정보 역시 시스템에서 관리되어야 합니다.

Q. 제시해주신 9가지 사례 중 '외생변수 및 트렌드에 따른 판매량 예측 및 이상 세그먼트 식별' 관련하여 질문이 있습니다. 1. 어떤 데이터(e.g. ERP 내 데이터 등)를 가공하여 시계열 데이터로 확인할 수 있도록 한 것 일까요? - 말씀해주신 내용 중에, 시계열 분석 등 '데이터 분석을 위해 중요한 부분이 데이터가 머신러닝 학습을 위해 깔끔하게 정리가 되어있고, 학습에 유의미한 데이터여야 한다'라는 내용이 있었는데, 해당 사례와 같인 분석을 진행하려면, ⓐ 기본적으로 어떤 데이터셋을 활용하나요? (ERP 내 데이터 등) ⓑ 머신러닝 학습 이전, 해당 데이터가 유의미한지 판단하는 기준 또는 해석은 무엇이 있나요? 2. 실제값과 사전/사후 예측을 비교할 때, ⓐ 해당 데이터 셋으로 유의미한 학습인지 여부를 판단하는 기준, ⓑ예측값에 대해 검증하는 기준 또는 방법에 대해 궁금합니다. e.g. ⓐ-1) 예측값이 오차 범위 내(±5%) 3. PPT 해당 장표 예시에 있는, '숨겨진 변수 차이'라 함은, 여러 외생 변수에 의한, 예측값 변동을 의미하는 걸까요 ?

A. 1. 데이터는 많은 데이터가 필요합니다. 일례로 오프라인 유통업의 판매 수요 예측을 위해서는 ERP 뿐만 아니라 다양한 원천 시스템의 데이터가 필요합니다. 예를 들어 ERP에서는 점포에 대한 기준 정보와 SKU에 대한 기준정보, 판매량 정보 등이 필요하고, 외부에서는 수요에 영향을 미치는 날씨나 상권, 경기 지표, 경쟁 SKU 및 유통업체의 가격 정보 등등이 필요합니다.

2. 모델의 성능을 평가하는 방법은 많을 수 있습니다. 본 사례의 경우는 좀 직관적이고 설명이 편한 방법을 채택했습니다. 일차적으로 실적과 사전 예측이 가장 큰 Top L을 구하고, 이차적으로 Top N 중 사전 예측과 사후 검증의 값이 큰 Next Top M을 구한 다음, 마지막으로 사후 검증과 실제의 값이 큰 Top N을 구했습니다. 예측 모델은 성능도 중요하지만, 이 결과를 판단하고 해석하는 사람에 대한 설명도 중요하다고 생각해서 위와 같은 절차를 수행했습니다.

3. 여러 의미가 될 수 있습니다. 미처 모델에 포함하지 못한 변수 (예: 러시아-우크라이나 전쟁이나 이스라엘-하마스 전쟁의 영향)일 수도 있고, 사용했던 알고리즘 자체의 문제일 수도 있습니다. 이 역시 면밀한 판단이 필요하고, 이러기에 예측의 영역이 쉽지 않은 주제일 듯 합니다.