2022년 AI 품질경영 심포지움 발표 자료 (일본)

일본 産業技術総合研究所(AIST)에서 2022년도 AI 품질 관리 심포지움에서 발표한 "ML 품질관리 프로젝트 소개" 세션에 대한 자료를 번역, 정리한 내용입니다.

 

AI 품질은 전 세계적으로 주목을 받고 있습니다. 자율주행 및 금융 신용 평가와 같은 애플리케이션에 AI가 사용될 것이라는 기대는 잘못되면 사람들의 삶을 앗아가거나 파괴할 수 있으며, 이러한 중대한 책임을 보장하는 고품질 AI를 요구합니다. 이러한 인식은 전 세계적으로 AI 품질 기준과 방법론 개발을 시작하게 되었습니다.

 

현재 상황은 일본이 국제 사회를 선도하고 기여할 수 있는 기회를 제공합니다. 품질 관리가 수십 년 동안 일본의 강점 중 하나였기 때문입니다. 이 심포지엄은 AI 실무자, 연구자, 정책 입안자를 모아 의견과 경험을 공유하고, 취해야 할 조정된 조치에 대해 논의하는 것을 목표로 합니다.

 

왜 AI 품질이 필요합니까?

• 소프트웨어를 통한 복잡한 제어인명을 맡기는 시대

–항공기·철도 차량 
–자동차
–소비자 기계
–인프라 (전력 등)
–의료·건강

 

• 기계 학습AI등에 의존하는 소프트웨어 구축

–인간이 규칙을 기술할 수없는 복잡한 문제에 대면하여 →  기존 소프트웨어의 구축 방법에도 한계
–시시각각 변하는 현실세계에의 추종

 

사회에서 보는 AI에 대한 두려움과 요구

• 한편, AI의 「알 수 없는 것」 「사회적 영향」에 대한 공포도 현재화

–동작을 설명할 수 없는 블랙박스 시스템

–"사람이 만든 것이 아니다"

    ⇒ 규제나 합의로 제약을 가하는 움직임이 일어납니다.

–사회 원칙·Principles레벨

–법률 및 사회적 지침 수준

–기술 지침 및 기술 표준 수준

 

• 2019년부터 :AI에 대한 사회로부터의 요구에 대한 명문화의 움직임

• 인간 중심의AI사회 원칙   (2019. 3  통합 혁신 전략 추진 회의)	• OECD Principles on AI   (2019. 5. 22)
–인간 중심의 원칙 –교육·활력의 원칙 –프라이버시 확보의 원칙 –보안 확보의 원칙 –공정 경쟁 확보의 원칙 –공정성· 책임과 투명성원칙 –혁신의 원칙	–모든 사람에게 보편적 이익 –공정성과 공정성 확보 –투명성 확보 및 책임있는 공개 –견고, 안전, 안전그리고  위험 평가 –개발 운영자의 책임

 

• 2020연대: 법률·가이드층의 대처

미국	유럽	일본
NIST AI리스크 관리 프레임워크만들기 시작 (2021.7)	유럽위원회 AI법안공개 (2021.4.21)	경산성 AI거버넌스 · 가이드라인발표 (2021.7.9)
미국 정부 조달 요건에 들어가면 공급망에 이어지는 일본 기업에도 영향을 미칠 우려	고위험AI 응용 식별 시행되면 유럽시장을 위한 비즈니스에서 필수	법적 구속력은 없지만 공통 인식형성을 통해 각사의 자발적 대처를 촉진

• 실세계의 응용을 가로 막는 「품질의 문제점」

1.고객이 안심하고 살 수 없습니다.

   –일정 품질을 보장할 수 없기 때문에,PoC 하고서 계속 진행할 수 없음

2.오작동 시 책임을 지지 않거나 피할 수 없음

   –「무과실」을 증명할 수 없기 때문에, 예상치 못한 결과에 대한 책임을 져야할 수도 있다

3.매매 계약에서 불리하다

–「예상되는 하자」와 「당초 예상을 뛰어넘는 기능확장」을 구별하지 못하며 끝없이 유지보수를 해야한다.

–저렴한 값싼 데이터로 대충 만든 AI와 제대로 만든 AI를 구분하지 못함 ⇒ 경쟁에서 밀린다.  

 

머신러닝 학습 소프트웨어의 특이성

• 기계 학습AI 데이터에서 통계적으로 구축

–위험 요인을 배우더라도, 항상 올바르게 판단하는 것은 아닙니다.

–학습 결과의 구조를 알 수 없기 때문에,  검사를 해도 포괄성을 확보할 수 없다

–수정하면 다른 곳에 알 수 없는 영향을 미친다.

→ 기존 소프트웨어를 위한 품질 관리 기술을 그대로 적용해도 충분한 결과가 보장되지 않음=기존 기술 표준만으로는 부족하다.

 

• 머신러닝 AI에 적합한 새로운 「품질의 구축」 프레임워크 검토・제안

 

머신러닝 품질 관리 지침

머신러닝 AI품질을 "만들고" "확인하고" "설명한다" 가이드라인

• 주요 독자층:

–머신러닝을 이용하여 만들어진 제품 및 서비스 제공자

–실제 제품 및 서비스를 소프트웨어로 구현하는 시스템 개발자

 

• 2차적인 독자: 서비스 이용자 

–서비스 이용자: 서비스 선택 기준으로 삼기 위해 

–제3자 평가기관: 품질평가·인증 기준으로 활용 가능 

 

 

가이드라인의 포지셔닝 

기술적인 측면에서 AI의 사회 적용을 지원하는 지침

–사회 규범 가이드라인 유형의 하위      • "정확성"을 정의하지 않음   • 실현하기 위해무엇이 필요합니까? 정리 –IEC 61508등에 해당     • 다재다능한 가이드라인   • 업종 특유의 구체화는 있을 수 있다   • "자체 가이드 라인"을 각 기업이 만드는 기반      어떻게 실현하는가는 임의성이 있다

 

기계 학습 품질 관리 지침 : 검토 시스템

–"기계 학습 품질 경영 검토위원회"

• 산총연 (AIST)
• 민간 기업10회사 이상

  – 제품 벤더·대형IT벤더・중견IT벤더

• 국립정보학연구소・도쿄이과대학
•옵저버:IPA·NEDO·METI
  –2018년9달부터 개최

  + 주1회 정도 상세 검토 태스크 포스

 

AI 이니셔티브의 목표

① 사회 전체에서AI의 수용성 향상・안전성 향상

– 열악한 AI 배제로 이용자 안전성 향상
– 제조물 책임의 기준 명확화에 의한 제공자 위험 완화

 

② AI구축의 공급망의 건전성·경쟁력 강화

– AI 공급망 전반의 품질 관리
– 수주 주문 기준을 명확히함으로써 비즈니스 장벽 제거
– 제품 가치 지표 제공을 통한 일본산 AI경쟁력의 명확화

“안심하고 설명할 수 있고, 납득하고 사용할 수 있는 AI" 의 실현을 진행한다.

 

AI품질 관리 및 공급망 관리

• AI품질을 축으로 한 공급망 구축 지원

–품질에 대한 모범 사례 및 사회 합의 정리
–이해 관계자 간의 건전한 정보 공유 및 역할 분담 형성

 

 

품질관리의 대상과 사고방식

• 주목하는 「품질」 – 이용시 품질   • 서비스 이용자를 위한 품질      + 안심·공평 등 – 외부 품질   • 시스템에 "요구되는" 성질     → 목표 설정 – 내부 품질   • 시스템이 "갖는" 성질     → 성취 확인 각각의존 · 실현관계

 

품질관리의 대상과 사고방식

•  기본적인 흐름

– 사용자에게 제공해야 함 이용시 품질을 생각한다

– 제품을 설계하고, 기계 학습 요소에 필요한 외부 품질을 고려하여

– 외부 품질의 품질 수준결정하기

– 외부 품질 레벨에 대응, 내부 품질의 요구사항을 가이드라인에서 확인

– 각 내부 품질 달성을 확인

 

가이드 라인의 품질 확보 구조

품질 목표:5특성 × 레벨 (외부 품질 특성)		품질 관리의 9 포인트 (내부 품질 특성)
• 기계 학습AI"가야한다.품질'의 목표 ①  위험 회피성(안전성)       – 7레벨 설정 ②  AI 성능(총 성능) ③  공정성 ④  프라이버시      – 각3레벨 설정 ⑤  보안		• 품질을 향상시키기 위해 지켜야 할 필요한 기술적 포인트9항목으로 정리 • 왼쪽 품질 수준별로 요구 사항 설정

 

 

내부 품질 9개 항목

A-1 문제 영역 분석의 충분성 A-2 문제에 대한 코팅성 B-1 데이터 세트의 포괄성 B-2 데이터 세트 균일성 B-3 데이터의 유효성 C-1 기계 학습 모델의 정확성 C-2 기계 학습 모델의 안정성 D-1프로그램의 신뢰성 E-1운영 시 품질 유지성

 

내부 품질 9개 항목

기본 사고 방식

A)문제 분석을 기반으로 있어야 한다. 데이터 세트 설계

B)설계에 맞는 좋은 데이터 세트 확보

C)좋은 데이터 세트에서 얻은 좋은 기계 학습 모델

D)신뢰할 수 있는소프트웨어

E)품질 유지운영

 

시스템 수명주기 프로세스

• 품질 경영의 전체 공정 모델

  –기획 단계부터 운용·이용 종료까지 종합적인 품질경영을 상정하여 정리  
  – AI특유의 PoC프로세스나 반복형 개발 공정과 품질 관리를 정합

 

AI품질 가이드라인의 사회 전개

 

 

국제 표준화:TR 5469
(Functional Safety and AI systems) 

■ 담당:ISO/IEC JTC 1/SC 42/WG 3

   - 편집자:일본  
   - IEC측면 (IEC 61508-3)팀과 (사실상 합동으로) 검토

■ Scope:

   - 기능을 실현하기 위한 안전 기능 내부에서AI사용   
   - AI에 의해 제어되는 장비의 안전성 담보를 위한 비AI기능 사용
   - AI시스템을 이용한 안전 관련 기능 설계 및 개발

■ AIQM가이드 라인의 내부 품질 정리 등을 입력

■  투표 중

 

 

프로젝트의 전체 이미지

① 요건의 명확화와 생태계 개발 ~기계 학습 품질 관리 지침 ~산업 분야별 참조 가이드 ② 실제로 품질을 만들어도구 세워 ⇒품질 관리 테스트 침대 ⇒평가 도구 ③ 구체적인 AI평가 기술의 첨단 개발

 

 

품질 평가 테스트 베드 Qunomon

• 고품질AI실현을 위한 품질평가환경

– 기계 학습 품질 가이드라인에 따른 테스트 관리
– 풍부한 품질 테스트 패키지와 유연한 확장성
– 품질 평가 보고서 자동 생성

 

애플리케이션별 참조 가이드

• 가이드라인을 실제로 제품에 적용하기 위해 이렇게 하면 할 수 있는 사례집   
  – 2022년3월 1버전 공개

• 민간 기업의 구체적 사례를 공유 지식
  – 민간 기업으로부터 향해 받고, 산총연에서 연구

 

 

애플리케이션별 참조 가이드

• 검토 내용 예 
  – 데이터 라벨 설계 및 라벨링 정확도 및 도구 지원
  – 코너 케이스의 분석·모델의 안정성 등의 검증

 

• 품질 평가 시트

  – 전체 제품의 안전 관리와 연결하기 위한 체크 시트

 

 

 

요약

• 기계 학습AI 품질 가이드라인

– 품질을 "만들기""확인" "설명"  가이드라인
– 서비스 제공자와 시스템 개발자의 활용을 상정
– 공급망의 확립과 이용자·제공자 양쪽의 안심감의 양성
– 품질의 기준이나 인증의 기반으로서의 활용을 기대