국내 보안 전문가들이 인공지능(AI)을 안전하게 쓰기 위한 통제 체계, 즉 'AI 안전벨트'를 먼저 갖춰야 한다고 입을 모았다. AI가 업무 생산성을 높이는 도구인 동시에 정보 유출, 프롬프트 인젝션(악의적인 명령을 입력해 정보 유출, 허위 정보 유포 등을 하도록 하는 사이버 공격), 딥페이크, 자동화 해킹 통로가 될 수 있기 때문이다.
윤두식 이로운앤컴퍼니 대표는 8일 오전 서울 중구 신라호텔에서 열린 '제15회 정보보호의 날 기념식' 기조연설에서 "AI를 안전하게 쓸 수 있어야 기업과 개인이 안심하고 활용할 수 있다"며 이같이 밝혔다.
AI 쓰는데 누가 뭘 하는지 모른다…"볼 수 있어야 막는다"
윤 대표는 AI 보안을 자동차 안전벨트에 비유했다. 그는 "1959년 볼보가 자동차 안전벨트를 발명했을 당시 업계에서는 자동차 산업의 걸림돌이 될 것이라는 반응이 있었다"며 "하지만 안전벨트는 자동차를 느리게 만든 것이 아니라 더 빠르고 안전하게 달릴 수 있게 했다"고 말했다.
그는 현재 기업들이 AI 도입을 원하면서도 정보 유출과 통제 불가능성을 우려해 적극적으로 활용하지 못하고 있다고 봤다. AI 사고가 발생할 경우 비용이 커지고 있지만 상당수 기업은 AI 사용 현황을 모니터링하거나 통제하는 체계를 충분히 갖추지 못했다는 설명이다.
윤 대표는 대표적 위협으로 프롬프트 인젝션, 자율 에이전트 오작동, 딥페이크 사기를 꼽았다. 예를 들어 마이크로소프트(MS) 코파일럿처럼 회사 메일을 읽고 요약하거나 업무를 자동 처리하는 AI를 예로 들며 외부 공격자가 악성 링크나 명령을 심은 메일을 보낼 경우 직원이 이를 클릭하는 것만으로도 AI 에이전트가 위험한 행동을 수행할 수 있다고 설명했다.
그는 대응책으로 AI 사용 실태와 에이전트 행위를 먼저 들여다볼 수 있어야 한다고 강조했다. 윤 대표는 "볼 수 없으면 막을 수 없다"며 ▲AI 사용 현황 모니터링 ▲입력·출력 정보 관리 ▲프롬프트 인젝션 방어 ▲출력 검증 ▲에이전트 행위 통제 ▲데이터 격리와 주권 확보 ▲에이전트 신원 검증 ▲행위 로그 기록 등을 제시했다.
윤 대표는 "자동차 사고가 나면 블랙박스를 보듯 AI가 했던 행위도 모두 로그로 남겨야 사고 원인을 확인할 수 있다"며 "AI를 구축하거나 활용할 때 자동차 안전 시스템처럼 전체 안전 체계를 함께 고려해야 한다"고 말했다.
출처 | 뉴시스 (링크)
국내 보안 전문가들이 인공지능(AI)을 안전하게 쓰기 위한 통제 체계, 즉 'AI 안전벨트'를 먼저 갖춰야 한다고 입을 모았다. AI가 업무 생산성을 높이는 도구인 동시에 정보 유출, 프롬프트 인젝션(악의적인 명령을 입력해 정보 유출, 허위 정보 유포 등을 하도록 하는 사이버 공격), 딥페이크, 자동화 해킹 통로가 될 수 있기 때문이다.
윤두식 이로운앤컴퍼니 대표는 8일 오전 서울 중구 신라호텔에서 열린 '제15회 정보보호의 날 기념식' 기조연설에서 "AI를 안전하게 쓸 수 있어야 기업과 개인이 안심하고 활용할 수 있다"며 이같이 밝혔다.
AI 쓰는데 누가 뭘 하는지 모른다…"볼 수 있어야 막는다"
윤 대표는 AI 보안을 자동차 안전벨트에 비유했다. 그는 "1959년 볼보가 자동차 안전벨트를 발명했을 당시 업계에서는 자동차 산업의 걸림돌이 될 것이라는 반응이 있었다"며 "하지만 안전벨트는 자동차를 느리게 만든 것이 아니라 더 빠르고 안전하게 달릴 수 있게 했다"고 말했다.
그는 현재 기업들이 AI 도입을 원하면서도 정보 유출과 통제 불가능성을 우려해 적극적으로 활용하지 못하고 있다고 봤다. AI 사고가 발생할 경우 비용이 커지고 있지만 상당수 기업은 AI 사용 현황을 모니터링하거나 통제하는 체계를 충분히 갖추지 못했다는 설명이다.
윤 대표는 대표적 위협으로 프롬프트 인젝션, 자율 에이전트 오작동, 딥페이크 사기를 꼽았다. 예를 들어 마이크로소프트(MS) 코파일럿처럼 회사 메일을 읽고 요약하거나 업무를 자동 처리하는 AI를 예로 들며 외부 공격자가 악성 링크나 명령을 심은 메일을 보낼 경우 직원이 이를 클릭하는 것만으로도 AI 에이전트가 위험한 행동을 수행할 수 있다고 설명했다.
그는 대응책으로 AI 사용 실태와 에이전트 행위를 먼저 들여다볼 수 있어야 한다고 강조했다. 윤 대표는 "볼 수 없으면 막을 수 없다"며 ▲AI 사용 현황 모니터링 ▲입력·출력 정보 관리 ▲프롬프트 인젝션 방어 ▲출력 검증 ▲에이전트 행위 통제 ▲데이터 격리와 주권 확보 ▲에이전트 신원 검증 ▲행위 로그 기록 등을 제시했다.
윤 대표는 "자동차 사고가 나면 블랙박스를 보듯 AI가 했던 행위도 모두 로그로 남겨야 사고 원인을 확인할 수 있다"며 "AI를 구축하거나 활용할 때 자동차 안전 시스템처럼 전체 안전 체계를 함께 고려해야 한다"고 말했다.
출처 | 뉴시스 (링크)