과연 아군인가 적인가? 보안과 인공지능을 바라보는 두가지 시선 > Our Latest Insights

안녕하세요. 인텔렉추얼데이터입니다.

<터미네이터> 나 <2001 : 스페이스 오디세이> 같은 SF영화를 보면 인간을 위협하는 인공지능을 쉽게 만나볼 수 있습니다. 물론 현재의 인공지능(Artificial Intelligence, AI) 기술이 인류를 위협할 정도까지 발달한 것은 아니지만, 최근 빠르게 산업 곳곳에 생성형 AI가 적용되기 시작하면서 AI 시스템에 가해지는 공격, 그리고 AI 자체의 취약성이 조금씩 드러나고 있습니다.

우리는 이런 위험에서 어떻게 스스로를 보호해야 할까요? 극도로 발달한 AI는 정말로 영화에서나 나오던 아포칼립스를 일으킬 수 있을까요? 기계 학습 모델은 완벽하게 안전한 것일까요? 오늘은 아주 밀접한 관계인 보안과 인공지능에 대해 알아볼까 합니다.

인공 지능이란? 핵심적인 기본 개념 파헤치기

AI는 일반적으로 학습 알고리즘과 데이터 세트의 결합체로 구성됩니다. 머신 러닝(Machine Learning) 혹은 딥 러닝이 적용되어 학습을 수행할 수 있는 AI 알고리즘은 데이터 세트를 기반으로 각종 입력 정보에 대한 예측 및 분류를 수행합니다.

이런 '지능'이라는 용어는 과거의 경험을 통해 추론하고, 발견하고, 일반화하고, 학습하는 인간의 특성을 모방하는 데서 사용되었는데요. 최근 발달하고 있는 AI 알고리즘은 이런 되먹임(Feedback) 역할을 갖도록 만들어져 있어 데이터를 통해 '학습'된 경험을 바탕으로 목표로 하는 작업에 대한 접근 방법을 개선하거나 변경, 목표 수행을 위해 더 합리적인 행동을 할 수 있도록 스스로를 개선할 수 있게 됩니다.

보안 시스템 관리를 돕는 AI의 역할

현대 IT 시스템에는 복잡한 다량의 모니터링 데이터와 로그 데이터가 실시간으로 누적됩니다. AI는 이런 데이터를 신속하게 처리하여 이상 징후를 찾아내고 보안 제어에 대한 권장 사항을 제시하거나 조정할 수 있습니다. 인간은 직관을 통해 새로운 패턴을 탐지할 수 있지만, 수많은 데이터 속에서 특정 패턴을 식별하는 것에는 약합니다. AI는 이러한 탐지의 정확도를 빠르게 향상하여 이상 데이터를 필터링, 인간에게 제공합니다.

이를 통해 보안 관제를 수행하는 인력은 보다 더 중요한 경고에 집중하여 공격에 대응할 수 있게 됩니다. 하지만 반대로 공격자 역시 인공 지능을 악용하여 시스템에 대한 악의적 접근을 할 수 있게 됩니다.

사이버 공격 고도화에 악용되는 AI

생성형 AI(Generative AI)는 텍스트, 이미지, 비디오, 음악을 창의적으로 생성하는 AI 모델입니다. 공격자측은 이 모델을 활용하여 맬웨어 코드, 피싱 이메일, 사기, 음성/영상 사칭 사기에 콘텐츠를 만들고 있습니다. AI 모델에 대한 수요가 증가하며 이런 서비스의 공급 및 품질이 대폭 개선되고 증가하고 있는데요. 그러면서 이러한 공격도 대폭 증가하게 되었습니다. 방어자가 효율적으로 방어할 수 있다는 것은, 공격자 역시 사람이 작업하던 시간을 대폭 줄여서 보다 '효율적'으로 공격에 필요한 도구를 생성하고 다양한 포트나 방식을 통해 자동화된 공격을 할 수 있다는 것입니다.

공격자는 AI 시스템에 이름, 주소, 생일, 비밀번호 , 결제 카드, 건강 정보, 전화번호 및 기타 형태의 민감한 개인 정보가 포함된 대규모 데이터세트를 학습시켜 시스템이 보유하고 있는 민감한 데이터를 공개하도록 프롬프트를 변경하여 민감한 정보를 공개하는 것을 목표로 합니다.

AI를 대상으로 하는 사이버 공격의 위험성

또 다른 위협은 바로 AI 자체를 대상으로 하는 공격입니다. 대부분의 경우 기계 학습 모델은 알 수 없거나 새로운 데이터 대신 훈련 데이터가 제공될 때 더욱 강력한 신뢰도 응답을 출력하는데, MI(Membership Inference)라는 공격을 통해 공격자가 의도한대로 훈련 데이터를 재구성할 경우 AI는 제대로 된 응답을 할 수 없게 됩니다.

최근 공격자는 SMI(Strong Membership Inference)라는 공격을 수행하고 있는데, 이는 MI와 추론 공격의 결합을 통한 공격입니다. 이는 훈련 데이터 세트에 가까운 데이터를 입력 받으면 유사한 답을 출력하는 생성형 AI의 한계를 공격하는 것으로, 보다 완화된 AI 개념인 AAI(근사 속성 추론)을 통해 방어할 수 있습니다.

그 외에 정보를 변조하여 분류 오류에 대한 사각 지대를 생성하는 회피 공격과 머신러닝 모델을 표적으로 삼아 훈련 데이터를 추출하는 추론 공격 등이 있습니다.

AI를 대상으로 하는 공격, 효과적인 방어 방법은?

적응형 학습을 기반으로 구축된 모든 것에는 항상 잘못된 정보가 심어져 악용될 수 있습니다. 이는 인간 역시 마찬가지입니다. 물론 인간에게는 데이터를 더 자율적으로 해석할 수 있는 지능이 있지만 AI는 논리적으로 알고리즘에만 의해 작동하고 그 알고리즘은 일반적으로 블랙박스의 형태로 작동하기 때문에 알고리즘의 취약성이 공격당해서 오염되기 시작하면 이를 쉽게 확인하기 힘들다는 문제점이 있습니다.

모든 방어 메커니즘과 마찬가지로, 시스템을 공격으로부터 보호하는데는 다양한 제어 기능 구현을 포함한 복합적인 방어 정책을 수행하는 것이 가장 최선의 방법입니다.

그 방법 중 하나인 교육 및 원본 데이터에 대한 지속적인 검토 및 평가는 매우 중요한 영역입니다. 이는 모든 AI의 가장 중요한 약점 중 하나로, 모델에 사용된 정보가 손상된 경우 영향 평가 및 복구에 대한 작업을 신속하게 할 수 있도록 합니다.

또한 솔루션 라이프사이클 전반에 걸친 지속적인 데이터 보안 분석 및 개선을 통해 학습 데이터의 오염 가능성을 줄일 수 있습니다. AI 시스템이 산업에 점점 더 적용될 수록 새로운 공격, 취약점, 익스플로잇이 매일 등장합니다. 개발, 유지, 보수 등 솔루션의 전반적인 라이프사이클에 관여하는 사이버 보안 팀, 개발자 및 데이터 엔지니어 간의 유기적 협업은 매우 중요합니다.

또한 AI가 적용되는 인프라에도 적절한 보호가 필요합니다. 특히 거버넌스 및 도구를 개선하는 것이 가장 가시적이고 중요한 방법 중 하나일 것입니다.

미국과 중국의 갈등 격화! 사이버 냉전 시대의 시작?

올해 가장 많이 뉴스에 오르내릴 무역 이슈로는 단연 미국과 중국의 충돌이 꼽힙니다. 실제로 지난 1기 정부 시기 미-중 무역분쟁을 시작했던 도널드 트럼프 당선인이 지난 20일 미국 대통령에 공식 취임하면서 새롭게 미-중간 갈등이 다시 재점화될 가능성이 매우 높아 보이는데요. 이미 트럼프 당선인은 중국에 대한 공세와 압박에 적극 나설 것임을 본인의 SNS 등을 통해 수 차례 언급한 적 있었습니다. 중국에 강력한 보복 관세를 물리는 것은 물론 반도체 부문 등 각종 규제를 통해 중국을 옥죄겠다는 의지를 노골적으로 천명해 왔죠.트럼프 대통령 2기의 시작, 새로운 사이버 냉전의 시작 통상뿐만 아닙니다. 양국간의 사이버 전쟁 역시 치열하게 벌어지고 있습니다. 바로 한국시간 17일, 블룸버그는 지난해 말 있었던 미국 재무부 해킹 당시, 중국 해커가 재닛 옐런 재무장관의 컴퓨터까지 침입, 비밀로 지정되지 않은 40여 개의 파일에 접근했다고 보도했습니다. 해커들은 또한 윌리 아데예모 재무부 부장관과 브래드 스미스 차관 대행의 컴퓨터에도 침투한 것으로 전해졌는데요. 미 재무부는 중국 해커들이 400대 이상의 노트북, 데스크톱 컴퓨터와 함께 재무부 고위 관리들의 컴퓨터에 침입해 직원들이 사용하는 유저명과 비밀번호는 물론 기밀이 아닌 3,000개 이상의 파일에 접근했다고 언급했습니다. 다만 해커들은 제재와 정보 및 국제 문제에서 재무부의 역할 파악에 초점을 맞췄고 내부 이메일이나 기밀 시스템에는 침투하지 못했다고 설명했습니다.재무부는 해당 사건에 대해 여러 정황을 토대로 중국 정부가 후원하는 APT(Advanced Persistent Threat / 지능형 지속 위협) 행위자의 소행으로 분석했습니다. 하지만 미국이 밝힌 중국의 공격은 이 뿐만이 아니었습니다. 미 연방수사국(FBI)이 중국의 사이버 공격과 관련하여 중국 당국의 지원을 받는 것으로 알려진 볼트 타이푼(Volt Typhoon), 솔트 타이푼(Salt Typhoon), 플랙스 타이푼(Flax Typhoon)등 3개의 거대 사이버 스파이 활동 조직을 확보, 그 위협 요인을 제거하거나 피해를 복구 중이라는 보도가 월스트리트 저널을 통해 보도된 바 있었습니다.미국을 대상으로 하는 중국의 대규모 해킹 공격가장 최근 적발된 사이버 공격집단인 플랙스 타이푼은 중국 기업 '인티그리티 테크놀로지 그룹'의 지원을 받는 사이버 해커 조직입니다. 지난 1월 4일 미 재무부가 성명을 통해 발표한 내용도 이런 내용을 뒷받침합니다. 재무부는 "Integrity Technology Group(이하 인티그리티)이 중국 정보국의 지시를 받는 대규모 해킹그룹 Flax Typhoon(플랙스 타이푼)을 지원했다"고 발표했습니다. 인티그리티는 중국 베이징에 위치한 기업으로 중국 정부와 대규모 계약 관계에 있는 회사인데, 이 집단은 미국과 베트남, 루마니아 등 19개국에서 26만개가 넘는 소규모 사무실과 홈오피스 네트워크망, 사물인터넷(loT) 등에 악성 소프트웨어를 심는 방식으로 활동해왔습니다. 심지어 솔트 타이푼은 미 법무부의 감청 시스템에까지 파고들어 전화번호 데이터 등 민감한 정보를 빼냈다는 의혹도 제기됐습니다.중국 정부의 반박과 미국측 사이버 공격에 대한 갈등 양상이에 대해 중국도 강하게 반격에 나섰습니다. 중국 정부는 미 재무부의 발표에 대해 노골적으로 불만을 표하며 인터그리티와 플랙스 타이푼 간 의혹과 관련해 "정치적 목적에서 비롯된 허위 정보"고 반격했습니다. 또한 중국 국가인터넷응급센터(CNCERT)는 "2023년 두 차례에 걸쳐 미국이 첨단 기술 기업을 대상으로 사이버 공격을 감행, 대량의 무역 비밀이 유출됐다"고 발표했습니다. 특히 첨단 소재 연구소와 지능형 에너지 기업이 공격 대상이었다고 밝혔습니다.미국과 중국의 이런 날 선 해킹 공방은 단순한 사이버 공격을 넘어 총체적 갈등의 연장선으로 보이는데요. 단순히 갈등 구도를 떠나 미국 정부는 중국이 자국 정부와 연관된 해커들을 활용해 대규모 스파이 활동을 벌이고 있을 것이라는 추정 하에 실제로 조사에 나서는 등 이를 기정사실화하고 있습니다. 이러한 상황에서 트럼프 행정부가 공식 출범하면 더 강경하게 대중국 보복 조치에 나설 가능성이 매우 높아 보입니다.트럼프 정부 출범으로 예상되는 중국 제재조치 중국에 대한 미국의 사이버전쟁 구도 역시 어느 정도 알려지고 있는데요. 뉴욕타임스에 따르면 미국 상무부는 중국전신(中國電信)의 미국 내 사업을 전면 금지하는 절차에 돌입했다고 합니다. 실제 미국 상무부는 중국전신 미국 법인(China Telecom Americas)에 제재 절차의 근거가 적시된 예비조사 결과를 통보, 여기에는 중국전신 미국법인의 미국 통신망 잔류와 클라우드 서비스 제공이 미국의 국가안보에 위협이 된다는 내용이 구체적으로 담겨 있다고 합니다. 이 같은 처분은 트럼프 정부의 출범과 함께 단행될 것이 거의 확실해 보입니다.이 사건 이후 백악관의 제이크 설리번 국가안보 보좌관과 앤 노이버거 사이버 및 신흥 기술 담당 국가안보부 보좌관은 미국 주요 통신사 경영진을 초청해 해킹 관련 정보 공유 회의를 열고, 참석자들은 중국의 사이버 공격 표적은 미국 정부 네트워크는 물론이고 미국 업계 전체를 대상으로 하고 있다고 했습니다. 심지어 J.D. 밴스 부통령 당선인은 자신의 휴대전화가 중국 해커에 의해 해킹 당했다고 말하기도 했습니다. 실제로 AP통신은 지난 10월 25일 중국 해커들이 밴스 부통령 후보뿐 아니라 도널드 트럼프 대통령 후보의 휴대전화에 대해 해킹을 시도했다고 보도한 적 있습니다.그 뿐만이 아닙니다. 차기 백악관 국가안보 보좌관으로 지명된 마이크 왈츠 연방 하원의원은 현지시간 15일, 중국의 해킹 공격에 강력한 경고를 보냈는데요. 그는 미 CBS와의 화상 인터뷰에서 중국이 최소 8개의 미국 통신회사를 해킹해 고위 당국자와 정치인의 통신 기록에 접근했다는 당국의 발표에 대해 "완전히 용납할 수 없는 일이고, 훨씬 더 강력한 입장을 취해야 한다"라 하며, "우리는 공격을 가하고 계속 우리의 데이터를 훔치고 염탐하는 민간 및 국가 행위자에게 더 비싼 비용과 대가를 부과해야 한다"고 강조했습니다.미중 양국의 사이버 공격에 대한 긴장과 갈등 고조VOA 역시 미중 충돌과 대비하여 중국 해커들이 사이버전을 준비하고 있다는 모건 애덤스키 미국 사이버사령부 사무총장의 발언을 인용하여 작년 11월 있었던 사이버워콘 보안 컨퍼런스 연설에서 중국과 연관된 사이버 작전들이 미국과의 주요 갈등 국면에서 이득을 얻기 위한 목적으로 이뤄지고 있다고 보도했습니다. 모건 사무총장은 중국 연계 해커들이 네트워크를 침해하고 갈등 상황에서 파괴적 공격을 실행하기 위한 준비를 진행해왔으며, 주요 시설의 난방, 환기, 공조 시스템을 조작하고 에너지 및 수도 통제 시스템을 방해하는 등의 잠재적 혼란을 일으킬 수 있다고 했죠. 그러면서 "미국 정부가 중국의 사이버 작전을 약화하고 방해하기 위해 동시다발적이고 공격적이며 동시에 방어적인 활동을 전 세계적으로 실행했다"고 첨언했습니다.그런 이유에서 인지 미국 조 바이든 행정부는 16일(현지시간) 정부, 기업 및 개인 등을 대상으로 한 사이버 공격에 대한 방어 체계 강화를 위한 행정명령을 발표했습니다. 비단 트럼프 행정부뿐 아니라 바이든 행정부도 이를 실재하는 위협으로 보고 있다는 것이죠. 백악관 국가안보회의(NSC)가 이날 공개한 설명자료에 따르면 이번 행정명령은 랜섬웨어 공격을 포함한 사이버 공격자를 처벌하기 위한 제재의 효과성을 강화하도록 했다고 합니다.더욱 강화되는 미국의 보안 기준과 개인정보보호 정책이번 행정명령에 포함된 내용은 강화된 보안 기준을 적용해 소프트웨어를 개발하고 있다는 증거를 요구하고, 개인정보보호를 위한 모바일 운전면허증과 같은 디지털 신분증 및 검증 시스템 도입을 촉진하며, 피싱 방지를 위한 최신 기술 사용을 촉진하고, 이메일과 화상회의를 포함한 연방 통신망 보호를 위한 암호화 사용을 요구했습니다. 또한 미래의 보안 요건 역시 충실히 반영했습니다. 에너지 분야의 중요 인프라에 대한 사이버 방어를 위해 인공지능 기술을 사용하도록 촉진하는 내용과 함께 양자내성암호(PQC) 도입을 가속하는 내용도 포함하고 있죠.바이든 대통령은 이날 행정명령에 서명하면서 "사이버 공격을 통한 악의적인 활동은 미국의 국가 안보, 외교 정책, 경제에 계속해서 비정상적이고 특별한 위협을 가하고 있다"면서 "제가 발표한 행정명령 제9조는 이러한 국가적 비상사태를 해결하고 미국과 동맹 및 파트너국에 대한 사이버 공격을 통한 악의적인 활동의 증가 및 진화하는 위협으로부터 보호하기 위한 것"이라고 밝혔습니다.미중 사이버 분쟁은 이제 더 이상 경고나 아젠다, 헤게모니 확보 차원에서 요구되는 이슈가 아닙니다. 특히나 사이버공격의 특징 상, 온라인 상태만 되어 있다면 국적을 가리지 않고 피해를 입을 수 있기에 양국 사이에서 조율을 해야만 하는 한국의 경우는 보안 사고나 유출에 더욱 주의해야 할 것입니다.

Jan 23 2025

Company

Insights Insights

전문가들이 분석한 최신 업계 동향과 인사이트를 확인하세요. 전문가들이 분석한 최신 업계 동향과
인사이트를 확인하세요.

과연 아군인가 적인가? 보안과 인공지능을 바라보는 두가지 시선

중국발 인공지능 쇼크, 딥 시크! 계속되는 개인정보 탈취 논란!

미국과 중국의 갈등 격화! 사이버 냉전 시대의 시작?

제출이 완료되었습니다.

Company

Insights Insights

전문가들이 분석한 최신 업계 동향과 인사이트를 확인하세요. 전문가들이 분석한 최신 업계 동향과 인사이트를 확인하세요.

과연 아군인가 적인가? 보안과 인공지능을 바라보는 두가지 시선

중국발 인공지능 쇼크, 딥 시크! 계속되는 개인정보 탈취 논란!

미국과 중국의 갈등 격화! 사이버 냉전 시대의 시작?

제출이 완료되었습니다.

전문가들이 분석한 최신 업계 동향과 인사이트를 확인하세요. 전문가들이 분석한 최신 업계 동향과
인사이트를 확인하세요.