Your developers are already running AI locally: Why on-device inference is the CISO’s new blind spot
Summary
기업 내부 개발자들이 클라우드 대신 로컬 장치에서 AI 모델을 실행하면서 발생하는 보안 관리의 사각지대와 대응 방안에 대한 분석.
Key Points
- 전통적인 클라우드 기반 AI 제어 방식(CASB 등)이 로컬 추론(Shadow AI 2.0)으로 인해 무력화됨.
- 고성능 노트북 하드웨어, 모델 양자화 기술, 편리한 배포 생태계가 로컬 LLM 실행을 보편화함.
- 로컬 실행 시 데이터 유출 방지(DLP) 시스템이 작동하지 않아 관리되지 않는 인프라 위험이 증가함.
- 기술팀 사이에서는 70B급 모델도 로컬에서 실용적인 속도로 구동 가능한 수준에 도달함.
Notable Quotes & Details
Notable Data / Quotes
- MacBook Pro with 64GB unified memory can often run quantized 70B-class models
Intended Audience
CISO, 보안 책임자, IT 관리자