딥시크 보안, 심각한 구멍...역할극 공격 83% 성공

요약

중국 개발 생성형 AI 딥시크가 탈옥 및 역할극 공격을 통해 악성코드, 사이버보안 관련 취약점 진단 결과로 JSON 기반 입력에 대해 취약점을 높은것으로 나타났다

출처 : 보안뉴스

 

 

 

개선방안

1. 프롬프트 인젝션 방지 강화

• 입력 검증 강화: JSON 및 기타 구조화된 입력값을 분석하여 악의적인 패턴을 탐지하는 필터링 시스템을 도입.
• 프롬프트 난독화 기법 적용: 공격자가 의도적으로 입력한 특정 패턴을 무력화하는 난독화 기법 적용.
• 컨텍스트 기반 필터링: 이전 대화 기록을 분석하여 악성 입력 시도를 감지하고 차단하는 기능 추가.

2. 탈옥(Jailbreaking) 공격 대응 강화

• 모델 훈련 시 안전성 강화: AI 모델 학습 시 민감한 정보를 포함한 데이터 응답을 제한하는 강화 학습 도입.
• 출력 필터링 시스템 개선: 공격 성공률이 높은 특정 유형의 응답 패턴을 사전에 차단하는 필터링 강화.
• 리얼타임 모니터링: AI 응답을 실시간으로 분석하여 비정상적인 출력을 감지하고 자동 차단.

3. 악성코드 생성 및 사이버 보안 취약점 대응

• 보안 정책 내장 모델 적용: AI가 보안 취약점이나 악성코드 생성을 지원하는 응답을 제공하지 않도록 정책 기반 필터링 적용.
• 사이버 보안 협업 강화: 보안 기관 및 연구소와 협력하여 최신 보안 위협 정보를 반영한 대응책 지속 업데이트.
• 의도 감지 시스템 도입: AI가 악성 요청을 분석하고 의도를 감지하여 차단하는 AI 기반 필터링 기술 적용.

4. 다국어 대응 및 필터링 강화

• 다국어 필터링 개선: 한국어 기반 공격에 대한 취약성이 높은 만큼, 한국어 데이터셋을 추가 학습하고 다국어 필터링을 강화.
• 다국어 보안 테스트 수행: 영어뿐만 아니라 다양한 언어 환경에서의 보안성을 검증하여 취약점을 지속적으로 개선.
• 문화적 차이 반영 필터링: 언어별 특성을 고려한 맞춤형 필터링 시스템을 적용하여 악용 가능성을 최소화.

 

 

 

 

출처

딥시크 보안, 심각한 구멍...역할극 공격 83% 성공