26종 모델 안전 프롬프트 툴킷 오픈소스로 공개

대규모 언어 모델(LLM)의 안전성과 제어 가능성 연구에서 지시 계층이 모델 행동에 미치는 미시적 영향을 이해하는 것은 고저항성 시스템을 구축하는 핵심이다. 현재 업계의 문제점은 서로 다른 안전 제약 아래에서 모델 성능의 차이를 직관적으로 보여줄 수 있는 체계적이고 모델 계열을 아우르는 프롬프트 도구 키트가 부재하다는 점이다. 이 노트는 오픈소스 프로젝트 togg53192-cmd/jailbreaks [1]를 기반으로, 26개 이상의 프런티어 및 오픈소스 모델을 아우르는 프롬프트 구성 집합을 심층 분석하며, 연구자에게 붙여넣기 가능하고 감사 가능한 엔지니어링 참고 자료를 제공하여 시스템 프롬프트, 역할 설정, 워크스페이스 전략이 지시 조작 방어에서 갖는 실제 효용을 밝히는 것을 목표로 한다.

아키텍처 전경: 전 생태계를 아우르는 지시 엔지니어링 매트릭스

이 집합의 핵심 가치는 그 커버리지의 폭과 깊이에 있다. 이는 32개의 완전한 프롬프트 템플릿을 수록하고 있으며, OpenCode Zen, GLM, DeepSeek, Kimi, Qwen 등의 오픈 웨이트 모델은 물론 Claude, Gemini, GPT-OSS, Grok 등의 클로즈드소스 프런티어 모델까지 대상으로 한다 [1]. 이러한 생태계 간 비교 관점은 연구자로 하여금 서로 다른 학습 패러다임 아래의 모델이 동일한 지시 집합에 반응하는 차이를 관찰할 수 있게 한다. 콘텐츠 형식은 전통적인 System Prompt에 국한되지 않고, AGENTS.md라는 새롭게 부상하는 코딩 에이전트 워크스페이스 규범과 Ollama의 로컬라이제이션 구성 블록까지 확장된다. 코딩 작업과 관련된 모델의 경우, 워크스페이스 지시 형식에 맞춰 구성을 특별히 최적화하여, 범용 프롬프트가 특정 Agent 프레임워크에서 형식 불일치로 인해 지시가 유실되거나 가중치가 낮아지는 문제를 해결한다 [1].

지시 계층과 역할 프레임워크의 심층 분석

지시 충돌과 역할 프레임워크(Persona Framing)의 영향을 효과적으로 기록하기 위해, 이 도구 키트는 프롬프트를 계층별로 분류한다. 연구자는 "자유 발휘" 모드와 "엄격한 역할 고정" 모드에서의 출력 차이를 비교함으로써, 역할 설정이 경계 행동에 대한 구속력을 정량화한다. 예를 들어 Grok 또는 Claude를 대상으로 한 구성에서는 전역 영속 지시 환경(예: OpenCode 설치 구성)과 Harness 특정 구성이 공존하여, 다계층 지시가 중첩될 때의 우선순위 경합을 보여준다 [1]. 이러한 구조화된 분류 방법은 "프롬프트 인젝션" 공격면의 식별을 모호한 블랙박스 테스트에서 계층 분석 기반의 화이트박스 감사로 전환시킨다. 특히 주목할 점은 "무료 은밀 모델"을 겨냥한 전용 구성으로, 자원이 제한된 시나리오에서 최소화된 지시 오버헤드로 핵심 안전 전략의 효용을 유지하는 방법을 밝혀낸다는 것이다.

통합 경로와 엔지니어링 구현

실제 엔지니어링 배포에서 이 구성들은 세 가지 명확한 통합 경로를 제공한다. 첫째, 직접 API 통합: 프롬프트를 요청 헤더의 system 필드에 붙여넣는 방식으로, 표준 LLM 호출 시나리오에 적합하다. 둘째, 워크스페이스 통합: AGENTS.md 파일을 생성하여 코딩 에이전트가 로컬 개발 환경에서 안전 제약을 자동으로 로드하도록 하여 "환경이 곧 코드"라는 안전 거버넌스를 구현한다. 셋째, 로컬 모델 커스터마이징: Ollama 명령을 이용해 프롬프트를 모델 계층에 기록(burn-in)하여 커스터마이징된 로컬 안전 모델을 생성한다 [1]. 이러한 다중 모달 통합 방식은 클라우드 API든 로컬 프라이빗 배포든 안전 전략의 일관성을 보장한다. 다만 서로 다른 코딩 에이전트 도구는 AGENTS.md의 파싱 로직에 차이가 있어, 일부 도구는 최상위 지시만 인식하는 반면 다른 도구는 중첩된 조건 분기 로직을 지원하므로, 개발자는 구성을 이식할 때 대상 도구의 파싱 능력을 세심하게 검증해야 한다 [1].

동적 시효성과 버전 거버넌스

LLM의 안전성은 정적 속성이 아니며, 모델 버전의 반복은 종종 기존 프롬프트 전략을 무효화한다. 이 집합은 버전 민감성을 강조하며, 시스템 프롬프트의 미세한 조정이 특정 탈옥 지시에 대한 모델의 응답 임계값을 바꿀 수 있음을 지적한다 [1]. 따라서 프로젝트는 엄격한 커뮤니티 기여 규범을 확립했다. 각 프롬프트는 독립된 파일로 작성하고, 파일명은 소문자 하이픈 형식을 채택하며, 내용은 반드시 완전하게 붙여넣기 가능한 상태를 유지해야 하고 요약화를 엄금한다. 기여자는 파일이 적용되는 지시 계층(예: 시스템 프롬프트, 구성 슬롯)을 명확히 표기해야 하며, 버전 번호로 중대한 업데이트를 구분해야 한다. 이러한 엔지니어링화된 버전 거버넌스 메커니즘은 집합이 빠르게 반복되는 LLM 환경에서 시효성을 유지하도록 보장하며, 낡은 정적 문서로 전락하지 않게 한다.

연구 관점에서의 방어 테스트 사례 설계

이 도구 키트를 기반으로, "탈옥" 구성을 방어 메커니즘으로 전환하는 테스트 사례 설계 논리는 다음과 같다. 먼저 기준선 대조군을 세우고, 어떠한 특수 지시도 추가하지 않은 표준 모델을 사용한다. 다음으로 "역할 고정" 군을 도입하여 강한 역할 설정이 민감한 주제 응답을 억제하는 효과를 테스트한다. 마지막으로 "지시 충돌" 군을 도입하여 사용자의 악의적 인젝션과 시스템 안전 지시가 충돌하는 시나리오를 모의한다. 이 세 군이 동일한 민감 테스트 세트에서 보이는 출력 차이를 비교함으로써 서로 다른 프롬프트 전략의 방어 이득을 정량화할 수 있다. 예를 들어 코딩 에이전트 시나리오에서는 악의적인 SQL을 포함한 AGENTS.md 조각을 인젝션하여, 에이전트가 안전 필터링을 수행하는지 아니면 파일 지시를 맹목적으로 따르는지를 관찰함으로써 워크스페이스 전략의 견고성을 평가한다 [1]. 이러한 복제 가능한 구성 기반 테스트 방법은 안전 연구의 재현 문턱을 크게 낮춘다.

정리

26개 이상의 모델을 겨냥한 이 프롬프트 구성 집합은 단순한 기술 도구상자에 그치지 않고, LLM 행동 제어론에 관한 하나의 연구 프레임워크이다. 이는 추상적인 안전 개념을 실행 가능한 코드 파일로 구체화함으로써 이론적 방어에서 엔지니어링 실천까지의 마지막 구간을 연결한다. 고저항성 AI 시스템 구축에 매진하는 개발자와 연구자에게는 지시 계층 간의 충돌과 협력을 이해하는 것이 단순히 안전 키워드를 쌓는 것보다 훨씬 중요하다. 이 집합을 지속적으로 유지하는 커뮤니티 메커니즘 역시 모델 진화가 가져오는 안전 경계의 표류를 추적할 수 있는 귀중한 데이터 소스를 제공한다.