Jev로 채팅앱에 AI 부조종사, 의도 파악하되 전송은 안 해

TypeSafe가 최근 오픈소스로 공개한 "System One Model"이라는 것, 즉 Jev는 문자열 생성을 포기하고 타입 안전한 확률적 결정을 직접 출력하는 모델로, 소프트웨어 안의 분류/라우팅/스코어링 같은 작업을 위해 태어났다.

물론 Jev를 "함수 호출 한 번 수준의 지능"으로 이해하는 게 가장 직관적이다. 비정형 상태를 입력받아 타입 안전한 확률적 결정을 출력하고, 마치 한 줄의 코드처럼 소프트웨어에 바로 집어넣어 쓸 수 있다. 주류 LLM과 가장 큰 차이는 문자열 생성을 아예 "포기했다"는 점이다. 텍스트를 토해내지 않고, 토큰 시퀀스를 생성하지도 않으며, 대신 모든 구조화된 결과를 병렬로 한 번에 출력한다. 그래서 환각이 없고, 타입 오류도 범하지 않는다(출력 구조가 미리 정의되어 있어 모델이 타입이 맞지 않는 값을 쓸 수 없다). 게다가 매 답변마다 보정된 신뢰도를 함께 제공한다.

Jev라는 이름도 꽤 흥미롭다. System One은 카너먼의 《생각에 관한 생각(빠른 생각, 느린 생각)》에서 직관을 주도하는 System 1에서 따왔다. Jev는 경제학자 윌리엄 스탠리 제번스에서 왔다. 제번스 역설은 증기기관의 효율이 향상되면 오히려 석탄 수요가 폭증한다고 말한다. TypeSafe는 이 이름을 빌려 지능의 비용이 한 자릿수(10배) 떨어질 때마다 더 많은 자릿수의 사용 사례가 열린다는 뜻을 표현하려 한 것이다. 이 논리가 성립하는지는 Jev가 홍보한 대로 실제 생산 환경에서 취약한 수작업 규칙들을 대체할 수 있는지에 달려 있다.

당시 사람들의 Jev에 대한 인식은 아직 "무엇을 할 수 있는가"라는 개념 수준에 머물러 있었다. 이제 누군가 그것을 실제 시나리오에 연결했다. GitHub에 오늘 등장한 Kotlin 프로젝트 jev-chat-JARVIS가 Jev로 채팅 부조종사를 만든 것이다. 지금 사용 중인 채팅 창 옆에 떠서 상대방의 의도를 읽고, 몇 가지 후보 답장을 제시해 입력창에 채워 넣되, 전송은 언제나 사용자가 직접 버튼을 누른다.

그것은 Jev를 가장 적합한 곳에 사용했다. 판단 모델은 채팅과 장문 작성에 약하지만, "상대가 무슨 말을 하는지, 위험 등급이 얼마나 높은지, 당장 답장해야 하는지, 어떤 동작으로 응답해야 하는지"를 판단하는 것은 바로 Jev가 가진 "분류/스코어링/라우팅"이 가장 잘하는 일이다. 프로젝트에서 이 단계는 이렇다. Jev가 한 번의 요청으로 모든 문제를 보내 약 1초 만에 반환하고, 그다음 생성 모델(기본값 DeepSeek)이 후보 답장 3개를 초안하고, 다시 Jev가 이 3개를 정렬하며, 마지막으로 반투명 플로팅 창으로 표시한다. 판단 모델은 분석과 정렬을, 생성 모델은 초안 작성을 맡아 각자 잘하는 일을 한다. 이것이 바로 System One Model이 설계 초기에 쓰이기를 바랐던 모습이다.

수집 계층은 또 다른 기술로, "비침습" 노선을 걸는다. hook하지 않고, 패키지를 수정하지 않고, 앱의 API를 거치지 않고, 오직 화면의 접근성 서비스에서 현재 표시 중인 대화를 읽는다. 그래서 플랫폼이 바뀌어도 바뀌는 것은 수집 방식뿐이며, 판단과 생성이라는 핵심은 건드릴 필요가 없다. 웨이신(Android)이 첫 기착지로 이미 작동이 검증됐고, 휴대폰 QQ 어댑터가 연결됐으며, 페이수는 수집·배포가 연결됐지만 본문이 자체 렌더링 컨트롤이라 스크린샷과 OCR을 거쳐야 한다(아직 보완 중). 웨이신 8.0.52+는 접근성 노드를 난독화하는데, 프로젝트는 서비스 클래스명을 시스템 내장 SelectToSpeakService로 위장해야 말풍선을 읽을 수 있다(실측 8.0.78에서 유효). QQ 노드는 난독화되지 않아 id대로 작성하면 된다.

웨이신 / QQ / 페이수 채팅 ──(접근성으로 노드 읽기)──▶ 최근 메시지 수집 │ ┌───────────────────┴───────────────────┐ ▼ ▼ Jev 판단(한 번에 7문항) 생성 모델이 후보 3개 초안 의도 / 위험 / 요구 / 동작 / 답장 여부 │ └───────────────────┬───────────────────┘ ▼ Jev가 후보 3개 정렬 ▼ 반투명 플로팅 창 표시 → 복사 / 입력(전송 안 함)

TypeSafe가 앞서 했던 "지능의 비용이 한 자릿수 떨어질 때마다 더 많은 자릿수의 사용 사례가 열린다"는 말이 이 프로젝트에서 어느 정도 실현된 셈이다. Jev는 입력 토큰 100만 개당 $0.042, 출력 무료, 응답 70ms에서 500ms로 저렴해서, "아무 채팅에나 항상 켜져 있는 실시간 분석 계층을 붙인다"는 일이 비용상 가능해졌다. 더 이상 고급 사용자만 누릴 수 있는 아키텍처가 아니다.

주목할 만한 세부는 경계를 아주 명확히 그었다는 점이다. 프로그램은 메시지를 읽기만 하고, 답장을 입력창에 채워 넣기만 하며, 결코 자동 전송하지 않고, "송금/홍바오/수금은 건드리지 않는다"고 명시하고 있다. 당신의 채팅 내용을 읽을 수 있는 도구로서, 이 자기 제약이 아마도 그것이 오픈소스를 감행할 수 있는 자신감일 것이다.

출처:

- jev-chat-JARVIS - GitHub

- Introducing System One Models & Jev - TypeSafe AI Blog

- TypeSafe Jev