AI로 만든 크로스플랫폼 PopClip, 拾趣 Magpie

소스 코드: github.com/demo007x/Ma…

공식 사이트(데모 스크린샷, 권한 설명, 설치 튜토리얼): fm126.top

PopClip은 벌써 15년이나 됐는데, 왜 나는 직접 단어 선택 도구를 하나 만들었을까?

먼저 내가 무엇을 만들었는지 분명히 말하자면: 拾趣(Magpie), 무료 오픈소스 macOS 소도구다. 화면에서 마우스로 아무 글자나 드래그해서 선택하면, 글자 옆에 작은 바가 튀어나오고 그 위에 몇 개의 버튼이 있다: 번역, 요약, 설명, 검색, 복사, 링크 열기, 메일 쓰기, 인증번호 복사.

한 번 클릭하면 결과가 나오고, 빈 곳을 클릭하면 사라진다. 화면에서 선택할 수 없는 글자(이미지, 스캔본, 영상 자막)는 영역을 캡처해서 인식시킬 수 있다.

그게 전부다. 알림을 띄우지 않고, 기본적으로 메뉴 막대에 상주하며 Dock을 차지하지 않고(아이콘을 표시하고 싶으면 켤 수 있다), 보고 있는 것을 방해하지 않으며, 하루 종일 백그라운드에 떠 있다.

소스 코드 github.com/demo007x/Ma… ｜ 공식 사이트 fm126.top ｜ 현재 0.1.6

내가 이것을 쓰게 되는 세 가지 순간

영어 PDF를 읽을 때. 단어 하나를 선택하고, 우클릭하고, 아래로 내려 "서비스"를 찾고, 그 안에서 다시 번역을 찾고, 시스템이 반투명 창을 띄우길 기다리고, 다 보고 나서 닫기 버튼을 찾고, 그러고 나면 방금 어디까지 읽었는지 잊어버린다. 당신이 원한 것은 사실 "번역"뿐인데, 중간의 네 번의 클릭은 순전히 메뉴를 찾는 짓이다.

당신이 원하는 것은 "중국어로 번역"만이 아니다. 영어 자료를 읽을 때, 어떤 용어가 무슨 뜻인지, 이 문단이 왜 중요한지, 이 전체 문단을 요약해 달라——이런 것들은 우클릭 메뉴가 하나도 제공하지 않고, 그 시스템 서비스는 문자 그대로의 뜻만 번역해 줄 뿐이다. 물어보고 싶으면 복사하고, 다른 소프트웨어로 전환하고, 붙여넣고, 다시 물어보고, 다 물어본 뒤에는 다시 돌아와야 한다.

글자가 텍스트 레이어에 없을 때. 제품 스크린샷 속의 주소, 스캔본 논문의 한 페이지 전체, 회의 PPT를 찍은 사진. 이럴 때는 세상에서 가장 좋은 단어 선택 도구도 소용없다. 선택할 수 있는 텍스트가 전혀 없기 때문이다.

이 세 가지를 합치면, 그것이 나의 하루 종일의 텍스트 진입점이다.

이 카테고리에 제품이 없는 게 아니다

단어 선택 도구는 새로운 발명이 아니다. PopClip은 2011년에 나왔고, 15년은 실로 15년이며, $17 일시불 구매, Setapp에도 있고, 200개가 넘는 확장, 이 카테고리의 교과서다.

그것의 문제는 시대에 따른 것이다: 그것의 동작은 확장으로 짜맞춘 것이고, AI 부분은 나중에 덧붙인 것(확장을 연결해야 하고, Key를 설정해야 하고, 결과는 별도 창으로 돌아온다)이며, 이미지 속 글자는 신경 쓰지 않고, 자체 그린 인터페이스와의 호환성도 좋지 않아서, 그 "선택하면 바가 뜨는" 메커니즘이 표준 앱에서는 매우 매끄럽지만 위챗과 일부 Electron 애플리케이션에 들어가면 반응이 없다.

Bob, Easydict 같은 오픈소스 단어 추출·번역 도구는 번역과 단어 선택을 모두 매우 탄탄하게 만드는데, 다만 그것들이 해결하는 것은 "단어 조회·문장 번역"이라는 이 한 가지 일이고; 요구가 이 범위를 넘어서는 순간——문단 하나를 요약하고, 주소와 전화번호를 뽑아내고, 이 문단을 내 노트로 되돌려 보내기——도구를 바꿔야 한다. 그것들의 OCR도 기본적으로 "번역·단어 추출"이라는 한 방향을 중심으로 만들어진다.

豆包 데스크톱 버전에도 지금 매우 성숙한 단어 선택 툴바가 있다: 스킬 관리, 자체 스킬 생성, 앞의 5개 표시 및 드롭다운, 앱 비활성화 가능, 전부 갖췄고, 게다가 무료이며, 모델은 당신보다 훨씬 강하다. 나는 AI에서 그것과 겨룰 생각은 전혀 없다, 못 이기고, 겨뤄서도 안 된다.

그러면 나는 무엇을 하는가? 그것이 "이 텍스트가 무슨 뜻인가"를 해결했지만, 다른 두 가지는 해결하지 못했기 때문이다:

그것은 "선택될 수 있는 텍스트"만 건드릴 수 있다. 이미지, 스캔본, 영상 프레임, 클라이언트 UI 속의 글자는 그 사정권 안에 없다. 그래서 나는 이미지 인식 파이프라인이 필요하다.

그것의 답은 자기 창에 떨어진다. 나는 번역을 마친 뒤 노트에 저장하고 싶은데, 여전히 그 여섯 단계다: 복사, 앱 전환, 그 노트를 찾기, 붙여넣기, 출처 보충, 시간 보충. 豆包이 이것을 하고 싶지 않은 게 아니라, 그것의 비즈니스 모델이 허락하지 않는 것이다——당신의 내용을 Notion으로 보내는 것은 곧 가치를 자사 생태계 밖으로 보내는 것과 같다.

두 번째 점이 내가 가장 신경 쓰는 부분이고, 또 현재 아직 만들지 않은 부분이다(Obsidian, flomo, Notion을 연결하고, 각자의 URL scheme / API를 쓰며, 노트 라이브러리를 직접 만들지 않는다).

지금 당신이 볼 수 있는 것은 첫 번째 단계와 그 중간층이다: 화면 위의 글자가 들어오고, 나가는 것은 복사, 검색, 메일 쓰기 같은 범용 출구에 의존한다.

현재 구현된 기능

드래그하면 나타나는 버튼은, 동작이 로컬이면 로컬, 모델이 필요하면 모델, 분명하게 구분된다:

복사, 검색(당신이 지정한 엔진에 넣기), 링크 열기, 메일 쓰기, 인증번호 복사, 번호 복사——이 여섯 개는 네트워크에 연결하지 않고, 이메일이나 인증번호 같은 것을 선택해야 해당 버튼이 나타나며, 순수 규칙 판정에 속한다.

번역, 설명, 요약——AI를 거친다. 번역 프롬프트는 여러 차례 고쳤는데, 신경 쓴 것은 "예쁘게 번역"이 아니라, 기술 문서가 구어체로 번역되지 않고, 용어는 통용되는 역법을 쓰고, 코드와 URL은 원형 그대로 보존되는 것이다. 이 세 가지 동작의 프롬프트는 설정에서 직접 바꿀 수 있다.

사용자 지정 동작——버튼 이름, 보낼 프롬프트, 어떤 모델을 쓸지는 당신이 정한다. 예를 들어 "더 정중한 영어 이메일로 바꾸기", "이 문단에서 주소와 전화번호 추출하기" 같은 것인데, 나는 남들이 다음에 무엇을 하고 싶어 할지 짐작할 수 없어서 당신이 직접 추가하도록 만들었다.

스크린샷 문자 인식: 시스템 네이티브 영역 선택 인터랙션(바로 ⌘⇧4 그것)을 쓰고, 영역을 지정하면 로컬에서 문자로 인식되고, 인식된 이미지는 화면에 고정해 둘 수 있다——문헌을 읽거나 긴 주소를 옮겨 적을 때 유용하다.

지금 어느 정도 수준인가

나 스스로 하루 종일 켜 두고 쓰고 있고, 일상적으로 쓸 만하다.

위챗 같은 소프트웨어는 폴백으로 처리하고, 아주 드물게 한 박자 느리다; 단어 추출 판정은 순수 기하학 임계값이다(6px 넘게 드래그하면 단어 선택으로 간주, 400ms 넘게 누르고 10px 미만 움직이면 더블클릭 단어 선택으로 판정, 손을 떼고 200ms 디바운스, 지난번과 4px 이내 차이면 중복으로 간주해 버림)

이 몇 개의 숫자는 손으로 조정한 것이라, 일부 인터페이스에서는 길게 한 단락을 드래그해도 그냥 안 뜬다; 자동화 테스트가 없고, 매번 배포할 때는 pnpm check + cargo check + cargo build, 그다음 Safari, Chrome, 위챗, 메모, 하나의 Electron 애플리케이션에서 각각 한 번씩 드래그해 본다.

계측(埋点)이 없고, 단어 추출, 스크린샷, 인식 전부 당신의 본체에서 이루어진다; 텍스트는 당신이 AI 동작을 클릭한 그 순간에만, 당신이 채운 Key를 지니고, 당신이 직접 고른 그 서비스로 전송된다.

소스 코드: github.com/demo007x/Ma… 공식 사이트(데모 스크린샷, 권한 설명): fm126.top

사용을 환영하고, 생각나는 게 있으면 나에게 제기해도 되고, 당신도 원한다면 함께 참여해도 된다.

이렇게 많이 말했으니, 나는 여러분이 평소에 어떤 종류의 소프트웨어를 사용하는지 궁금하다?

당신이 드래그한 뒤 가장 자주 누르는 두 개의 버튼은 무엇인가;

그리고 어떤 소프트웨어에서 드래그해도 글자가 안 잡히는가. 알려주면 내가 해결을 도와주겠다