TypeSafe Jev: 코드 실행을 위한 AI 판단 모델

기존 대규모 언어 모델(LLM)은 질문에 대한 서술형 답변을 생성하지만, 코드가 직접 판단에 활용하기는 어렵다. TypeSafe의 새로운 AI 모델 Jev는 이러한 문제를 해결한다. 자연어 질문에 예/아니요 또는 사용자가 정의한 범주별 확률을 반환하여, 소프트웨어가 다음 행동을 즉시 결정하도록 돕는다.

Jev, 코드 실행을 위한 AI 판단 도구

TypeSafe가 출시한 Jev는 모호하거나 주관적인 자연어 질문에도 구조화된 확률값을 반환하는 AI 모델이다. 예를 들어, “이 고객이 화가 난 것 같은가?”라는 질문에 0.9를 반환하면, 학습 내용을 바탕으로 ‘그렇다’일 확률을 90%로 추정한다는 뜻이다. 사용자는 짜증, 불쾌감, 격분 등 범주를 직접 정의하고, 각 범주에 대한 확률(예: ‘격분’ 60%, ‘극도의 분노’ 10%)을 받을 수도 있다.

이러한 확률값을 통해 소프트웨어는 다음 행동을 결정한다. 예를 들어, 0.9일 때 관리자에게 문의를 이관하고, 0.1일 때 우선순위를 낮춘다. 일반 챗봇은 고객 감정에 공감하거나 답장 작성을 제안하는 문장을 출력하여 0에서 1 사이의 숫자를 기대하는 프로그램이 정상 작동하지 못할 수 있다. Python 프레임워크 DSPy를 이용해 LLM의 출력 형식을 유도할 수 있지만, 이는 텍스트를 구조화된 코드처럼 동작하도록 맞추는 방식이다. Jev는 이를 기본 기능으로 제공하여 빠르고 저렴하게 처리한다. 하지만 현재 실제 판단 품질은 추가 검증이 필요한 상태이다.

빠르고 저렴하며 신뢰할 수 있는 확률 기반 답변

기업의 백그라운드 업무에는 고객 문의 분류, 청구서와 구매 주문 대조, 사기 가능성이 있는 거래 탐지처럼 빠르고 저렴하며 신뢰할 수 있는 AI 처리가 필요하다. Jev는 이러한 요구를 충족하도록 설계되었다.

TypeSafe의 Reinforcement Learning for Calibrated Decisions(RLCD)는 모델의 확신도와 실제 정답 비율을 맞추는 것을 목표로 한다. 예를 들어, 고객 메시지 100개에 각각 분노 확률 90%를 부여했다면, 그중 약 90개가 실제로 분노를 담고 있어야 한다는 기준이다. 이 원칙 덕분에 프로그램은 정해진 형식으로 받은 확률값을 확인해 다음 작업으로 분기한다.

공동창업자 Diogo Almeida는 OpenAI에서 인간 피드백으로 지시 이행 능력을 개선한 2022년 InstructGPT 논문을 공동 집필했으며, 이 연구는 같은 해 ChatGPT로 이어지는 기반이 되었다. TypeSafe의 현재 목표는 대규모 실제 운영에 맞는 속도와 비용으로 신뢰할 수 있는 워크플로를 구축하기 쉬운 모델을 만드는 것이다. TypeSafe 선언문은 “신이 아니라 프로덕션을 만든다”는 목표를 내세운다.

System One은 Almeida 팀이 개발하고 RLCD로 학습한 아키텍처다. 이 아키텍처는 기존 LLM처럼 토큰이나 단어를 하나씩 생성하지 않는다. 대신 여러 질문에 1초 미만으로 병렬 응답하며, 일반적인 LLM 질의보다 훨씬 낮은 비용을 지향한다. 가격은 입력 10억 토큰당 42달러이며 출력 토큰은 과금하지 않는다. Almeida에 따르면 출력 토큰 비용은 과금하기에 너무 작다.

다양한 활용 사례와 성능 검증

Jev는 여러 실험을 통해 그 성능과 활용 가능성을 입증했다.

첫 번째 실험은 Every에 실린 글 27개와 의도적으로 AI 문체를 적용한 글 10개, 총 37개 글에 21개 질문을 동시에 적용하여 AI 글쓰기 흔적을 검사했다. 질문은 기존 글쓰기 검사 스킬에서 가져왔으며, 근거 없이 같은 생각을 반복하는지, 억지로 대칭적인 양비론을 만드는지, 단순한 요점을 과도하게 설명하는지 등을 확인한다. 글마다 각 문체 패턴이 나타날 확률을 반환하며, 값이 높을수록 해당 패턴이 두드러진다고 판단한다. 이 실험에서 777건의 판단이 0.7초 미만에 완료되었고, 추정 비용은 0.25센트였다. 이 검토 과정에서 실제로 AI에 더 많이 의존한 글을 찾아냈으며, 초기 경고 용도로는 유용하고, 회사 구성원이 쓴 글 전체를 빠르게 검사할 수 있는 속도와 비용을 갖춘다.

총 11개 실험은 세 가지 유형의 업무를 탐색했다.

• 맥락 찾기: 적절한 코드 파일 찾기, 에이전트의 코드베이스 탐색 지원, 질문에 답하는 사내 정책 검색 등을 시험한다.
• 작업 검사: 고객 지원 답변 채점, 에이전트가 제안한 위험한 행동 표시, 글의 AI 흔적 검사 등을 시험한다.
• 의사결정: 스타트업 투자 제안 분류, 도움이 필요한 고객 우선순위 지정, CEO 판단이 필요한 결정 식별, 당일 답장이 필요한 이메일 선별, 가상 인물 100명의 광고 클릭 선택 등을 시험한다.

전체 11개 실험에서 1,709건을 판단했고, 추정 총비용은 1센트 미만이었다. 시나리오는 Codex에서 GPT-6 Astra로 만들었으며, 모델은 별도 안내 없이 TypeSafe 문서를 이해했다.

Jev의 잠재적 역할, 지식 업무용 린터

코드 린터가 문법 오류, 버그, 나쁜 패턴, 스타일 불일치를 빠르게 찾듯, Jev는 모호한 업무를 구조화된 판단으로 바꾸는 지식 업무용 린터로 활용할 수 있다. Codex나 Claude 같은 LLM에 Jev와 질문 목록을 제공하면, 피해야 할 문제를 기준으로 자신의 작업을 빠르게 검사한다.

Every에서는 구성원별 개인 벤치마크를 만들기 위해 평소 수행하는 업무 5~10개와 예시를 모으고, 개인의 선호를 통과/실패 검사로 변환하는 작업을 진행 중이다. PowerPoint가 브랜드에 맞는지, 소셜 미디어 문구의 도입부가 매력적인지, 모델이 본인과 같은 추천을 했는지 등을 검사한다. 결과를 당사자의 판단과 비교하며 기준을 다듬어, 업무에 사용할 모델이나 스킬을 선택하는 데 유용한 점수를 만든다. Jev의 속도와 비용 덕분에 벤치마크에 들어간 일부 업무만 사후 검사하는 대신, 작업 진행 중 여러 번 검사할 수 있다.

Fable 5.1과 비교한 Jev의 장단점

Every의 CEO Dan Shipper는 합성 문단 12개에 같은 글쓰기 검사 4개를 적용하여 Jev와 Fable 5.1을 비교했다. 문단은 문제가 없는 버전 6개와 의도적으로 문제를 넣은 버전 6개로 구성되었다. 검사 항목은 행동에 대한 설명 누락, 추론 연결고리 누락, 의도한 결과를 작동 방식으로 대체하는 문제, 출처를 왜곡하는 주장 여부였다.

다음 표는 Jev와 Fable 5.1의 성능 비교 결과를 보여준다.

비교 항목	Jev	Fable 5.1 (높은 추론 노력 설정)
문단당 처리 시간 (중앙값)	0.35초	8.83초
속도 차이	약 25배 빠름	-
추정 비용	약 580배 낮음	-
의도한 결함 탐지 (총 7개 중)	6개	7개

Jev는 속도와 비용 면에서 Fable 5.1보다 크게 앞선다. 하지만 의도한 결함 7개 중 Jev는 6개를 탐지한 반면, Fable은 7개 모두 찾아냈다. Jev가 놓친 문단에는 “부모와 교직원이 함께 가르치는 공유 일정표”라는 문구가 있었다. Fable은 일정표를 ‘가르친다’는 행동의 의미가 불분명하다는 점을 포착했으며, Jev는 세 차례 실행 모두 이 문제를 놓쳤다.

이러한 비교를 통해 Jev의 활용 방식이 제시된다. Codex나 Claude가 문단을 쓸 때마다 Jev로 검사하고, 문제가 표시되면 작성 모델이 다시 살펴 수정 여부를 결정하는 방식이다. 이 방법은 최종 초안이 검사 기준을 충족하도록 돕고, 사람이 중간에 개입하는 시간을 줄일 수 있다.

첫 시험 대상으로는 이미 반복해서 내려야 하는 판단 업무가 적합하다. 에이전트가 작업에 맞는 맥락을 찾았는지, 결과물이 요구 기준을 충족하는지 등이 이에 해당한다. 사람이 최종 단계에서 문제를 발견하기를 기다리는 대신 작업 도중 같은 질문을 여러 번 할 수 있다. 워크플로 자동화 경험이 적다면 새로운 활용 방식을 고안해야 하지만, 모호한 질문에 구조화된 답변이 필요한 상황이라면 시험할 가치가 있다. 기존 LLM의 분류 속도나 비용 때문에 구현하지 못했던 아이디어를 살펴볼 수 있다. 기존 LLM과 정확도를 비교하여 해당 용도에 충분한 수준인지 확인해야 한다. Jev 답변에 따라 행동했을 때 실제 업무가 더 나아지는지가 최종적인 검증 기준이다.

출처

• 원문: Every. Mini Vibe Check: TypeSafe’s Jev Judged Everything I’ve Written in 0.7 Seconds. https://every.to/also-true-for-humans/mini-vibe-check-typesafe-s-jev-judged-everything-i-ve-written-in-0-7-seconds
• 경유: GeekNews. https://news.hada.io/topic?id=33973