Çoğu kişi yeni bir modelle bir sohbet kutusu açıp ona yazarak tanışır. Jev bu refleksi cezalandırır. TypeSafe AI'ın Sistem Bir modelidir ve hiç düzyazı üretmez: ona program durumunu ve bir dizi yazılı soru verirsiniz, o da ekli olasılıklarla kararlar geri verir. Bu rol değişikliği tüm tekniktir. Dil modeliniz yazmaya devam eder; Jev ne olacağına karar verir ve kodunuz kararla ne yapacağınıza karar verir.
Bu kılavuz, çağrının kendisini değil, çağrı etrafındaki mimariyi kapsar. Önce bir başlangıç kılavuzuna ihtiyacınız varsa, Jev nedir ile başlayın, ardından şirketin bakış açısı için TypeSafe'in kendi tanıtım yazısını okuyun.
Jev'in olağanüstü olduğu yönler
Üç temel öğe, Jev'in yaptığı her şeyi kapsar. `noul`, durum hakkındaki bir ifadenin doğru olma olasılığını döndürür. `choice`, bir kriter haritasından (255 seçeneğe kadar) bir seçenek seçer ve seçimi, tam olasılık dağılımını ve bir güven değerini döndürür. `score`, durumu 2 ila 10 düzeyden oluşan sıralı bir derecelendirme ölçeğine yerleştirir ve düzeyi, bir açıklamayı, olasılıkları ve güveni döndürür. Şirket ve model ailesi hakkındaki arka plan bilgileri TypeSafe AI hakkındaki yazımızda bulunmaktadır.
Mimari için dört özellik önemlidir. Her cevap, programınızın zaten anladığı bir türde gelir. Her cevap kendi belirsizliğini taşır, bu nedenle “emin değilim” bir sürpriz yerine bir dallanma haline gelir. Bir durumla ilgili birçok soru tek bir geçişte çözülür. Ve giriş belirteçleri milyon başına 0,042 dolar, çıkış belirteçleri ücretsiz olduğundan, her olayda sormayı bir örneklem üzerinden sormaya tercih edebilirsiniz.
Jev'i yazar olarak değil, yargıç olarak çalıştırın
Dört rol, net bir şekilde ayrılmış:
- Büyük Dil Modeli (LLM) üretir. Kod, e-posta taslağı, özet, plan.
- Jev karar verir. Talebi sınıflandırır, riski puanlar, rotayı seçer ve çıktıyı önceden belirlediğiniz kriterlere göre kontrol eder.
- Kodunuz kontrol eder. Eşikler ve kurallar, eyleme geçilip geçilmeyeceğine, yeniden denenip denenmeyeceğine, yükseltilip yükseltilmeyeceğine veya durdurulup durdurulmayacağına karar verir.
- Bir insan kenar durumları yakalar. Düşük güven ve yüksek risk, bir kişiye gider.
Ayrımın neden işe yaradığını burada bulabilirsiniz. Bir dil modeli esnektir çünkü her şeyi yayabilir ve aynı özgürlük, güvendiğiniz bir iş akışının içine gömmeyi garip kılan şeydir. TypeSafe'in çerçevesi şudur: Jev “dize üretiminden vazgeçer” ve karşılığında dar bir sözleşme kazanır: olası cevaplar kümesi istek sunucunuzdan ayrılmadan önce sabitlenir, her sonuç bildirilen şekle uyar ve belirsizlik, bir eşikle karşılaştırabileceğiniz bir sayıdır.
Maliyet tarafı aynı ticaretten kaynaklanır. TypeSafe, 70 ms ile 500 ms arasında uçtan uca yanıt süreleri bildiriyor ve test ettiği iş akışlarında 193.6 kat daha hızlı ve 444.6 kat daha ucuz rakamlar iddia ediyor. Bunları bağımsız kıyaslamalar olarak değil, satıcı sayıları olarak kabul edin. Yapısal nokta her iki durumda da geçerliliğini korur: pahalı model yalnızca gerçekten bir şey yazılması gerektiğinde çalışır ve çevresindeki tekrarlanan değerlendirmeler ucuz bir yerde çalışır.
Jev'in cevaplayabileceği soruları tasarlama
Her istek, bir paylaşılan `state` (durum) ve bir dizi bağımsız soru taşır. Jev durumu bir kez okur ve hepsini yanıtlar. Bir destek triyaj çağrısı şöyle görünür:
{
"model": "jev-latest",
"state": {
"message": "I've been trying to connect Stripe for three days. I'm losing sales and I need this fixed today.",
"plan": "Pro",
"account_age_months": 14,
"recent_technical_tickets": 3
},
"questions": {
"department": {
"type": "choice",
"instruction": "Which team should own this ticket?",
"criteria": {
"billing": "Payments, charges, invoices, subscription changes",
"technical": "Bugs, broken behavior, failing integrations",
"sales": "Pricing, plans, questions asked before purchase"
}
},
"frustration": {
"type": "score",
"instruction": "How frustrated is this customer?",
"criteria": [
"Calm and matter of fact",
"Frustrated but civil",
"Extremely frustrated or threatening to leave"
]
},
"urgent": {
"type": "noul",
"instruction": "The customer needs a resolution today."
}
}
}
Üç alışkanlık, işe yarayan soruları sendelenen sorulardan ayırır.
İstem yazmayı bırakın. Personalar, örnekler ve uzun başlangıçlar bir metin üreticisini yönlendirir. Jev metin üretmiyor. Duruma, bir atomik soruya ve her cevabın ne anlama geldiğine dair kesin bir açıklamaya ihtiyaç duyar. Açıklayıcı kriterler, salt etiketlerden daha iyidir: “Ödemeler, masraflar, faturalar, abonelik değişiklikleri”, tek başına “fatura” kelimesinden daha iyi yönlendirme yapar. Kendini açıklamasını da istemeyin, çünkü yanıt yalnızca bir karar, olasılıklar ve güven içerir, başka hiçbir şey değil.
Tek soru, tek değerlendirme. “Bu potansiyel müşteri değerli mi, acil mi ve satın alma olasılığı var mı?” bir palto giymiş üç sorudur. Bunları ayırın ve ağırlıkları görüp değiştirebileceğiniz kodda sonuçları birleştirin.
Aritmetiği modelin dışında tutun. Jev anlamı yargılar. Programınız matematik yapar, indirim tablosunu uygular ve sözleşme şartlarını kontrol eder. Bu ayrım, her şeyi denetlenebilir kılan şeydir.
TypeSafe ayrıca, kodlama ajanlarına bu kuralları öğreten, Claude Code'a `claude plugin marketplace add typesafe-ai/skills` ile veya başka yerlere `npx skills add typesafe-ai/skills` ile kurulabilen bir eklenti becerisi de sunar. Ayrıntılar ajan beceri sayfasında bulunabilir.
Durumu temiz tutun
İlgili durum, maksimum durumdan daha iyidir. Genellikle üç bölüm bunu kapsar: yargılanan nesne, o nesneyi okumak için gereken bağlam ve değişmeleri halinde kararı değiştirecek gerçekler. Geri kalan her şey, göndermek için para ödediğiniz gürültüdür.
Tekrarlanan günlük satırlarını, mevcut sorundan önceki geçmişi ve modelin ulaşmasını umduğunuz sonucu belirten herhangi bir cümleyi çıkarın. Her istek için sabit üst sınır 64 bin belirteçtir, durum artı en uzun soru için 32 bin mevcut olmak üzere, ancak doğruluğu bu sınıra ulaşmadan çok önce değişebilir. Yönlendirme belirsizleştiğinde, durumu küçültmek genellikle kriterleri yeniden yazmaktan daha hızlı bir çözümdür.
Paralel sorular ve güven kapıları
Jev durumu bir kez okuduğu için, on üçüncü soru ikinci bir gidiş-dönüşten çok daha az maliyetlidir. Bir eylemi değiştirebilecek her bağımsız değerlendirmeyi gönderin: niyet, risk, aciliyet, duygu, alaka düzeyi, gerekli sonraki adım. Ardından, cevabı kodunuzun ne yaptığını asla değiştirmeyen herhangi bir soruyu çıkarın. Kullanılmayan bir sinyal, karşılığı olmayan bir bakım maliyetidir.
İlkel yapıyı yargının şekliyle eşleştirin. Ciddiyet, kalite ve uyum gibi dereceler `score` içinde yer almalı, zorlama evet/hayır içinde değil. Tek bir olgusal ifade `noul` içinde yer almalı. Sabit bir hedef kümesi `choice` içinde yer almalı.
Kapı, mimarinin gerçekte yaşadığı yerdir. Yazılmış bir cevap hala yanlış bir cevap olabilir, bu yüzden güven ne olacağına karar verir. İşlevsel bir başlangıç deseni: 0.85'in üzerinde otomatik olarak hareket edin, 0.55 ila 0.85 arasındaki değerleri daha güçlü bir modele veya ikinci bir geçişe bırakın ve 0.55'in altındaki her şeyi bir kişi için kuyruğa alın. Bu kesin sayılar açıklayıcıdır. TypeSafe'in güvenli yönlendirme deseni, yanlış yapma maliyetine bağlı olarak her eylem için ayrı bir eşik belirler ve güven sayfası size “kendi verilerinizle test edin ve sonuçları gözlemledikçe ayarlayın” der. Eşikleriniz ayarlandıktan sonra modeli sabitleyin: `jev-latest` en yeni kararlı sürümü takip ederken, `jev-1.13.0` ölçtüğünüz davranışı dondurur.
Karar katmanını Apidog'da test edin
Bir karar katmanı, ancak nasıl davrandığını kanıtlayabilirseniz güvenilmeye değerdir. Bu, kaydedilmiş istekler ve doğrulamalar anlamına gelir, tek seferlik cURL geçmişi değil. Apidog size her ikisini de sunar ve doğrulamalar, dizeler yerine sayıları ve enum değerlerini kontrol ettiğiniz için normal API testlerinden farklı görünür.
Anahtarı bir ortam değişkeni olarak saklayın. `TypeSafe` adında bir ortam oluşturun, `TYPESAFE_API_KEY`'i yerel bir değer olarak ekleyin böylece makinenizde kalır ve bir Bearer token'ında `{{TYPESAFE_API_KEY}}` olarak referans verin. Ortamlar ve gizli değişkenler hakkındaki kılavuzumuz kapsam kurallarını kapsar.
Gerçek çağrıyı gönderin. Yukarıdaki durum-artı-sorular gövdesiyle `POST https://api.typesafe.ai/v1/systemone` adresine.
Karar üzerinde doğrulama yapın. `answers.department.choice`'ın `billing`'e eşit olması, `answers.urgent.noul`'un `0.9`'dan büyük olması ve `answers.frustration.score`'un `1.5`'ten büyük olması gibi işlem sonrası doğrulamalar ekleyin. Artık bir davranış değişikliği, biletleri sessizce yanlış yönlendirmek yerine bir testi başarısız yapar.
Ardından önemli olan senaryoyu oluşturun. Etiketli durumların küçük bir kümesini test senaryosu olarak kaydedin: sakin bir soru, kızgın bir iptal tehdidi ve iyi bir yönlendiricinin tereddüt etmesi gereken kasıtlı olarak belirsiz bir mesaj. İlk ikisinde yüksek güven doğrulaması yapın ve üçüncüsünde güvenin kapınızın *altına düştüğünü* doğrulayın. Bu tek senaryo, eşik ayarlamasını tahmin yerine kanıta dönüştürür ve elle fark edilmesi en zor hatayı yakalar: biri kriter açıklamasını yeniden ifade eder, her yanıt hala geçerlidir ve yönlendirme sessizce değişir. Bunu CI'da çalıştırın ve yeniden yazım derlemeyi başarısız yapar.
Yanıt şeklini maketleyin böylece ön uç işleri token yakmaz. `answers` nesnesi istekten önce bildirildiği için, maket ve canlı yanıt birbirinden sapamaz. Bunu ayarlamak için Apidog'u indirin; ücretsiz plan dört kişilik bir ekibi kapsar.
Bir karar katmanının kendini amorti ettiği beş iş akışı
- Evrensel doğrulayıcı. Her pahalı Büyük Dil Modeli (LLM) çağrısını sarın. Gelen istemi enjeksiyon için, seçilen aracı bariz uyumsuzluklar için, çıktıyı eksik gereksinimler için ve son cevabı kaynak materyalin desteklemediği iddialar için kontrol edin. Pahalı bir beynin etrafındaki ucuz kontroller.
- Destek kontrol kulesi. Bileti sınıflandırın, aciliyeti, hayal kırıklığını, iade niyetini ve iptal riskini tek bir çağrıda tespit edin, ardından yönlendirin. Kazanç, yanlış kuyrukta daha az bilet ve bekleyen daha az değerli hesap demektir.
- Potansiyel müşteri yeterliliği. Şirket uygunluğunu, teknik olgunluğu, belirtilen sorunu, satın alma niyetini ve aciliyeti ayrı sinyaller olarak puanlayın, ardından bunları sahip olduğunuz ve bir boru hattı incelemesinde savunabileceğiniz ağırlıklarla birleştirin.
- Model yönlendirici. Her istek için, belirleyici kodun, küçük bir modelin, bir öncü modelin veya bir insanın bunu ele alıp almayacağına karar verin. Maliyet tasarruflarının ilk olarak burada ortaya çıktığı yer genellikle burasıdır.
- Büyük veri kümesi işleri. Yapılandırılmış özellikleri çıkarmak ve insan incelemesine değer kayıtları sıralamak için destek günlükleri, incelemeler, listelemeler, transkriptler veya ajan izleri üzerinde aynı semantik yargıları çalıştırın. Her kararın hızlı ve neredeyse ücretsiz olduğu zaman pratik hale gelen analiz.
Sıkça Sorulan Sorular
Hala bir dil modeline ihtiyacım var mı? Evet. Jev yanıtı, özeti veya kodu yazamaz. Hangi sistemin yazması gerektiğine karar verir ve taslağı daha sonra politika uyumu veya cevabın vermediğiniz bir sözü içerip içermediği gibi açık kriterlere göre derecelendirebilir.
Bu, JSON modu veya yapılandırılmış çıktılardan nasıl farklıdır? Yapılandırılmış çıktılar, bir metin modelinin biçimlendirmesini kısıtlar; model hala belirteçler üretir ve geçerli bir şekilde yanlış bir şey iddia edebilir. Jev, tanımladığınız bir cevap kümesi üzerinde bir olasılık dağılımı döndürür, bu nedenle belirsizlik birinci sınıf bir alandır. OpenAI yapılandırılmış çıktıları hakkındaki açıklayıcımız, bu karşılaştırmanın diğer tarafını kapsar.
Erişimi nasıl sağlarım? Jev, bekleme listesiyle erken erişimdedir, bu nedenle henüz self-servis değildir. TypeSafe, geliştiricileri listelerden gruplar halinde çıkarır ve erişim sağladığınızda console.typesafe.ai adresinden oturum açarsınız. Ayrıca AI SDK 7'deki `experimental_evaluate` aracılığıyla Vercel AI Gateway üzerinden `typesafe-ai/jev` olarak da mevcuttur; bu yalnızca SDK içindir ve OpenAI uyumlu uç noktalarda açık değildir. Bir Jev API anahtarı alma hakkındaki kılavuzumuz istek ve SDK ayrıntılarını içerir.
Bunun gibi bir şeyi yerel olarak çalıştırabilir miyim? Birkaç proje, açık ağırlıklar üzerinde kısıtlı kod çözme ile bu fikrin bazı kısımlarını yeniden üretmektedir. Bunları, her birinin kalibre edilmiş güvene ne kadar sadık olduğunu da içeren OpenJev ve açık kaynak Jev alternatifleri makalesinde karşılaştırdık.
Bu sizi nereye götürür?
Jev, diğer modellerinizin yerini alan model değildir. Onların ne zaman, nerede ve çalışıp çalışmayacağına karar veren katmandır. Onu şu şekilde inşa edin: tek temiz bir durum, açık kriterlere sahip atomik sorular, paralel değerlendirme ve her eylemin önünde bir güven kapısı. Ardından, tek bir gerçek bileti yönlendirmeden önce Apidog'daki kaydedilmiş bir senaryo ile kapının çalıştığını kanıtlayın.