Jev, TypeSafe AI'ın Sistem Bir Modeli'dir: ona program durumunu ve tipik soruları gönderirsiniz, o da düz yazı yerine kalibre edilmiş olasılıklarla kararlar döndürür. (Bu, yayıncı FaZe Jev veya JEV aşısı değil, model Jev'dir.) Kapalı ağırlıklara sahiptir, yalnızca API üzerinden çalışır ve POST https://api.typesafe.ai/v1/systemone adresinde jev-latest olarak sunulur. Yani "Jev'i yerel olarak çalıştırmak", Jev'in kendisi anlamına gelemez. Bu, açık modellerle aynı fikri yeniden üreten, OpenJev liderliğindeki günler öncesi topluluk projelerinin bir kümesidir. Modelin kendisine yeniyseniz, önce Jev'in ne olduğunu okuyun; bu yazı taklitlerini ele almaktadır.
Bu bir derleme ve gerçeklik kontrolüdür: her README'nin ne iddia ettiği, ne kadar sadık olduğu, hangi donanımı istediği ve TypeSafe API'sini test ettiğiniz gibi Apidog'da yerel bir HTTP uç noktası aracılığıyla herhangi birini nasıl test edeceğiniz. Hiçbiri üçüncü bir tarafça kıyaslanmamış ve hiçbiri TypeSafe'tan değildir.
"Jev'i yerel olarak çalıştırmak" ne anlama gelebilir
TypeSafe'ın tanıtım yazısı, Kalibre Edilmiş Kararlar için Takviyeli Öğrenme (RLCD) ile eğitilmiş bir modeli, üç temel öğeyi (noul, choice, score), 70 ms ila 500 ms arasında bir yanıt süresini ve ücretsiz çıktı ile milyon girdi token'ı başına 0.042 doları açıklamaktadır. Bunlar satıcı iddialarıdır; eğitim tarifi yayınlanmamıştır. Bir topluluk başlığı, Jev'in %100 sentetik veri üzerinde eğitildiğini söylemektedir. Bunu doğrulanmamış bir söylenti olarak kabul edin.
Tarif gizli olduğu için, her "açık Jev" üç kısayoldan birini kullanır:
- Dondurulmuş bir sohbet modelinden logit'leri okuyun. Küçük bir Qwen'e çoktan seçmeli bir soru sorun, üretim adımını atlayın ve seçenek başına bir sonraki token logit'lerini bir olasılığa dönüştürün. OpenJev ve mini-jev bunu yapar.
- Küçük bir skorlayıcıyı sıfırdan eğitin. Tek işi, N seçeneği tek bir geçişte bir bağlama göre puanlamak olan bir model. Bu jevlike'dir.
- Kod çözme motorunu değiştirin. Temel modeli koruyun, her alanı kısıtlı adaylar üzerinde paralel olarak değerlendirin. Bu, Hugging Face'deki Apple Silicon motoru ve vLLM çekme isteğidir.
Hiçbiri RLCD'yi yeniden üretmez. Bu dürüst başlıktır.
OpenJev: tek bir 3090 üzerinde dondurulmuş bir Qwen'den logit'ler
OpenJev "Evde 3090'da Jev benzeri bir şey çalıştırabilir miyiz?" diye soruyor ve MIT lisanslı bir Python paketiyle yanıt veriyor. README dikkatli: "bu arayüz desenini açık modellerle yeniden üretiyor; Jev'in açıklanmamış modelini veya eğitimini yeniden üretmiyor."
Mekanizma, beyan edilen seçenek logit'lerini okuyan tek bir ileri geçiştir, örneklenmiş yanıt token'ı yoktur. Kriterler ve seçenekler her istekte gelir, bu nedenle görev başına hiçbir şey ince ayarlanmaz. Birincil model Qwen3.5-4B'dir.
README'nin tek bir RTX 3090 üzerinde Qwen3.5-4B ile bildirdiği sayılar:
- Doğrudan yazılan logit'ler: 21 olasılık çifti için 1.023 s, otomatik düzenlemeli bir JSON dizisi için 5.332 s'ye karşılık, yani 5.21 kat daha yavaş.
- 102 satırlık bir TypeSafe alt kümesinde, yayınlanmış Jev için 0.883'e karşı 0.845 modal uyum.
Girdi, id, state, question ve {id, description} içeren bir options dizisine sahip JSONL'dir; çıktı seçenek başına bir olasılıktır. Depoda bir HTTP sunucusu yok: openjev-score --mode direct --model Qwen/Qwen3.5-4B --input examples/decisions.jsonl çalıştırabilir veya openjev.com adresindeki WebGPU demosunu deneyebilirsiniz. Donanım: CUDA ve BF16'da 4B modeli tutan bir GPU.
Ne eksik: noul veya score temel öğesi yok ve olasılıklar seçenek logit'leri üzerinde bir softmax'tır, RLCD kalibreli güven değildir.
mini-jev: yerel sunuculu önceden kayıtlı bir çalışma
mini-jev bir üründen çok bir deneydir. Sloganı: "Jev tarzı bir arayüz, dondurulmuş bir Qwen3-4B üzerinde nasıl görünür, JSON oluşturmak yerine seçenek harfinin logit'lerini okur." CLINC150 niyet sınıflandırmasında Qwen3-4B-Instruct-2507'yi çalıştırır ve dilbilgisi kısıtlamalı JSON üretimini bir seçenek harfinin logit'ini okumayla karşılaştırır.
6.750 çift gözlemden elde edilen sonuç: JSON %0.909 doğruluk, harfler %0.907, %95 CI [-1.44, +1.04] içinde -0.22 puan fark. Harf okuma, 32-token'lık metinlerde yaklaşık 4 kat daha hızlıydı.
README, terimlerini TypeSafe'ın terimleriyle eşleştirir: choice ve noul, "bu çalışmanın dondurulmuş bir model üzerinde ölçtüğü, okunan harf ve boolean olarak; score (sıralı bir ölçek) ölçülmedi." Bunu "terimlerin bir karşılığı, modellerinin bir tekrarı değil" olarak adlandırır ve buradaki her projenin kopyalaması gereken uyarıyı ekler: "Harf paylaşımları, kalibre edilmiş olasılıklar değil, bir güven aralığı olan bir sıralamadır."
Bir HTTP demosu gönderir. MINIJEV_DEVICE=mps uv run python demo/server.py, 127.0.0.1:8765 adresini POST /run ile sunar, bu da schema ve text alır ve alan başına letter, p, gap ve answer döndürür. Apple Silicon veya NVIDIA GPU'da yaklaşık 8.5 GB belleğe ihtiyaç duyar. MIT lisanslıdır, yazıldığı tarihte 11 yıldız almıştır.
jevlike: sıfırdan bir seçenek skorlayıcısı
jevlike, "tersine mühendislik yapılmış Jev benzeri bir model" olarak paylaşılıyor. README aksini söylüyor: "TypeSafe tasarımını yayınlamadı. Bu depo, aynı girdi ve çıktı şekline sahip bağımsız bir başlangıç modelidir." Yazarlar, "Jev ile eşit kalite göstermediklerini veya TypeSafe'ın özel eğitim yöntemini yeniden üretmediklerini" ekliyorlar.
Tasarım küçük. Her seçenek, bağlam token'ları üzerinde dikkat gösteren bir sorgu vektörü alır; paylaşılan bir nokta çarpımı her çifti puanlar; softmax puanları olasılıklara dönüştürür. Varsayılan kodlayıcı, sıfırdan öğrenilmiş bayt gömmelerdir, isteğe bağlı dondurulmuş bir Hugging Face kodlayıcı ile.
Bildirilen sayılar: sentetik menülerde yaklaşık %98, Wikispeedia'da dondurulmuş bir Qwen2.5-0.5B kodlayıcı ile %8'lik karıştırılmış bir kontrole karşı %26 ve "400 token yazmaya zorlanan küçük bir kod çözücüden yaklaşık 100 kat daha hızlı" tek bir geçiş. CPU, MPS veya CUDA üzerinde çalışır. MIT lisanslıdır, 764 yıldız almıştır.
Sadakat, grubun en düşüğüdür. Kendi etiketleriniz üzerinde eğitirsiniz, bu yüzden rastgele kriterler verebileceğiniz bir karar modeli değil, oluşturduğunuz bir sınıflandırıcıdır. Noul veya score yok, kalibrasyon iddiası yok, HTTP sunucusu yok.
Paralel kısıtlı kod çözme: Apple Silicon motoru
Hugging Face Space parallel-constrained-decoding, bir "Typesafe.ai Jev açık kaynak alternatifi" olarak dolaşmaktadır, ancak README'si Jev, TypeSafe veya RLCD'den hiç bahsetmez. Başlığı "Apple Silicon için Paralel Kısıtlı Kod Çözme"dir: mlx-community/Qwen2.5-1.5B-Instruct-4bit üzerinde yapılandırılmış çıkarma için bir MLX çıkarım motoru, herhangi bir mlx-lm kod çözücüsü değiştirilebilir.
Yöntem: bağlamı bir KV önbelleğine bir kez önceden doldurun, her şema alanına yayınlayın, her alan için yalnızca geçerli aday token ID'lerini değerlendirin, bu küme üzerinde softmax uygulayın ve JSON'u kod içinde birleştirin. README, bir M4 Max üzerinde raporlar: 4 alanlı dolandırıcılık tasnifi 420 ms otomatik düzenlemeliye karşı 75 ms paralel (5.6x) ve 28 alanlı destek tasnifi 1.900 ms'ye karşı 270 ms (7.0x). %100 şema geçerliliği iddiasında bulunur, bu da serbest metin örneklememesinden kaynaklanır.
Uvicorn aracılığıyla 8000 portunda HTTP sunar, alan başına güven ile parsed_json artı field_telemetry döndürür. Gereksinimler: M1 veya daha yeni bir Mac, macOS 14+. Apache 2.0 lisanslıdır. Doğruluk sayıları yok, sadece gecikme ve burada "kalibre edilmiş" adaylar üzerinde tam bir softmax anlamına gelir, eğitilmiş bir kalibrasyon değil.
vLLM PR 57250: DiffusionGemma için Jev benzeri bir mod
16 Eylül'de açılan ve hala açık olan vLLM çekme isteği #57250, DiffusionGemma'yı yazarın "kalibre edilmiş çoktan seçmeli bir makine" olarak adlandırdığı şeye dönüştürüyor: tek token'lık yanıt yuvalarına sahip, bir adım sınırında okunan, logprob'lardan ve entropiden güven elde eden tohumlanmış bir tuval. Yeni vllm_xargs alanları arasında diffusion_seed_canvas, diffusion_max_steps ve diffusion_read_only bulunur ve örnek bir structured_server.py bir şemayı bir tuvale çevirir.
PR, tek tuval okumalarında saniyede 8.7 istek, 32 yönlü eşzamanlılıkta 54 istek ve bir dil sınıflandırma kümesinde yaklaşık %90 doğruluk bildiriyor. Bir gözden geçiren, eksik bir yarış durumu testi ve sınırsız iş parçacığı oluşturmanın engellediğini belirtti. Birleşene kadar, bu konuşlandırılacak değil, okunacak bir tasarımdır.
Her biri ne kadar sadık?
| Proje | Temel | Temel Öğeler | Kalibrasyon | HTTP Sunucusu | Donanım |
|---|---|---|---|---|---|
| OpenJev | Qwen3.5-4B, dondurulmuş | choice | seçenek logit'leri üzerinde softmax | Hayır (CLI + tarayıcı demosu) | RTX 3090 sınıfı, CUDA |
| mini-jev | Qwen3-4B-Instruct, dondurulmuş | choice, noul | boşluklu sıralama | Evet, port 8765 | 8.5 GB bellek, MPS veya CUDA |
| jevlike | eğittiğiniz kodlayıcı | choice | iddia edilen yok | Hayır | CPU, MPS veya CUDA |
| MLX motoru | Qwen2.5-1.5B-Instruct-4bit | şema alanları | adaylar üzerinde softmax | Evet, port 8000 | Apple Silicon, macOS 14+ |
| vLLM PR | DiffusionGemma | evet/hayır, choice, scale | logprob'lar artı entropi | Evet, OpenAI uyumlu | vLLM sınıfı GPU, birleşmemiş |
Her satır, logit'leri okuyan dondurulmuş veya kendi kendine eğitilmiş bir modeldir. Bu size Jev'in şeklini verir: yazılı yanıtlar, seçenek başına bir olasılık, tek bir ileri geçiş. Ancak size Jev'in temel iddiasını vermez, yani RLCD'nin bu olasılıkları dürüst hale getirdiğini. OpenJev'in 0.845'e karşı 0.883'ü gerçek modelle tek karşılaştırmadır ve bu yazarın kendi değerlendirmesidir. Kurulum, Kimi K3'ü yerel olarak çalıştırma rehberimizle eşleşiyor: ağırlıklar, bir GPU veya M serisi Mac, yerel bir port.
Herhangi birini Apidog'da gerçek Jev API'si gibi test edin
Yerel bir yeniden üretimin amacı, entegrasyonunuzu yeniden yazmadan gerçek API ile değiştirmektir, bu nedenle testleriniz her ikisine de aynı gövdeyi göndermelidir. Bu projelerin hiçbiri Jev'in {model, state, questions} şemasını yerel olarak konuşmaz. Çalıştırdığınız herhangi birinin önüne ince bir adaptör koyun: Jev gövdesini kabul eden, aracı çağıran ve choice, probabilities ve confidence anahtarlarıyla {"answers": {...}} döndüren 40 satırlık bir FastAPI uygulaması. Şimdi Apidog tek bir sözleşme görür.
İki ortam, bir istek kümesi. Local reproduction'ı BASE_URL = http://localhost:8765 ve anahtarsız olarak oluşturun, ve TypeSafe API'yi BASE_URL = https://api.typesafe.ai artı yerel alanda TYPESAFE_API_KEY ile oluşturun, böylece ekip arkadaşlarıyla asla senkronize olmaz (kapsam kuralları burada). Her istek {{BASE_URL}}/v1/systemone ve Bearer {{TYPESAFE_API_KEY}} kullanır; yerel sunucu başlığı göz ardı eder.
Jev gövdesini gönderin. jev-latest'e göndereceğiniz durum ve sorularla POST {{BASE_URL}}/v1/systemone:
{
"model": "jev-latest",
"state": "Kartımdan tek bir sipariş için iki kez para çekildi ve bugün bunu düzeltmem gerekiyor.",
"questions": {
"department": { "type": "choice", "instructions": "Bunu hangi ekip halleder?",
"criteria": { "billing": "ücretler ve geri ödemeler", "shipping": "teslimat", "technical": "hatalar" } },
"wants_refund": { "type": "noul", "instructions": "Müşteri para iadesi mi istiyor?" }
}
}
Olasılık alanlarında doğrulama yapın. İşlem sonrası onaylamalar ekleyin: answers.department.choice, billing'e eşit; answers.department.probabilities.billing, 0.7'den büyük; answers.wants_refund.noul, 0.8'den büyük. Ortam açılır menüsünü değiştirin ve aynı senaryoyu TypeSafe'a karşı çalıştırın. İki çalıştırma arasındaki fark, herhangi bir README tablosundan daha değerli olan sadakat sayınızdır.
Yerel çalıştırmayı bir model olarak kaydedin, böylece ön uç, sıfır GPU süresiyle kararlı bir answers nesnesine karşı oluşturulur. Kurmak için Apidog'u indirin; ücretsiz plan dört kullanıcıyı kapsar. Sohbet modelleri için aynı kalıp, yerel LLM'leri API olarak test etme bölümünde bulunmaktadır.
SSS
OpenJev, Jev ile aynı mı?
Hayır. OpenJev, dondurulmuş bir Qwen3.5-4B'den seçenek logit'lerini okur ve README'sinde bunu belirtir. Jev, TypeSafe'ın RLCD ile eğittiği kapalı bir modeldir. OpenJev, 102 satırlık bir alt kümede Jev ile %0.845 modal uyum bildiriyor, kendi yazarının değerlendirmesine göre.
Hangisini ilk denemeliyim?
Mac kullanıyorsanız ve bugün bir HTTP uç noktası istiyorsanız mini-jev'i; NVIDIA GPU'nuz varsa ve Jev'e en yakın yayınlanmış karşılaştırmayı istiyorsanız OpenJev'i. Yalnızca üzerinde eğitilecek etiketli verileriniz varsa jevlike'i seçin.
Dondurulmuş bir modelden kalibre edilmiş olasılıklar alabilir miyim?
Yalnızca logit'leri okuyarak değil. Seçenek token'ları üzerindeki bir softmax, mini-jev'in README'sinde belirtildiği gibi, bir boşlukla sıralamadır. Kalibrasyon, eğitim veya etiketli setiniz üzerinde sıcaklık ölçeklendirme gibi sonradan bir adıma ihtiyaç duyar ve bunların hiçbiri bunu sağlamaz.
Bunlardan birini çalıştırmak, TypeSafe'a ödeme yapmaktan daha mı ucuz?
Ücretsiz çıktı ile milyon girdi token'ı başına 0.042 dolarla Jev, zaten en ucuz LLM API sağlayıcılarının tabanında yer alıyor. Yerel, GPU süresini saydığınızda maliyetten ziyade gizlilik ve çevrimdışı kullanımda kazanır.
Bu durum sizi nereye götürüyor
OpenJev, mini-jev, jevlike, MLX motoru ve vLLM PR'si hepsi tek bir fikri kanıtlıyor: bir karar üretilmiş metne ihtiyaç duymaz ve logit'leri tek geçişte okumak daha hızlıdır. Hiçbiri kalibre edildiklerini kanıtlamıyor ve hiçbiri Jev değil. Jev şeklindeki bir adaptörün arkasında birini çalıştırın, TypeSafe'a işaret eden ikinci bir ortam bulundurun ve iddialarınızın ne kadar farklı olduklarına karar vermesine izin verin.