Safari henüz desteklenmiyor。

Janus Pro WebGPU, tarayıcı içi birleşik multimodal anlama ve oluşturma için tasarlanmış son teknoloji bir uygulamadır. Hem metin hem de görüntü girdilerini ve çıktılarını işlemek için geliştirilmiş otoregresif bir çerçeve olan Janus-Pro-1B modelinden yararlanarak çeşitli yapay zeka görevleri için çok yönlü bir araç haline getirir.

Janus Pro WebGPU'ya Genel Bakış

  • Çerçeve: Uygulama, React ve Vite kullanılarak, model entegrasyonu için Transformers.js ve donanım hızlandırma için WebGPU kullanılarak oluşturulmuştur.
  • Model Yetenekleri: Janus-Pro-1B, kullanıcıların görüntü girmesine ve oluşturulan görüntüleri veya metin tabanlı yanıtları almasına olanak tanıyan çok modlu görevlerde mükemmeldir. Bu model özellikle görsel girdileri yorumlama ve bunlara dayalı içerik üretme becerisiyle dikkat çekmekte ve hem görsel verileri anlama hem de üretme konusunda gelişmiş yetenekler sergilemektedir.
  • Performans: Model, Chrome gibi WebGPU'yu destekleyen web tarayıcılarında verimli bir şekilde çalışır. Kullanıcılar, geleneksel GPU kurulumlarına kıyasla daha hızlı çıkarım süreleri de dahil olmak üzere önemli performans avantajları bildirmişlerdir.

Janus Pro WebGPU ile Başlarken

Janus Pro WebGPU uygulamasını yerel olarak kurmak ve çalıştırmak için aşağıdaki adımları izleyin:

  1. Depoyu Klonlama:bashgit clone https://github.com/huggingface/transformers.js-examples.git
  2. Proje Dizinine gidin:bashcd transformers.js-examples/janus-webgpu
  3. Bağımlılıkları Yükleyin:bashnpm kurulumu
  4. Geliştirme Sunucusunu Çalıştırma:bashnpm run dev Bu komutları çalıştırdıktan sonra tarayıcınızı açın ve şu adrese gidin http://localhost:5173 uygulama ile etkileşim kurmak için

Model Özellikleri

  • Eğitim: Janus-Pro-1B, hafif bir dağıtılmış eğitim çerçevesi kullanılarak eğitilmiş ve çeşitli kıyaslamalarda rekabetçi performans elde etmiştir. Anlama ve üretme görevleri için görsel kodlama yollarını ayırarak hem kararlılığı hem de performansı artıran benzersiz bir mimariye sahiptir
  • Girdi Sınırlamaları: Model 384 × 384 piksele kadar görüntü girişlerini desteklemektedir, bu da optik karakter tanıma (OCR) gibi ayrıntılı görevlerdeki performansını etkileyebilir. Kullanıcılar, oluşturulan görüntülerin anlamsal olarak zengin olmasına rağmen, bu çözünürlük sınırlaması nedeniyle ince ayrıntılardan yoksun olabileceğini fark edebilir
  • Açık Kaynak: Janus Pro, geliştiricilerin etik kullanım yönergelerine bağlı kalarak yeteneklerini özgürce keşfetmelerine olanak tanıyan açık kaynaklı bir lisans altında mevcuttur