Safari غير مدعوم بعد。

Janus Pro WebGPU هو تطبيق متطور مصمم لفهم وتوليد متعدد الوسائط موحد داخل المتصفح. ويستفيد التطبيق من نموذج Janus-Pro-1B، وهو إطار عمل ذاتي الانحدار تم تطويره للتعامل مع كل من مدخلات ومخرجات النصوص والصور، مما يجعله أداة متعددة الاستخدامات لمختلف مهام الذكاء الاصطناعي.

نظرة عامة على Janus Pro WebGPU

  • إطار العمل: تم بناء التطبيق باستخدام React و Vite، باستخدام Transformers.js لتكامل النماذج و WebGPU لتسريع الأجهزة.
  • قدرات النموذج: يتفوق Janus-Pro-1B في المهام متعددة الوسائط، مما يسمح للمستخدمين بإدخال الصور وتلقي الصور المولدة أو الردود المستندة إلى النصوص. يتميز هذا النموذج على وجه الخصوص بقدرته على تفسير وتوليد المحتوى بناءً على المدخلات المرئية، مما يُظهر قدرات متقدمة في كل من فهم البيانات المرئية وتوليدها.
  • الأداء: يعمل النموذج بكفاءة في متصفحات الويب التي تدعم وحدة معالجة الرسومات WebGPU، مثل Chrome. وقد أبلغ المستخدمون عن فوائد كبيرة في الأداء، بما في ذلك أوقات استدلال أسرع مقارنةً بإعدادات وحدة معالجة الرسومات التقليدية.

الشروع في العمل مع Janus Pro WebGPU

لإعداد وتشغيل تطبيق Janus Pro WebGPU محلياً، اتبع الخطوات التالية:

  1. استنساخ المستودع:: باشاستنساخ git clone https://github.com/huggingface/transformers.js-examples.git
  2. الانتقال إلى دليل المشروع:: باشcd transformers.js-examples/janus-webgpu
  3. تثبيت التبعيات:: باشتثبيت npm
  4. تشغيل خادم التطوير:: باشتشغيل npm ديف بعد تنفيذ هذه الأوامر، افتح المتصفح وانتقل إلى http://localhost:5173 للتفاعل مع التطبيق

مواصفات الطراز

  • التدريب: يتم تدريب Janus-Pro-1B باستخدام إطار تدريب موزع خفيف الوزن، مما يحقق أداءً تنافسيًا عبر مختلف المعايير. ويتميز ببنية فريدة تفصل بين مسارات الترميز المرئي لمهام الفهم والتوليد مما يعزز كلاً من الاستقرار والأداء
  • حدود المدخلات: يدعم النموذج مدخلات صور تصل دقتها إلى 384 × 384 بكسل، مما قد يؤثر على أدائه في المهام التفصيلية مثل التعرف الضوئي على الحروف (OCR). قد يلاحظ المستخدمون أنه على الرغم من أن الصور التي تم إنشاؤها غنية من الناحية الدلالية، إلا أنها قد تفتقر إلى التفاصيل الدقيقة بسبب هذا القيد على الدقة
  • المصدر المفتوح: Janus Pro متاح بموجب ترخيص مفتوح المصدر، مما يسمح للمطورين باستكشاف قدراته بحرية مع الالتزام بإرشادات الاستخدام الأخلاقي