أبرز الملامح الرئيسية
🔹 بنية المحولات الموحدة: يتعامل نموذج واحد مع كل من فهم الصورة و التوليد، مما يلغي الحاجة إلى أنظمة منفصلة.
🔹 قابلة للتطوير ومفتوحة المصدر: متوفر في 1B و 7B إصدارات معلمة (مرخصة من معهد ماساتشوستس للتكنولوجيا)، ومُحسَّنة للتطبيقات المتنوعة والاستخدام التجاري.
🔹 أداء على أحدث طراز: يتفوق على DALL-E 3 من OpenAI DALL-E 3 و Stable Diffusion في معايير مثل GenEval و DPG-Bench.
🔹 النشر المبسط: بنية مبسطة تقلل من تكاليف التدريب/التدريب مع الحفاظ على المرونة.
روابط الطراز
- Janus-Pro-7B: عناق الوجه
- Janus-Pro-1B: عناق الوجه
- جيثب: الكود والمستندات
سبب تميز Janus-Pro
1. قوتان خارقتان في نموذج واحد
- وضع الفهم: الاستخدامات سيغليب-إل ("النظارات الفائقة") لتحليل الصور (حتى 384×384) والنصوص.
- وضع التوليد: الرافعة المالية التدفق المصحح + SDXL-VAE ("الفرشاة السحرية") لإنشاء صور عالية الجودة.
2. القوة الذهنية والتدريب
- ماجستير في القانون الأساسي: مبني على نموذج لغة DeepSeek القوي (1.5 مليار/7 مليار معلمة)، متفوقًا في الاستدلال السياقي.
- خط أنابيب التدريب: التدريب المسبق على مجموعات بيانات ضخمة → الضبط الدقيق الخاضع للإشراف → تحسين EMA لتحقيق أعلى أداء.
3. لماذا المحول على الانتشار؟
- تعدد المهام: يعطي الأولوية للفهم الموحد + التوليد، بينما تركز نماذج الانتشار على جودة الصورة فقط.
- الكفاءة: التوليد الانحداري التلقائي (خطوة واحدة) مقابل نزع الضوضاء التكراري للانتشار (على سبيل المثال، 20 خطوة للانتشار المستقر).
- الفعالية من حيث التكلفة: يعمل العمود الفقري لمحول واحد على تبسيط التدريب والنشر.
الهيمنة المعيارية
📊 الفهم متعدد الوسائط
يتفوق Janus-Pro-7B على النماذج المتخصصة (على سبيل المثال، LLaVA) في أربعة معايير رئيسية، حيث يتدرج بسلاسة مع حجم المعلمات.
🎨 تحويل النص إلى صورة
- جينيفال: يتطابق مع SDXL و DALL-E 3.
- طاولة DPG-Bench: دقة 84.2% (Janus-Pro-7B)، متفوقًا بذلك على جميع المنافسين.
اختبار العالم الحقيقي
- السرعة: ~حوالي 15 ثانية/صورة (وحدة معالجة رسومات L4، ذاكرة وصول عشوائي VRAM بسعة 22 جيجابايت).
- الجودة: التزام فوري قوي، على الرغم من أن التفاصيل البسيطة تحتاج إلى تنقيح.
- عرض كولاب التوضيحي: جرّب Janus-Pro-7B (الفئة الاحترافية مطلوبة).
التفاصيل الفنية
الهندسة المعمارية
- مسار الفهم: صورة نظيفة → مشفر SigLIP-L → مشفر LLM → استجابة النص.
- مسار الجيل: صورة مشوشة → وحدة فك ترميز التدفق المعدل + LLM → إزالة التشويش التكراري.
الابتكارات الرئيسية
- الترميز المرئي المنفصل: مسارات منفصلة للفهم/التوليد تمنع "تضارب الأدوار" في وحدات الرؤية.
- قلب المحول المشترك: تمكين نقل المعرفة عبر المهام (على سبيل المثال، يساعد تعلم مفاهيم "القطة" في كل من التعرف والرسم).
ضجة المجتمع
أ.ك (باحث في الذكاء الاصطناعي): "إن بساطة Janus-Pro ومرونته تجعله مرشحاً رئيسياً للأنظمة متعددة الوسائط من الجيل التالي. من خلال فصل مسارات الرؤية مع الحفاظ على محول موحد، فإنه يوازن بين التخصص والتعميم - وهو إنجاز نادر الحدوث."
لماذا تعتبر رخصة MIT مهمة
- الحرية: الاستخدام والتعديل والتوزيع تجارياً بأقل قدر من القيود.
- الشفافية: يؤدي الوصول الكامل إلى الرمز البرمجي إلى تسريع التحسينات التي يقودها المجتمع.
اللقطة الأخيرة
إن Janus-Pro من DeepSeek ليس مجرد نموذج آخر للذكاء الاصطناعي - إنه نقلة نوعية. فمن خلال توحيد الفهم والتوليد تحت سقف واحد، فإنه يفتح الأبواب لأدوات إبداعية أكثر ذكاءً وتطبيقات في الوقت الحقيقي وعمليات نشر فعالة من حيث التكلفة. مع إمكانية الوصول المفتوح المصدر وترخيص معهد ماساتشوستس للتكنولوجيا، يمكن أن يكون هذا حافزًا للموجة التالية من الابتكار متعدد الوسائط. 🚀
للمطورين تحقق من عقد ComfyUI وانضم إلى موجة التجارب!
هذا المنشور برعاية:
