خلاصه: Inkling 2 Mini یک مدل ترانسفورمر «حلقهای» تازه است. یک مدل ترکیبی متخصصان (MoE) چندوجهی با حدود ۲۶ میلیارد پارامتر فیزیکی در مجموع و ۳ میلیارد پارامتر فعال در هر توکن. برای افزایش ظرفیت از ترفندی هوشمندانه استفاده میکند: برخی لایهها در حلقهای سهبار تکرارشده پیموده میشوند، بنابراین مدل طوری کار میکند که گویا پارامترهای بیشتری دارد. پنجره زمینه یک میلیون توکنی را پشتیبانی میکند و ورودی تصویر و متن میپذیرد. آزمایشگاه Thinking Machines مدل را در قالب دقت ترکیبی عرضه میکند، با وزنهای متخصص به شکل NVFP4 و MXFP8. یک درفتکننده DSpark هم برای سرعتبخشی بیشتر با هزینه حافظه اندک همراه مدل است.
Inkling 2 Mini بسیار بسیار کوچکتر از Inkling 2 Small است و برای راهاندازیهای هوش مصنوعی محلی طراحی شده است. به نظر ما این یک مدل محلی تازه و عالی است. در تستهای شهودی ما، دستکم با Qwen 3.8 27B قابل مقایسه است. اعتبارسنجی بیشتری لازم است، اما ما از این انتشار خیلی هیجانزدهایم.
پشتیبانی از transformers، اپلیکیشن Llama (llama.cpp) و MLX را ارائه میدهیم. SGLang هم پشتیبانی استنتاج از روز اول را برای استقرارهای عملیاتی روی سختافزار مراکز داده فراهم میکند.
این نوشته مروری است بر اینکه چه چیزی Inkling Mini را متفاوت میکند، چند تست شهودی ما، و اینکه چگونه میتوانید آن را با راهاندازی خودتان به کار ببرید.
Inkling 2 Mini چه چیز تازهای دارد؟
Inkling 2 Mini یک مدل ترکیبی متخصصان با ۲۴ لایه دیکودر است، اما ۱۲ لایه میانی سه بار در یک حلقه اجرا میشوند. بنابراین مدل طوری عمل میکند که گویا ۴۸ لایه منطقی دارد (۶ + ۳×۱۲ + ۶)، در حالی که فقط ۲۴ لایه فیزیکی دارد.
مانند Inkling 2 Small، مدل مینی در هر توکن ۴۸ بازدید لایه انجام میدهد. اندازه پنهان ۲٬۳۰۴ است، نه ۴٬۶۰۸. در هر بازدید لایه، هر دو نسخه توکن را به ۸ متخصص مسیردهی میکنند، اما مینی آنها را از میان ۱۲۸ متخصص در هر لایه انتخاب میکند، در حالی که Small از میان ۳۸۴ متخصص انتخاب میکرد.
دیکودر لایههای ۰ تا ۵ را یک بار، لایههای ۶ تا ۱۷ را سه بار و لایههای ۱۸ تا ۲۳ را یک بار اجرا میکند. هر سه گذر از لایههای ۶ تا ۱۷ از همان وزنها استفاده میکنند؛ یعنی چکپوینت مدل، لایههای تکراری را ذخیره نمیکند.
معماریهایی مثل Nanbeige پیشتر حلقهزدن را بررسی کردهاند، اما Inkling 2 Mini رویکرد جالبی را امتحان میکند. هر گذر از هسته حلقهای (لایههای ۶ تا ۱۷) از همان ورودیها شروع میشود؛ یعنی خروجی شش لایه اول. اطلاعات بین گذرها از طریق «پیامهای میانگذر» منتقل میشود.
هر لایه حلقهای با پرسوجوی آموختهشده خودش یک پیام از خروجیهای گذر قبلی میخواند؛ یک پیام برای پرسوجو، کلید، مقدار و ورودیهای شبکه پرسپترون چندلایهاش. سپس یک کنترلکننده گیتینگ کوچک هم به ورودی فعلی لایه و هم به پیام نگاه میکند و تصمیم میگیرد چه مقدار از ورودی فعلی را فراموش کند و چه مقدار از پیام را اضافه کند. بنابراین هر گذر، آنچه گذر قبلی محاسبه کرده را پالایش میکند — مثل چند دور بازنویسی یک متن که هر دور عمق استدلال را بیشتر میکند.
هر بلوک ششلایهای پنج لایه پنجره لغزان و یک لایه توجه کامل دارد. پنجره محلی تا ۱٬۰۲۴ توکن را نگه میدارد.
توجه از ۲۴ سر پرسوجو و هشت سر کلید-مقدار استفاده میکند. از لاجیتهای موقعیت نسبی آموختهشده، یک sink آموختهشده و یک گیت خروجی بهره میبرد. لایههای توجه کامل از کانولوشنهای پویا برای کلید و مقدار استفاده میکنند.
روتر برای هر توکن هشت متخصص SwiGLU از میان ۱۲۸ متخصص انتخاب میکند، امتیازهای انتخابشده را نرمال میکند و وزنها را در ۸ ضرب میکند.
در گذرهای دوم و سوم، هر لایه هسته روی دو بلوک باقیمانده از گذر قبلی توجه میکند. چهار گیت با رتبه ۶۴ پیامهای جداگانه را در ورودیهای پرسوجو، کلید، مقدار و MoE ترکیب میکنند.
عرض دیکودر متن ۲٬۳۰۴ است و عرض میانی هر متخصص ۱٬۱۵۲. استفاده مجدد از وزنهای هسته تعداد لایههای متمایزی را که چکپوینت ذخیره میکند کاهش میدهد. مدل همچنان هر ۴۸ بازدید را اجرا میکند و هر بازدید وضعیت کلید-مقدار و کانولوشن کوتاه خودش را نگه میدارد.
علاوه بر مدل اصلی Inkling 2 Mini، یک محصول پژوهشی هم منتشر شده است. این نسخه همان معماری را دارد، اما آموزش دیده که تعداد متغیری از گذرها را در حلقه بپذیرد. تنظیم آن روی یک یا دو گذر به جای سه گذر، استنتاج را بسیار سریعتر میکند، اما خروجیها ممکن است کیفیت کمی پایینتر داشته باشند. ما این نسخه را تست کردیم و کار میکند، اما ارزیابی عمیقی روی آن انجام ندادهایم.
نتایج بنچمارک
Inkling 2 Mini در شاخص هوش v5 شرکت Artificial Analysis (AAv5) و همچنین در بسیاری از بنچمارکها در دستههای مختلف، در کلاس خودش بهترین است. در مقایسه با Gemma 4 31B، Muse Glimmer، Qwen3.8-27B و Nemotron 3.5 Super VL، مدل مینی در ۳۲ بنچمارک از ۴۸ بنچمارک جلوتر است. این بنچمارکها کدنویسی و پژوهش خودکار، جستوجوی عاملی و استفاده از ابزار برای کارهای دانشی، تفسیر و تولید تصویر، استدلال و دانش، و ایمنی و همسویی را پوشش میدهند.
Inkling 2 Mini یک همراه کدنویسی محلی عالی است. در FrontierCode v2.0 جلوتر است، در Terminal-Bench 4.0 با Qwen3.8-27B مساوی است و در AutomationBench-AA v1.0.6 از Qwen عقبتر است. AA Briefcase هم بر پایه امتیاز ELO است و عدد بالاتر بهتر است.
پشتیبانی از استنتاج
پشتیبانی از transformers: هر دو نسخه Inkling 2 Mini (حلقه ثابت) و نسخه پژوهشی TML-d24-varloop-research (حلقه متغیر) ارائه شدهاند. برای نسخه با حلقه ثابت میتوانید از کلاس AutoModelForMultimodalLM استفاده کنید و مدل را با شناسه thinkingmachines/Inkling-2-Mini و پردازنده متناظر بارگذاری کنید. برای نسخه پژوهشی، کافی است در text_config مقدار loop_num_passes را تغییر دهید و مثلاً روی ۲ بگذارید.
افزونه تصویر و متن: برای پرسوجوی تصویری کافی است در ساختار پیامها یک آیتم با نوع image و مسیر تصویر اضافه کنید و سپس پرسش متنی را بفرستید.
سطح تلاش استدلال: با پارامتر reasoning_effort میتوانید میزان استدلال مدل را تعیین کنید. قالب چت مقدار عددی را بهصورت پیام سیستمی به پرامپت اضافه میکند و پیشفرض high با مقدار ۰٫۹ است. سطوح موجود عبارتاند از none (۰٫۰)، minimal (۰٫۱)، low (۰٫۲)، medium (۰٫۷)، high (۰٫۹ و پیشفرض)، xhigh (۰٫۹۹) و max (۰٫۹۹). میتوانید عددی بین ۰٫۰ تا ۰٫۹۹ هم بدهید.
فراخوانی ابزار: در نمونه رسمی، از مدل درباره دمای فعلی یک شهر پرسیده میشود و تابع get_current_temperature هم به آن داده میشود. مدل خودش درخواست فراخوانی ابزار میدهد، ما ابزار را به نمایندگی از او اجرا میکنیم و خروجی را به مجموعه دستور بعدی اضافه میکنیم؛ سپس مدل با استفاده از خروجی ابزار پاسخ نهایی را میدهد. مدل آرگومانها را خودش پر میکند.
اپلیکیشن Llama و llama.cpp: اپلیکیشن Llama اجرا و مدیریت مدلهای زبانی محلی را در مک (از نوار منو) یا ویندوز (سینی سیستم) ساده میکند. این اپ روی llama.cpp ساخته شده و تیم سازنده همان تیم است. اپ همچنین یک API محلی سازگار با OpenAI فراهم میکند تا اتصال به عاملهای کدنویسی، ویرایشگرها و اسکریپتها آسان شود. برای این انتشار، کوانتهای ۴ بیتی (IQ4_NL) و ۸ بیتی (Q8_0) از هر دو مدل ارائه شده است. روی لینوکس یا برای سرو از خط فرمان میتوانید دستور llama serve را با شناسه مدل GGUF اجرا کنید و برای وزنهای ۸ بیتی فقط پسوند را به Q8_0 تغییر دهید.
در نمونه ارائهشده، نسخه ۴ بیتی مدل خواسته شده یک وبسایت برای یک سرویس SaaS به نام «درمان گیاهی» بسازد که در آن گیاهان به درمانگرهای دارای مجوز وصل میشوند. مدل کاملاً خودمختار عمل کرده، SVGهای گرافیکی خودش را ساخته و حتی منطق تطبیق را هم نوشته است.
SGLang: Inkling 2 Mini پشتیبانی روز اول در SGLang دارد. میتوانید آخرین نسخه SGLang را نصب کنید و سرور را بالا بیاورید؛ یک پیشنیاز این است که روی SM103 اجرا شود. سپس با تنظیم متغیر MODEL و اجرای ماژول launch_server با پارامترهای توجه fa4، بکاند GEMM تورچ، dtype روی bfloat16، page-size ۱۲۸ و بکاند گرامر xgrammar میتوانید سرویس را روی پورت ۳۰۰۰۰ بالا بیاورید. بعد از بالا آمدن سرور، درخواستها با curl به مسیرهای health_generate، models و chat/completions قابل آزمایش است.