مفاهیم هوش مصنوعی
۹ نوشته در این دسته.
از پایه: توکن، کانتکست، معماری ترنسفورمر، آموزش و تنظیم مدل، تا روش‌های ارزیابی و تفاوت مدل‌ها.
اخبار روز هوش مصنوعی ۲
آموزش عملی Claude Code ۹
آموزش عملی Codex ۲۲
آموزش عملی ایجنت‌ها ۱۰
مفاهیم هوش مصنوعی ۹
ریپوهای ترند گیت‌هاب ۱۳
اسکیل‌ها و MCPهای تازه ۱۳
چطور رمزگشایی گویایی حدسی توزیع را عوض نمی‌کند؟
رمزگشایی گویایی یعنی یک توکن در هر پاس شبکه، و کل مدل باید هر بار از حافظه خوانده شود. رمزگشایی گویایی حدسی این را عوض می‌کند: یک مدل کوچک چند توکن را پیشنهاد …
چطور بلوک استدلال رمزگذاری‌شده را از لاگ ایجنت پیدا کنیم؟
بلوک‌های رمزگذاری‌شده‌ی استدلال در لاگ نشست‌های ایجنت شما می‌مانند و هر کسی که لاگ را ببیند می‌تواند با یک ترفند replay آن‌ها را به متن تبدیل کند. در این نوشته با …
چطور روتر top-k در مدل Mixtral کار می‌کند؟
در معماری مخلوط متخصص‌ها، یک لایه به جای یک شبکه‌ی کامل، چند شبکه‌ی کوچک دارد و برای هر توکن فقط دو تای آن‌ها را حساب می‌کند. در Mixtral 8x7B این یعنی ۴۶٫۷ میلیارد …
کش پرامپت چطور کار می‌کند و چقدر واقعی پس‌اندازی می‌کند
کش پرامپت یعنی پیشوند ثابت پرامپت را یک بار می‌نویسی و تا نیم ساعت با کمتر از یک‌دهم قیمت می‌خوانی. برای یک اجرای ۲۰ نوبتی ایجنت با پیشوند ۸۰۰۰ توکنی روی GPT-6.1 …
توجه گروهی چیست و چطور کش کلید-مقدار را از config.json تشخیص دهیم
وقتی یک مدل ۶۴ سر پرسش دارد و فقط ۸ سر کلید و مقدار، کش کلید-مقدار هر توکن از ۲۵۶۰ کیلوبایت به ۳۲۰ کیلوبایت می‌افتد؛ یعنی ۸ برابر. این همان کاری است که توجه گروهی …
RMSNorm چیست و چطور آن را از config.json مدل‌ها تشخیص دهیم
RMSNorm نرمال‌سازی استاندارد در مدل‌های تازه است و یک کلمه از LayerNorm کم دارد: کم کردن میانگین، و بایاسی که فقط برای همان کار لازم بود. روی برداری که خودمان …
RoPE چیست و چطور پنجره‌ی زمینه را در llama.cpp بزرگ کنیم
مدل زبانی از جای توکن در جمله بی‌خبر است و تنها چیزی که به او می‌گوید «این توکن هفتم جمله است»، چرخاندن بردار پرسش و کلید است. RoPE این کار را با یک ضرب ساده انجام …
چطور توجه کار می‌کند: جذر d_k و هزینه‌ی n×n
توجه با سه ضرب کار می‌کند: ضرب داخلی کلید و پرس، نرم‌افزار روی امتیازها، و یک میانگین وزنی از مقدارها. هر سه در بیست خط پایتون بدون هیچ کتابخانه‌ای پیاده شدند …
توکن، پنجره‌ی زمینه و حافظه: عددهای پشت صورتحساب
مدل‌های زبانی متن را نمی‌خوانند، توکن می‌خوانند، و همین یک تفاوت ساده پشت هر عددی است که در صورتحساب می‌بینید. در این نوشته با کتابخانه‌ی توکن‌ساز همین را اندازه …