Добавить более доступный вариант GLM-5.2 и рассмотреть DeepSeek-V4-Flash как модель по умолчанию

На данный момент сеть имеет очень ограниченную активную емкость для GLM-5.2. Большинство хостов сконцентрированы на MiniMaxAI/MiniMax-M2.7, тогда как лишь меньшее количество обслуживает Kimi-K2.6, а внедрение хостов GLM-5.2 все еще очень низкое.

Текущая официальная модель GLM-5.2 — zai-org/GLM-5.2-FP8, но ее требования к ресурсам высоки. Из-за этого большинству хостов сложнее выбрать GLM-5.2, хотя GLM-5.2 является одной из наиболее привлекательных открытых моделей для кодирования, задач с длинным контекстом, использования инструментов и рабочих нагрузок разработчиков на китайском и английском языках.

Предложение 1: Добавить одного квантованного кандидата GLM-5.2.

Я предлагаю оценить одну из следующих двух квантованных моделей GLM-5.2:

Вариант А: канада-квант/GLM-5.2-W4A16-MTP

https://huggingface.co/canada-quant/GLM-5.2-W4A16-MTP

Почему это интересно:

ориентированный на vLLM

Контрольная точка производственного стиля, не относящаяся к GGUF

Квантование W4A16/INT4

включает направление MTP/спекулятивное декодирование

более низкие требования к ресурсам, чем текущая модель FP8

может повысить готовность хоста обслуживать GLM-5.2

Вариант Б: PhalaCloud/GLM-5.2-W4AFP8

https://huggingface.co/PhalaCloud/GLM-5.2-W4AFP8

Почему это интересно:

Контрольная точка производственного стиля, не относящаяся к GGUF

на основе zai-org/GLM-5.2-FP8

намного меньше, чем версия FP8

протестировано с помощью SGLang

сохраняет полный счетчик параметров GLM-5.2

предназначен для долгоконтекстного вывода GLM-5.2

Важное примечание: эта модель в настоящее время тестируется только с SGLang, поэтому совместимость vLLM следует оценивать отдельно, если Gonka требует vLLM для интеграции MLNode.

Предлагаемый подход

Не заменяйте текущий GLM-5.2-FP8 немедленно. Более безопасный путь:

• Добавьте одного квантованного кандидата GLM-5.2 в качестве дополнительной модели.

• Дайте ему период начальной загрузки.

• Измеряйте внедрение хоста, стабильность PoC, согласованность проверки, скорость вывода и спрос пользователей.

• Если результаты хорошие, повысьте его роль в модельном ряду.

Цель состоит в том, чтобы сделать GLM-5.2 более доступным для хостов и повысить реальную доступность GLM-5.2 в сети.

Предложение 2: Рассмотреть возможность замены MiniMax-M2.7 в качестве модели по умолчанию.

В настоящее время MiniMaxAI/MiniMax-M2.7 является моделью по умолчанию ( Initial_model_id ). Она полезна в качестве низкобарьерной операционной модели, но не кажется достаточно сильной в качестве основной модели по умолчанию для привлечения реального спроса.

Предлагаю оценить:

https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash

в качестве возможной замены или преемника MiniMaxAI/MiniMax-M2.7 в роли модели по умолчанию/резервной модели.

Почему DeepSeek-V4-Flash может быть лучшим кандидатом по умолчанию:

более низкие требования к ресурсам, чем у многих крупных моделей MoE

сильная узнаваемость бренда DeepSeek

более привлекателен для разработчиков, чем MiniMax-M2.7

лучше подходит для кодирования и агентских рабочих нагрузок

вероятно, вызовет более реальный спрос со стороны пользователей

• может помочь сохранить полезность модели по умолчанию, а не просто ее простоту в запуске.

Резюме

Я думаю, Gonka следует разделить стратегию модели на два слоя:

• Более сильная модель по умолчанию/резервный вариант: рассмотрите deepseek-ai/DeepSeek-V4-Flash вместо MiniMaxAI/MiniMax-M2.7.

Более сильная модель по умолчанию/резервный вариант:

рассмотрите deepseek-ai/DeepSeek-V4-Flash вместо MiniMaxAI/MiniMax-M2.7

• Более доступный вариант GLM-5.2: выбирайте между canada-quant/GLM-5.2-W4A16-MTP и PhalaCloud/GLM-5.2-W4AFP8.

Более доступный вариант GLM-5.2:

выбирайте между canada-quant/GLM-5.2-W4A16-MTP и PhalaCloud/GLM-5.2-W4AFP8

Это поможет сети улучшить обе стороны рынка:

больше хостов, готовых предоставить полезные модели

больше пользователей, готовых отправлять реальные запросы на вывод

https://huggingface.co/PhalaCloud/GLM-5.2-W4AFP8

Эта модель выглядит особенно интересно, потому что она не только меньше официальной версии FP8, но также может обеспечить очень высокую практическую эффективность обслуживания. Согласно карточке модели, он оптимизирован для SGLang и может работать на более широком диапазоне хостов, сохраняя при этом возможность работы с длинным контекстом.

В некоторых реальных рабочих нагрузках квантованные модели не обязательно хуже официальной версии FP8. В зависимости от метода квантования и обслуживающего стека они иногда могут очень хорошо сохранять качество, а в определенных сценариях, таких как рассуждения в длинном контексте, кодирование, следование инструкциям и агентные рабочие нагрузки, практический опыт пользователя может даже быть лучше из-за более высокой пропускной способности и меньшей задержки.

Единственный неясный момент — совместимость с vLLM. Карта модели PhalaCloud в основном документирует использование SGLang, поэтому ее необходимо протестировать внутри текущего стека вывода Gonka. Однако, поскольку SGLang и vLLM имеют много общих возможностей по обслуживанию производства, эта модель все же заслуживает оценки.