Qwen3-235B-A22B-Instruct-2507-FP8 с FP8 KV-cache как первая multi-model PoC launch model
Оригинал: Qwen3-235B-A22B-Instruct-2507-FP8 with FP8 KVcache as the first multi model PoC launch model
Здравствуйте, я гонка-ведущий с почти полугодовым опытом работы.
Мотивация. Я хотел бы предложить первую модель для тестирования многомодельного PoC, которая подойдет к моей настройке и подготовит сеть к плавному запуску многомодельного PoC. Я знаю главную цель: предоставить потребителям модели, которые пользуются спросом, но это хороший вариант все протестировать и облегчить жизнь хозяевам. Это усилит карты PCI-E, особенно: 4x H100 PCI-E с двумя островами NVLINK с TP=2.
Решение высокого уровня — включите Qwen3-235B-A22B-Instruct-2507-FP8 с kvcache FP8 в качестве первой многомодельной модели запуска PoC.
Реализация: просто включите его в качестве первой опции в многомодельном PoC.
Дорожная карта. Я думаю, что это хороший вариант для тестирования мультимодельного PoC и облегчения жизни хостов. Та же модель, но с другой комплектацией.
Открытые вопросы — это облегчит жизнь пользователям с настройкой PCI-E и островами nvlink, таким как я. Потому что kvcache BF16 не подходит для настройки TP=2, и я получаю много штрафов «MISS», если включаю FP8 KV-cache.
Но я не уверен, востребовано ли это пользователями или разработчиками гонка.
Hello, I'm a gonka host with almost half a year of experience.
Motivation - I would like to suggest a first model to test multi model PoC, which will fit my setup and prepare the network for the smooth multi model PoC launch. I know the main goal: provide models to consumers that are in demand, but this is a nice option to test everything and make life for hosts easier. This will boost PCI-E cards, especially: 4x H100 PCI-E with two NVLINK islands with TP=2.
High-Level Solution - Enable Qwen3-235B-A22B-Instruct-2507-FP8 with FP8 kvcache as the first multi model PoC launch model.
Implementation: Just enable it as a first option in multi-model PoC
Roadmap - I think this is a nice option to test multi model PoC and make life of hosts easier. The same model, but with a different configuration.
Open Questions - This will make life easier for users with PCI-E setup and nvlink islands, like me. Because BF16 kvcache can't fit with TP=2 setup, and I get a lot of "MISS" penalties if I enable FP8 KVcache.
But I'm not sure if this is in demand by users or gonka developers.
Здравствуйте, я гонка-ведущий с почти полугодовым опытом работы.
Мотивация. Я хотел бы предложить первую модель для тестирования многомодельного PoC, которая подойдет к моей настройке и подготовит сеть к плавному запуску многомодельного PoC. Я знаю главную цель: предоставить потребителям модели, которые пользуются спросом, но это хороший вариант все протестировать и облегчить жизнь хозяевам. Это усилит карты PCI-E, особенно: 4x H100 PCI-E с двумя островами NVLINK с TP=2.
Решение высокого уровня — включите Qwen3-235B-A22B-Instruct-2507-FP8 с kvcache FP8 в качестве первой многомодельной модели запуска PoC.
Реализация: просто включите его в качестве первой опции в многомодельном PoC.
Дорожная карта. Я думаю, что это хороший вариант для тестирования мультимодельного PoC и облегчения жизни хостов. Та же модель, но с другой комплектацией.
Открытые вопросы — это облегчит жизнь пользователям с настройкой PCI-E и островами nvlink, таким как я. Потому что kvcache BF16 не подходит для настройки TP=2, и я получаю много штрафов «MISS», если включаю FP8 KV-cache.
Но я не уверен, востребовано ли это пользователями или разработчиками гонка.