“Ему больше не нужна ’внешняя помощь” — он наконец стал самостоятельным художником».”
В области генерации изображений с помощью ИИ мы, похоже, уже давно привыкли к такому распределению обязанностей:
Модель диффузии отвечает за ”рисование”, CLIP — за ”рассматривание рисунков”, VQ-VAE — за ”сжатие”, а LLM — за ”мышление”…
Но сегодня появилось приложение под названием NextStep-1 Открытая модель пытается перевернуть эту парадигму — она использует лишьЧисто авторегрессионная архитектура с параметром 14B, что позволило достичь качества генерации, сопоставимого с лучшими диффузионными моделями, а также понимать повседневную речь и редактировать изображения по своему усмотрению.
Какой ”козырь” на этот раз приготовила команда StepFun? Давайте разберемся в этом.
🎨 重新定义自回归：告别”外援”，做真正的艺术家
Модели рекурсивной авторегрессии уже давно не знают себе равных в области обработки текстов, однако на протяжении многих лет ”не приживались” в сфере генерации изображений.
В прошлом большинство попыток заканчивались двумя проблемами:
- Проблема дискретизации: Необходимость сжатия изображений с помощью VQ-VAE до конечного набора дискретных символов приводит к потере информации
- Зависимость от иностранных игроков: Требуется обширная модель распространения в качестве ”декодера”, архитектура получается громоздкой, а обучение — сложным
Ключевой прорыв в NextStep-1::
Генерация фрагментов изображения (Patch) авторегрессионным способом непосредственно в непрерывном визуальном пространстве
Он состоит из двух частей:
- Основа модели Transformer с параметрами 14B: отвечает за понимание содержания, планирование композиции и контроль над общей картиной
- Головка согласования расхода (Flow Matching Head) с параметрами 157M: Подобно ”кисти”, преобразует творческие идеи Transformer в конкретные пиксели
Революционные изменения, которые принесла эта архитектура:
✅ Дискретизация не требуется: Сохранено все богатство визуальных данных
✅ Обучение «от начала до конца»: ”Больше не полагаться на внешние модели распространения, чтобы ”спасти ситуацию»»
✅ Архитектура чрезвычайно проста: Система в целом отличается высокой степенью унификации, что повышает эффективность обучения
Один из исследователей с восторгом заметил: ”Это как наблюдать, как твой собственный ребенок наконец-то самостоятельно рисует картину, без того чтобы родители стояли рядом и подсказывали ему, что делать”.”
🔬 两大技术”炼金术”：让自回归模型真正驾驭图像
Команда ”Step Stars” в своей статье раскрыла два ключевых открытия, которые можно назвать «алхимией» авторегрессионного генератора изображений:
1️⃣ 真正的”艺术家”是Transformer
В ходе экспериментов команда обнаружила, что:Размер блока сопоставления потоков (157 М → 528 М) оказывает крайне незначительное влияние на конечное качество изображения.
Это означает, что:
- Основная часть работы над проектом Transformer, связанная с ”творческим процессом”, приходится на 90% и более.”
- Головка сопоставления потоков выступает лишь в роли ”облегченного исполнителя”, точно воплощающего творческие идеи в изображения
- Модель с самообучением способна по-настоящему самостоятельно ”мыслить” и ”творить”
“Это доказывает, что Transformer способен не только обрабатывать языковые данные, но и стать ”художником“ в области изображений», — исследовательская группа
2️⃣ Tokenizer的两大”魔法”
В ходе работы с непрерывными визуальными метками команда обнаружила два ключевых приёма:
- Нормализация по каналам (Channel-Wise Normalization)
Благодаря простой нормализации удалось эффективно стабилизировать статистические характеристики метки. Даже при использовании CFG максимальной интенсивности удается получить четкие изображения без артефактов. - “Больше шума = лучшее качество”
Неожиданное открытие: при обучении токенизатораДобавление регуляризации шума, а напротив, значительно улучшило качество конечного изображения.
Предположение команды: это формирует более устойчивое и равномерно распределенное потенциальное пространство, что служит идеальным ”холстом” для авторегрессионных моделей.
🖼️ 功能展示：不只是生成，更要会”改”
NextStep-1 не только способен ”создавать изображения из ничего”, но и понимает команды человека, а также редактирует изображения с точностью профессионального дизайнера.
✅ 高保真文生图
Достаточно одной команды, чтобы создать изображение с богатой детализацией и гармоничной композицией:
“Безмятежное озеро на рассвете, сосны, отражающиеся в глади воды, туман, поднимающийся с поверхности, мягкий золотистый свет, пробивающийся сквозь горные вершины вдали, гиперреалистичная фотография”
✅ 全能图像编辑
Добавление и удаление объектов::
“На кофейном столике стоит открытый ноутбук, а рядом — чашка с дымящимся кофе”
Изменение фона::
“Заменить фон на этой фотографии с офиса на закат на пляже”
Изменение действий::
“Превратите собаку на картинке из сидящей в прыгающую”
Перенос стиля::
“Превратите эту фотографию в картину в стиле Ван Гога, сохранив все детали персонажей и сцены”
Результаты тестирования поразительны — система не только понимает повседневную речь, но и сохраняетВизуальная согласованность, что позволяет избежать проблемы ”смещения идентичности”, часто возникающей при использовании традиционных методов.
Один дизайнер так отозвался об этом: ”Это как нанять универсального помощника, который может как создавать что-то с нуля, так и точно вносить изменения в соответствии с вашими идеями”.”
📊 性能数据：自回归也能挑战SOTA
В авторитетных тестах NextStep-1 продемонстрировал удивительные результаты:
| Критерии оценки | Результаты NextStep-1 | Значение |
|---|---|---|
| GenEval | 0,73 (с использованием self-CoT) | Превосходит большинство авторегрессионных моделей и приближается к диффузионной модели |
| GenAI-Bench | Уровень сложности: 0,67; базовый уровень: 0,88 | Высокая способность понимать сложные ситуации |
| DPG-Bench | 85,28 баллов | Обладает хорошими навыками понимания длинных подсказок |
| WISE | 0,54 — общий балл | Отличные навыки синтеза знаний о мире |
| GEdit-Bench | значительно опережает другие авторегрессионные модели | Превосходные возможности редактирования изображений |
Ещё более воодушевляет то, что:В ряде тестов NextStep-1 уже смог достойно соперничать с ведущими диффузионными моделями, что представляет собой беспрецедентный прорыв в области авторегрессионных архитектур.
⚠️ 直面挑战：成长路上的”绊脚石”
Команда «Step by Star» не стала уклоняться от обсуждения ограничений модели и честно перечислила четыре основных вызова:
1️⃣ 生成过程不稳定
При генерации в многомерном непрерывном пространстве (16 каналов) иногда возникает следующее:
- Локальный шум/блочные артефакты
- Глобальные шумовые помехи
- Сетчатые артефакты (возможно, связанные с одномерным кодированием положения)
2️⃣ 顺序解码延迟
”Присущая” модели авторегрессии особенность приводит к возникновению скоростного узкого места:
- Параметр 14B: последовательное декодирование в Transformer является основным узким местом
- Многоэтапная выборка в блоке сопоставления потоков также влечет за собой дополнительные затраты
- Генерация одного токена на H100 занимает примерно 47,6 мс
3️⃣ 高分辨率挑战
- Низкая эффективность сходимости: требуется больше шагов обучения
- Технологии высокого разрешения, затрудняющие перенос и распространение моделей
- Отсутствие индукционного смещения в двумерном пространстве
4️⃣ 监督微调(SFT)困难
- Требуется использование больших массивов данных (порядка миллионов) для стабильной тонкой настройки
- Неустойчивость на небольших наборах данных: либо результативность минимальна, либо наблюдается полная переобученность
- Трудно найти баланс между ”универсальными навыками” и ”индивидуальным стилем”
Команда признала: ”Честное признание этих вызовов — первый шаг к прогрессу в этой области”.”
🚀 如何上手？完全开源，一键部署
Команда «Ступенчатые звёзды» уже реализовала проект NextStep-1Полностью открытый исходный код, чрезвычайно удобен для исследователей и разработчиков, а для установки достаточно всего трёх команд:
git clone https://github.com/stepfun-ai/NextStep-1
cd NextStep-1
pip install -r requirements.txtКоманда также предоставила подробные руководства, охватывающие различные сценарии применения — от базового использования до расширенной настройки.
🔮 未来展望：自回归图像生成的新纪元
Выпуск NextStep-1 знаменует начало нового этапа в области генерации изображений на основе регрессии:
- Упрощение архитектуры: Больше не нужно сложных комбинаций — одна универсальная модель решает все
- Повышение эффективности тренировок: сквозное обучение, позволяющее избежать нестабильности, связанной с многоэтапной оптимизацией
- Комплексификация способностей: Кроме того, он хорошо справляется с созданием и редактированием текстов, а также понимает команды на естественном языке
Направления развития, о которых сообщила команда «Ступенчатые звёзды»:
- Оптимизация головки сопоставления потоков: сокращение количества параметров и реализация генерации за меньшее количество шагов
- Ускоренная авторегрессия: исследование новых технологий, таких как прогнозирование с использованием нескольких токенов
- Генерация с высоким разрешением: разработка двухмерного кодирования положения, специально предназначенного для изображений
- Усовершенствование SFT: технология эффективной тонкой настройки на основе небольших наборов данных
“Это лишь первый шаг в наших исследованиях. Мы уверены, что этот ”лаконичный» подход откроет совершенно новые перспективы в области мультимодального генеративного моделирования».”
🌟 写在最后
Значение NextStep-1 выходит далеко за рамки просто новой модели — оно подтверждает важную концепцию:
Даже простая архитектура может обеспечивать высокую функциональность.
Когда мы перестанем увлекаться ”созданием максимально масштабных моделей” и вернёмся к сути вопроса — ”как заставить модель по-настоящему понять творчество”, — технологии генерации на основе ИИ, возможно, сделают новый прорыв.
“Это не призвано заменить модели распространения, а открыть новый возможный путь для генерации изображений”. — Команда «Ступенчатые звёзды»
В эпоху стремительного развития технологий искусственного интеллекта NextStep-1 напоминает нам:
Иногда самые революционные инновации возникают именно благодаря переосмыслению базовых парадигм.
Связанные ссылки::
- Статья:https://arxiv.org/abs/2508.10711
- Репозиторий кода:https://github.com/stepfun-ai/NextStep-1
- Скачать модель:https://huggingface.co/collections/stepfun-ai/nextstep-1
- Домашняя страница проекта:https://stepfun.ai/research/en/nextstep1