Kandinsky

Тип |  нейронная сеть
Языки интерфейса |  русский
Первый выпуск |  2022 год

Kandinsky — проект, сервис и приложение компании «Сбер», с помощью которого пользователи могут генерировать изображения по текстовому описанию с помощью нейросетей.

## Содержание

* 1 История
* 2 Описание
* 3 См. также
* 4 Примечания
* 5 Ссылки

## История[править | править код]

В ноябре 2021 года были выложены в открытый доступ код и параметры модели ruDALL-E XL, содержащей 1,3 млрд параметров, а также создан сервис генерации изображений. В июне 2022 года была представлена улучшенная модель — ruDALL-E XXL с 12 млрд параметров, которую дообучили на 179 млн изображений с текстовыми описаниями. В итоге была получена первая версия сервиса Kandinsky[1].

23 ноября 2022 года на конференции «Путешествие в мир искусственного интеллекта» Сбер представил новую версию нейросети — Kandinsky 2.0. От предыдущей она отличается своей мультиязычностью и диффузным подходом. Вторая версия обучалась на 1 млрд пар «текст-изображение»[2].

В начале апреля 2023 года вышла Kandinsky 2.1. Она была обучена ещё на дополнительных 170 млн пар изображений с текстом. Нейросеть была также усовершенствована за счет новой обученной модели автоэнкодера. Помимо закодированных текстовых описаний, модель использует специальное представление изображения моделью CLIP[3]. На начало июля 2023 года пользователи создали с помощью нейросети более 70 млн изображений. Наиболее популярными запросами были «Россия», «любовь», «аниме», «кот» и «космос»[4].

12 июля 2023 года Сбер выпустил версию нейросети Kandinsky 2.2. Сообщается, что теперь сервис умеет создавать фотореалистичные изображения в улучшенном качестве и изменять соотношение сторон при генерации. Нейросеть дополучили на датасете, содержащем 1,5 млрд пар «текст — изображение»[5]. В течение суток после выхода Kandinsky 2.2 пользователи сгенерировали 1 млн изображений, лидерами по популярности стали темы «коты», «море» и «аниме»[6].

12 октября 2023 года в Kandinsky 2.2 появилась возможность генерировать четырёхсекундные ролики по текстовому описанию[7].

22 ноября 2023 года Сбер представил новую версию нейросети — 3.0 в рамках конференции «AI Journey». Одной из главных особенностей модели является более лучшее знание русской культуры[8]. Также на мероприятии прошла презентация первой в России нейросети, предназначенной для генерации видео по текстовому описанию — Kandinsky Video[9].

22 апреля 2024 года пользователям стала доступна усовершенствованная версия сервиса — 3.1, появившаяся в этом же месяце. В ней улучшилось качество генерируемых картинок засчёт дообучения на датасете эстетичных изображений[10].

28 мая 2024 года Сбер открыл бесплатный доступ к обновлённой бета-версии Kandinsky 1.1. Сервис, кроме генерации по текстовому описанию, может также создавать изображение по картинке[11].

## Описание[править | править код]

Согласно заявлениям разработчиков, сервис поддерживает более 100 языков, включая русский.

Сервис поддерживает четыре основных режима работы:

* генерация изображения по текстовому описанию
* микширование двух изображений
* микширование изображения и текстового описания дополнения
* стилистическая переработка изображения

Актуальная версия — Kandinsky 3.1.

## См. также[править | править код]

* Шедеврум
* Midjourney

## Примечания[править | править код]

1. ↑ «Сбер» представил Kandinsky — ИИ-модель для генерации изображений по текстовому описанию на русском языке (неопр.). 3dnews.ru (14 июня 2022). Дата обращения: 11 июля 2023. Архивировано 11 июля 2023 года.
2. ↑ Сбер показал нейросеть Kandinsky 2.0 для генерации изображений по текстам (неопр.). РБК (23 ноября 2022). Дата обращения: 11 июля 2023. Архивировано 11 июля 2023 года.
3. ↑ Сбер представил нейросеть Kandinsky 2.1 (неопр.). Lenta.ru (4 апреля 2023). Дата обращения: 11 июля 2023. Архивировано 11 июля 2023 года.
4. ↑ Сбер подсчитал число созданных нейросетью Kandinsky 2.1 изображений (неопр.). Lenta.ru (4 июля 2023). Дата обращения: 12 июля 2023. Архивировано 12 июля 2023 года.
5. ↑ Сбер представил новую версию своей нейросети Kandinsky (неопр.). Газета.ru (12 июля 2023). Дата обращения: 13 июля 2023. Архивировано 13 июля 2023 года.
6. ↑ За сутки пользователи Kandinsky 2.2 от Сбера создали миллион изображений (рус.). Lenta.ru. — новость. Дата обращения: 14 июля 2023. Архивировано 14 июля 2023 года.
7. ↑ Нейросеть Kandinsky 2.2 научилась создавать анимационные видеоролики (неопр.). Российская газета (12 октября 2023). Дата обращения: 14 октября 2023. Архивировано 13 октября 2023 года.
8. ↑ Сбер представил новую версию нейросети Kandinsky 3.0 (неопр.). ТАСС (22 ноября 2023). Дата обращения: 30 апреля 2024.
9. ↑ [hhttps://hi-tech.mail.ru/news/104247-sber-predstavil-kandinsky-video/ Сбер представил Kandinsky Video — первую в России нейросеть для создания видео] (неопр.). Hi-tech Mail.ru (22 ноября 2023). Дата обращения: 29 мая 2024.
10. ↑ Изобразительная нейросеть Kandinsky 3.1 стала доступна для всех пользователей (неопр.). 3dnews.ru (22 апреля 2024). Дата обращения: 30 апреля 2024.
11. ↑ Сбер открыл доступ к обновленной версии Kandinsky Video (неопр.). Лента.ру (28 мая 2024). Дата обращения: 1 июня 2024.

## Ссылки[править | править код]

Какая нейросеть лучше? Kandinsky 2.1 vs Шедеврум

Сбербанк России

Финансы|

* Cetelem
* SberPay
* Кредистория
* Сбербанк России
* СберСпасибо
* ЮMoney

Еда и товары|

* Performance Group
* Мегамаркет
* Самокат
* Сбермаркет
* СберЛогистика
* СберМобайл

Устройства|

* SberBox
* SberBox Time
* SberBox Top
* SberPortal

Здоровье|

* Еаптека
* СберЗдоровье

Вертикальные сервисы|

* Работа.ру
* Домклик
* СберАвто
* СберУслуги

Транспорт и навигация|

* 2ГИС
* Ситидрайв

Услуги бизнесу|

* Bi.Zone
* r_keeper
* Объединённое кредитное бюро
* СберА
* СберМаркетинг

Rambler&Co|

* Lenta.ru
* LiveJournal
* Rambler News Service
* Афиша
* Портал Rambler.ru
* Рамблер/почта
* Рамблер/топ-100

Стриминговые сервисы|

* Okko
* Звук
* Бизнес

Обработка естественного языка

Общие определения|

* Языковая модель
* Корпус текстов
* Речевой корпус
* Стоп-слова
* Мешок слов
* AI-полнота
* N-грамма
* Биграммный шифр
* Триграмма

Анализ текста|

* Сегментация текста[англ.]
* Частеречная разметка
* Поверхностно-синтаксический анализ
* Обработка сложных слов[англ.]
* Извлечение коллокаций[англ.]
* Стемминг
* Лемматизация
* Распознавание именованных сущностей[англ.]
* Разрешение кореферентности
* Анализ тональности текста
* Извлечение концептов[англ.]
* Синтаксический анализ
* Разрешение лексической многозначности
* Извлечение терминологии[англ.]
* Извлечение информации
* Идентификация языка
* Определение регистра[англ.]

Реферирование|

* Извлечение предложений[англ.]
* Генерация реферата
* Многодокументное реферирование[англ.]
* Упрощение текста[англ.]

Машинный перевод|

* Автоматизированный
* Гибридный
* Интерлингвальный[англ.]
* На основе правил
* На основе примеров
* На основе словаря[англ.]
* На основе трансформации
* Нейронный
* Статистический
* Синхронный

Идентификация
и сбор данных|

* Распознавание речи
* Синтез речи
* Оптическое распознавание символов
* Генерация текста

Тематическая модель|

* Размещение патинко
* Латентное размещение Дирихле
* Латентно-семантический анализ

Рецензирование|

* Автоматизированная оценка сочинений[англ.]
* Конкордансер
* Предиктивный ввод текста
* Система проверки грамматики[англ.]
* Система проверки правописания
* Угадывание синтаксиса[англ.]

Интерфейс
на естественном языке[англ.]|

* Виртуальный ассистент
* Виртуальный собеседник
* Вопросно-ответная система
* Голосовой интерфейс
* Интерактивная литература

Типы искусственных нейронных сетей

* Сеть прямого распространения
* Сеть радиально-базисных функций
* Однослойный перцептрон
* Многослойный перцептрон
* Розенблата
* Румельхарта
* Сеть Хопфилда
* Цепь Маркова
* Машина Больцмана
* Ограниченная машина Больцмана
* Автокодировщик
* Шумоподавляющий автокодировщик[англ.]
* Разреженный автокодировщик[англ.]
* Вариационный автокодировщик[англ.]
* Глубокая сеть доверия
* Свёрточная нейронная сеть
* Глубинная свёрточная нейронная сеть
* Развёртывающая нейронная сеть
* Глубинная свёрточная обратная графическая сеть
* Генеративно-состязательная сеть
* Рекуррентная нейронная сеть
* Рекурсивные нейронные сети
* Долгая краткосрочная память
* Управляемый рекуррентный блок
* Нейронные машины Тьюринга[англ.]
* Двунаправленная сеть
* Двунаправленная рекуррентная нейросеть[англ.]
* Двунаправленная сеть с долгой краткосрочной памятью
* Двунаправленные управляемые рекуррентные нейроны
* Глубинная остаточная сеть
* Нейронная эхо-сеть[англ.]
* Метод экстремального обучения[англ.]
* Метод неустойчивых состояний[англ.]
* Метод опорных векторов
* Сеть Кохонена
* Самоорганизующаяся карта Кохонена
* Капсульная нейронная сеть
* Ассоциативная память на нейронных сетях

Искусственный интеллект

История|

* История искусственного интеллекта
* Зима искусственного интеллекта
* Дартмутский семинар
* Регламент ЕС об искусственном интеллекте

Философия|

* Тест Тьюринга
* Китайская комната
* Сильный и слабый искусственные интеллекты
* Дружественный искусственный интеллект
* Этика искусственного интеллекта
* Проблема контроля

Направления|

* Агентный подход
* Адаптивное управление
* Инженерия знаний
* Модель жизнеспособной системы
* Машинное обучение
* Нейронная сеть
* Нечёткая логика
* Обработка естественного языка
* Распознавание образов
* Роевой интеллект
* Символический ИИ
* Эволюционные алгоритмы
* Экспертная система

Применение|

* Голосовое управление
* Задача классификации
* Классификация документов
* Кластеризация документов
* Кластерный анализ
* Локальный поиск
* Машинный перевод
* Оптическое распознавание символов
* Распознавание речи
* Распознавание рукописного ввода
* Игровой ИИ

Исследователи|

* Чарлз Бэббидж
* Владимир Вапник
* Джозеф Вейценбаум
* Норберт Винер
* Виктор Глушков
* Владимир Городецкий
* Ян Лекун
* Алексей Ляпунов
* Джон Маккарти
* Марвин Мински
* Аллен Ньюэлл
* Сеймур Пейперт
* Джуда Перл
* Гермоген Поспелов
* Дмитрий Поспелов
* Фрэнк Розенблатт
* Герберт Александер Саймон
* Алан Тьюринг
* Патрик Уинстон
* Виктор Финн
* Сергей Фомин
* Демис Хассабис
* Джеффри Хинтон
* Ноам Хомский
* Клод Шеннон
* Эндрю Ын
* Элиезер Юдковский

Машинное обучение и data mining

Задачи|

* Задача классификации
* Обучение без учителя
* Обучение с частичным привлечением учителя
* Регрессионный анализ
* AutoML
* Ассоциативные правила
* Выделение признаков
* Обучение признакам
* Обучение ранжированию
* Грамматический вывод
* Онлайновое обучение

Обучение с учителем|

* Метод k ближайших соседей
* Наивный байесовский классификатор
* Дерево решений
* Метод опорных векторов
* Линейная регрессия
* Логистическая регрессия
* Перцептрон
* Ансамблевое обучение
* Бэггинг
* Бустинг
* Метод случайного леса
* Метод релевантных векторов

Кластерный анализ|

* Метод k-средних
* Метод нечёткой кластеризации
* Иерархическая кластеризация
* EM-алгоритм
* BIRCH
* CURE
* DBSCAN
* OPTICS
* Mean-shift

Снижение размерности|

* Факторный анализ
* Метод главных компонент
* CCA
* ICA
* LDA
* Неотрицательное матричное разложение
* t-SNE

Структурное прогнозирование|

* Графовая вероятностная модель
* Байесовская сеть
* Скрытая марковская модель
* CRF

Выявление аномалий|

* Метод k ближайших соседей
* Локальный уровень выброса

Графовые вероятностные модели|

* Байесовская сеть
* Марковская сеть
* Скрытая марковская модель

Нейронные сети|

* Ограниченная машина Больцмана
* Самоорганизующаяся карта
* Функция активации
* Сигмоида
* Softmax
* Радиально-базисная функция
* Метод обратного распространения ошибки
* Глубокое обучение
* Многослойный перцептрон
* Рекуррентная нейронная сеть
* Долгая краткосрочная память
* Управляемый рекуррентный блок
* Свёрточная нейронная сеть
* U-Net
* Автокодировщик

Обучение с подкреплением|

* Марковский процесс
* Уравнение Беллмана
* Жадный алгоритм
* Q-обучение
* SARSA
* Temporal difference (TD)

Теория|

* Размерность Вапника — Червоненкиса
* Дилемма смещения–дисперсии
* Теория вычислительного обучения
* Минимизация эмпирического риска
* Оккамово обучение
* PAC learning
* Статистическая теория обучения

Журналы и конференции|

* NeurIPS
* ICML
* ML
* JMLR
* ArXiv:cs.LG