Sora

У этого термина существуют и другие значения, см. Сора.

Sora

Пример работы Sora
Тип |  Генеративный искусственный интеллект
Автор |  OpenAI
Разработчик |  OpenAI
Первый выпуск |  15 февраля 2024
Сайт |  sora.com (англ.)
Медиафайлы на Викискладе

Sora — модель искусственного интеллекта, предназначенная для генерации Full HD-видео по короткому текстовому описанию — промпту. Разработана компанией OpenAI, ранее выпустившей такие продукты, как DALL-E и ChatGPT. Выпущена 15 февраля 2024 года[1]; с 9 декабря того же года доступ к Sora открыт для пользователей ChatGPT Plus и ChatGPT Pro[2].

## Содержание

* 1 Предыстория
* 2 Описание
* 3 Реакция
* 4 Примечания

## Предыстория

[править | править код]

Первые крупные разработки в области генерации видео по текстовому описанию (text-to-video) были опубликованы в 2022 году. Тогда компаниями Meta и Google независимо друг от друга были представлены модели Make-A-Video, Phenaki и Imagen Video, позволяющие создавать короткие видеоролики по текстовому описанию и/или статичной картинке[3]. Качество таких видео было невысоким. Так, Phenaki позволяла создавать видео с базовым разрешением 128×128 пикселей[4], Imagen — 1280×768 и максимальной продолжительностью 5,3 секунды[5]. В январе 2024 года Google представила модель Lumiere, позволявшую генерировать видео в разрешении 512×512 пикселей и продолжительностью также до 5 секунд[6].

## Описание

[править | править код]

15 февраля 2024 года компания OpenAI официально представила модель Sora. Она представляет собой диффузионную модель[англ.], также создающую видео по текстовому описанию. Процесс генерации начинается со случайного шума, который постепенно преобразуется в изображение. Так же как и GPT, Sora имеет архитектуру трансформера, однако для представления информации вместо токенов использует пространственно-временные патчи — фрагменты, содержащие информацию о частях кадров и их изменении во времени[3].

Согласно заявлению производителя, Sora умеет генерировать видеоролики с максимальным разрешением 1920×1080 и максимальной продолжительностью 1 минута, что превосходит по качеству все предыдущие модели данного типа[3]. В качестве демонстрации OpenAI представил несколько сгенерированных роликов, изображающих, в частности, гуляющих по заснеженному Токио людей, сидящего около свечи пушистого монстра и нескольких мамонтов, идущих через заснеженный луг[7]. Помимо генерации видео по тексту, в качестве возможностей Sora заявлены дополнение уже существующих видеороликов и анимирование статичных изображений, изменение направления воспроизведения и склейка видеофрагментов между собой[3].

При высоком качестве генерации контента Sora иногда может допускать ошибки. Так, производитель в числе проблем нейросети называет неточное воспроизведение физики в сложных сценах. Также отмечаются проблемы с пониманием причинно-следственных связей: например, отсутствие следов зубов на печенье после того, как его надкусил человек. Кроме того, иногда у модели возникает путаница с ориентацией в пространстве и с воспроизведением длительных событий[3][8].

С 15 февраля 2024 доступом к разработке могли воспользоваться тестировщики и специалисты по кибербезопасности для поиска уязвимостей, а также профессионалы в области визуального искусства[8]. В декабре 2024 года доступ получили пользователи платных подписок ChatGPT в ряде стран[2].

## Реакция

[править | править код]

Кейд Метц, обозреватель The New York Times, назвал опубликованные результаты работы Sora «потрясающими» и сравнил их с кадрами из голливудского фильма[9]. Похожее мнение высказал и Wired, отметив также, что сгенерированные Sora видео всё же имеют свои недостатки[7].

Одним из главных опасений, высказываемых в адрес Sora, является потенциальная возможность использования технологии в целях дезинформации. Особенно опасным сценарием NBC News назвал создание высококачественных фейков для предвыборной пропаганды или в условиях глобальных конфликтов. Федеральная торговая комиссия США предложила объявить незаконной генерацию контента с участием реальных людей при помощи искусственного интеллекта. По словам OpenAI, компания работает над созданием инструментов, которые будут специальным образом помечать и распознавать видео, созданные ИИ, для предотвращения недобросовестного использования разработки[6][10].

Ещё одной проблемой, связанной с Sora, является возможное нарушение авторских прав в сгенерированных видео. По словам Билли Пиблса, одного из участников проекта, для обучения модели используется в том числе общедоступный контент. Ранее против OpenAI уже подавались судебные иски, при рассмотрении которых следует выяснить, является ли допустимым использование защищённого авторским правом общедоступного контента для обучения ИИ[7].

## Примечания

[править | править код]

1. ↑ OpenAI представила модель ИИ Sora по преобразованию текста в видео (рус.). ТАСС (16 февраля 2024). Дата обращения: 18 января 2024. Архивировано 16 февраля 2024 года.
2. ↑ 1 2 OpenAI запустила нейросеть Sora для генерации видео по текстовым запросам (рус.). Интерфакс (10 декабря 2024). Дата обращения: 10 декабря 2024.
3. ↑ 1 2 3 4 5 Андрей Фокин. OpenAI представила нейросеть для генерации видео по текстовому описанию (рус.). N + 1 (19 февраля 2024). Дата обращения: 27 февраля 2024. Архивировано 22 февраля 2024 года.
4. ↑ Phenaki (англ.). Google Research. Дата обращения: 27 февраля 2024. Архивировано 27 февраля 2024 года.
5. ↑ Artificial Intelligence: Google Announces Imagen, Its Text-To-Video Tool (англ.). DailyAlts (6 октября 2022). Дата обращения: 27 февраля 2024. Архивировано 27 февраля 2024 года.
6. ↑ 1 2 Сергей Колесников. Sora неизбежна: каким может быть будущее видеотехнологий (рус.). Forbes (25 февраля 2024). Дата обращения: 27 февраля 2024. Архивировано 26 февраля 2024 года.
7. ↑ 1 2 3 Steven Levy. OpenAI’s Sora Turns AI Prompts Into Photorealistic Videos (англ.). Wired (15 февраля 2024). Дата обращения: 27 февраля 2024. Архивировано 15 февраля 2024 года.
8. ↑ 1 2 Сергей Мингазов. OpenAl открыла доступ тестировщикам к генератору видео на основе текста Sora (рус.). Forbes (16 февраля 2024). Дата обращения: 27 февраля 2024. Архивировано 27 февраля 2024 года.
9. ↑ Cade Metz. OpenAI Unveils A.I. That Instantly Generates Eye-Popping Videos (англ.). The New York Times (15 февраля 2024). Дата обращения: 3 марта 2024. Архивировано 15 февраля 2024 года.
10. ↑ Angela Yang. OpenAI teases ‘Sora,’ its new text-to-video AI model (англ.). NBC News (16 февраля 2024). Дата обращения: 27 февраля 2024. Архивировано 15 февраля 2024 года.

Обработка естественного языка

Общие определения|

* Языковая модель
* Корпус текстов
* Речевой корпус
* Стоп-слова
* Мешок слов
* AI-полнота
* N-грамма
* Биграммный шифр
* Триграмма

Анализ текста|

* Сегментация текста[англ.]
* Частеречная разметка
* Поверхностно-синтаксический анализ
* Обработка сложных слов[англ.]
* Извлечение коллокаций[англ.]
* Стемминг
* Лемматизация
* Распознавание именованных сущностей[англ.]
* Разрешение кореферентности
* Анализ тональности текста
* Извлечение концептов[англ.]
* Синтаксический анализ
* Разрешение лексической многозначности
* Извлечение терминологии[англ.]
* Извлечение информации
* Идентификация языка
* Определение регистра[англ.]

Реферирование|

* Извлечение предложений[англ.]
* Генерация реферата
* Многодокументное реферирование[англ.]
* Упрощение текста[англ.]

Машинный перевод|

* Автоматизированный
* Гибридный
* Интерлингвальный[англ.]
* На основе правил
* На основе примеров
* На основе словаря[англ.]
* На основе трансформации
* Нейронный
* Статистический
* Синхронный

Идентификация
и сбор данных|

* Распознавание речи
* Синтез речи
* Оптическое распознавание символов
* Генерация текста

Тематическая модель|

* Размещение патинко
* Латентное размещение Дирихле
* Латентно-семантический анализ

Рецензирование|

* Автоматизированная оценка сочинений[англ.]
* Конкордансер
* Предиктивный ввод текста
* Система проверки грамматики[англ.]
* Система проверки правописания
* Угадывание синтаксиса[англ.]

Интерфейс
на естественном языке[англ.]|

* Виртуальный ассистент
* Виртуальный собеседник
* Вопросно-ответная система
* Голосовой интерфейс
* Интерактивная литература

Типы искусственных нейронных сетей

* Сеть прямого распространения
* Сеть радиально-базисных функций
* Однослойный перцептрон
* Многослойный перцептрон
* Розенблата
* Румельхарта
* Сеть Хопфилда
* Цепь Маркова
* Машина Больцмана
* Ограниченная машина Больцмана
* Автокодировщик
* Шумоподавляющий автокодировщик[англ.]
* Разреженный автокодировщик[англ.]
* Вариационный автокодировщик[англ.]
* Глубокая сеть доверия
* Свёрточная нейронная сеть
* Глубинная свёрточная нейронная сеть
* Развёртывающая нейронная сеть
* Глубинная свёрточная обратная графическая сеть
* Генеративно-состязательная сеть
* Рекуррентная нейронная сеть
* Рекурсивные нейронные сети
* Долгая краткосрочная память
* Управляемый рекуррентный блок
* Нейронные машины Тьюринга[англ.]
* Двунаправленная сеть
* Двунаправленная рекуррентная нейросеть[англ.]
* Двунаправленная сеть с долгой краткосрочной памятью
* Двунаправленные управляемые рекуррентные нейроны
* Глубинная остаточная сеть
* Нейронная эхо-сеть[англ.]
* Метод экстремального обучения[англ.]
* Метод неустойчивых состояний[англ.]
* Метод опорных векторов
* Сеть Кохонена
* Самоорганизующаяся карта Кохонена
* Капсульная нейронная сеть
* Ассоциативная память на нейронных сетях

Искусственный интеллект

История|

* Вычислительные машины и разум
* Зима искусственного интеллекта
* Бум искусственного интеллекта
* Джорджтаунский эксперимент
* Дартмутский семинар
* Отчёт Лайтхилла
* Регламент ЕС
* Гонка вооружений в области искусственного интеллекта
* Холодная война за искусственный интеллект

Философия|

* Тест Тьюринга
* Китайская комната
* Сильный и слабый искусственные интеллекты
* Дружественный искусственный интеллект
* Этика искусственного интеллекта
* Проблема контроля

Направления|

* Агентный подход
* Адаптивное управление
* Генеративный ИИ
* Инженерия знаний
* Модель жизнеспособной системы
* Машинное обучение
* Нейронная сеть
* Нечёткая логика
* Обработка естественного языка
* Персональный искусственный интеллект
* Распознавание образов
* Роевой интеллект
* Символический ИИ
* Эволюционные алгоритмы
* Экспертная система

Применение|

* Голосовое управление
* Задача классификации
* Классификация документов
* Кластеризация документов
* Кластерный анализ
* Локальный поиск
* Машинный перевод
* Оптическое распознавание символов
* Распознавание речи
* Распознавание рукописного ввода
* Игровой ИИ

Исследователи|

* Чарлз Бэббидж
* Владимир Вапник
* Джозеф Вейценбаум
* Норберт Винер
* Виктор Глушков
* Владимир Городецкий
* Рэймонд Курцвейл
* Ян Лекун
* Алексей Ляпунов
* Джон Маккарти
* Марвин Мински
* Аллен Ньюэлл
* Сеймур Пейперт
* Джуда Перл
* Гермоген Поспелов
* Дмитрий Поспелов
* Фрэнк Розенблатт
* Герберт Саймон
* Алан Тьюринг
* Патрик Уинстон
* Виктор Финн
* Сергей Фомин
* Демис Хассабис
* Джеффри Хинтон
* Ноам Хомский
* Клод Шеннон
* Эндрю Ын
* Элиезер Юдковский

Машинное обучение и data mining

Задачи|

* Задача классификации
* Обучение без учителя
* Обучение с частичным привлечением учителя
* Регрессионный анализ
* AutoML
* Ассоциативные правила
* Выделение признаков
* Обучение признакам
* Обучение ранжированию
* Грамматический вывод
* Онлайновое обучение

Обучение с учителем|

* Метод k ближайших соседей
* Наивный байесовский классификатор
* Дерево решений
* Метод опорных векторов
* Линейная регрессия
* Логистическая регрессия
* Перцептрон
* Ансамблевое обучение
* Бэггинг
* Бустинг
* Метод случайного леса
* Метод релевантных векторов

Кластерный анализ|

* Метод k-средних
* Метод нечёткой кластеризации
* Иерархическая кластеризация
* EM-алгоритм
* BIRCH
* CURE
* DBSCAN
* OPTICS
* Mean-shift

Снижение размерности|

* Факторный анализ
* Метод главных компонент
* CCA
* ICA
* LDA
* Неотрицательное матричное разложение
* t-SNE

Структурное прогнозирование|

* Графовая вероятностная модель
* Байесовская сеть
* Скрытая марковская модель
* CRF

Выявление аномалий|

* Метод k ближайших соседей
* Локальный уровень выброса

Графовые вероятностные модели|

* Байесовская сеть
* Марковская сеть
* Скрытая марковская модель

Нейронные сети|

* Ограниченная машина Больцмана
* Самоорганизующаяся карта
* Функция активации
* Сигмоида
* Softmax
* Радиально-базисная функция
* Метод обратного распространения ошибки
* Глубокое обучение
* Многослойный перцептрон
* Рекуррентная нейронная сеть
* Долгая краткосрочная память
* Управляемый рекуррентный блок
* Свёрточная нейронная сеть
* U-Net
* Автокодировщик

Обучение с подкреплением|

* Марковский процесс
* Уравнение Беллмана
* Жадный алгоритм
* Q-обучение
* SARSA
* Temporal difference (TD)

Теория|

* Размерность Вапника — Червоненкиса
* Дилемма смещения–дисперсии
* Теория вычислительного обучения
* Минимизация эмпирического риска
* Оккамово обучение
* PAC learning
* Статистическая теория обучения

Журналы и конференции|

* NeurIPS
* ICML
* ML
* JMLR
* ArXiv:cs.LG

Генеративный ИИ

Концепции|

* Автокодировщик
* Глубокое обучение
* Генеративно-состязательная сеть
* Generative pre-trained transformer
* Большая языковая модель
* Нейронная сеть
* Техника подсказок
* RAG[укр.]
* RLHF
* Самоуправляемое обучение[укр.]
* Трансформер
* Вариационный автокодировщик[укр.]
* Зрительный трансформер[укр.]
* Векторное представление слов

Модели|

| Текст|

* BLOOM
* Claude
* DBRX
* DeepSeek
* Gemini
* GigaChat
* GPT
* 1[англ.]
* 2[англ.]
* 3
* J
* ChatGPT
* 4
* 4o[англ.]
* OpenAI o1
* OpenAI o3
* Grok
* Granite
* Qwen
* LaMDA
* LLaMA
* Mistral Large[англ.]
* PanGu-Σ[англ.]
* YandexGPT
* Perplexity AI

|

Програм. код|

* GigaCode
* GitHub Copilot
* Granite.Code
* OpenAI Codex

Изображение|

* Aurora
* DALL-E
* Firefly
* Flux
* Ideogram
* Kandinsky
* Midjourney
* Stable Diffusion
* Шедеврум

Видео|

* Dream Machine[англ.]
* Gen-3 Alpha[англ.]
* Hailuo AI
* Kling[англ.]
* Sora
* Veo

Музыка|

* Udio
* Suno AI

Компании|

* Alibaba
* Anthropic
* Baichuan
* ElevenLabs[англ.]
* Google DeepMind
* Hugging Face
* Kuaishou[англ.]
* Meta AI
* MiniMax[англ.]
* Mistral AI[англ.]
* Moonshot AI[англ.]
* OpenAI
* Runway[англ.]
* Sber AI
* Stability AI
* The Stargate Project
* Synthesia[англ.]
* xAI
* Zhipu AI
* Яндекс

Категория · Искусственный интеллект