Аналитический обзор по ИИ в 2023 году
Опубликован главный отчет года о состоянии и прогнозах в области ИИ в мире State of AI Report. В 160 слайдовом отчете содержится подробное описание прогресса в области ИИ в 4х измерениях (исследования, промышленность, регулирование и безопасность) с упором на ключевые события последних 12 месяцев. Но самое ценное в отчете – предсказания его авторов важнейших событий в ИИ на год вперед, с разбором и анализом прошлых предсказаний, причин несбычи (если таковое случилось) и как оно дальше будет.
Общие положения
Утверждается, что в 2023 году произошла революция генеративного ИИ, следствием чего стал фазовый переход технологического прогресса в зону сингулярности.
• Эпохальные события теперь происходят с немыслимой скоростью.
• Предсказывать их колоссальные последствия становится неимоверно трудно.
• Подобно взрывной волне от ядерной бомбы, эти последствия мгновенно сжигают и обесценивают большинство совсем недавних прогнозов, как бумагу сминают многие прошлые тренды и до неузнаваемости деформируют наши представления о том, как будут жить, работать, учиться и развлекаться отдельные люди и целые социумы уже на горизонте нескольких лет.
2023 год, конечно, был годом LLM, и мир был ошеломлен GPT-4 от OpenAI, которому удалось превзойти все остальные LLM - как по классическим тестам ИИ, так и по экзаменам, предназначенным для людей.
Наблюдается отход от открытости на фоне проблем с безопасностью и конкуренцией. OpenAI опубликовал очень ограниченный технический отчет для GPT-4, Google опубликовал мало о PaLM2, Anthropic просто не заморачивался с Клодом... или Клод 2. Тем не менее, Meta AI и другие поддерживают пламя открытого исходного кода, создавая и выпуская конкурентоспособные открытые LLM, которые способны соответствовать многим возможностям GPT-3.5. Судя по спискам лидеров в Hugging Face, открытый исходный код стал более динамичным, чем когда-либо, а количество загрузок и заявок моделей взлетело до рекордно высокого уровня. Примечательно, что за последние 30 дней модели LLaMa были загружены более 32 миллионов раз на Hugging Face.
Несмотря на то, что у нас есть множество различных критериев (в основном академических) для оценки производительности систем LLM, часто кажется, что оценка всех оценок имеет максимальную научную и инженерную основу: «вибрации». Помимо волнения от LLM, исследователи, в том числе из Microsoft, изучают возможность небольших языковых моделей, обнаружив, что модели, обученные на узкоспециализированных наборах данных, могут конкурировать с более крупными конкурентами в 50 раз. Эта работа может стать еще более актуальной, если команда Epoch AI окажется права. Они предсказывают, что мы рискуем исчерпать запас высококачественных языковых данных в ближайшие два года, что побудит лаборатории изучить альтернативные источники данных для обучения.
Исследования
В то время как NVIDIA продолжает поставлять новые чипы, их старые графические процессоры демонстрируют замечательную ценность в течение всего срока службы. V100, выпущенный в 2017 году, стал самым популярным графическим процессором в исследовательских работах по искусственному интеллекту в 2022 году. Он может перестать использоваться через 5 лет, а это значит, что он прослужит 10 лет.
Мы уже наблюдаем быстрый спрос на NVIDIA H100, и лаборатории спешат создавать огромные кластеры, и, вероятно, их будет еще больше. Тем не менее, мы слышим, что эти усилия не обходятся без значительных инженерных проблем, которые необходимо реализовать.
«Войны чипов» также вынуждают отрасль адаптироваться к новым условиям: NVIDIA, Intel и AMD стремятся создать специальные, совместимые с санкциями чипы для своих крупных китайских клиентов.
Возможно, наименее удивительная новость всех времен заключается в том, что Chat-GPT является одним из самых быстрорастущих интернет-продуктов. Он пользуется особым успехом среди разработчиков, вытесняя Stack Overflow - исторически сложившийся источник выбора для разработчиков, ищущих решения проблем кодирования.
Но, согласно данным Sequoia, на данный момент есть основания сомневаться в долговечности продуктов GenAI - с шаткими показателями удержания для всего, от генерации изображений до партнеров по искусственному интеллекту.
За пределами мира потребительского программного обеспечения есть признаки того, что GenAI может ускорить прогресс в мире воплощенного ИИ. Wayve GAIA-1 демонстрирует впечатляющее обобщение и может выступать в качестве мощного инструмента для обучения и проверки моделей автономного вождения.
Помимо GenAI, мы наблюдаем значительные изменения в отраслях, которые ранее изо всех сил пытались найти подходящее место для ИИ. Ряд традиционных фармацевтических компаний пошли ва-банк на ИИ, заключив миллиардные сделки с такими компаниями, как Exscientia и InstaDeep.
Рынок обороны, ориентированной на ИИ, оживает, поскольку военные спешат модернизировать возможности в ответ на асимметричную войну, которую мы наблюдаем в Украине. Тем не менее, столкновение между новыми технологиями и старыми игроками затрудняет появление новых игроков.
Несмотря на эти успехи, бремя венчурной индустрии лежит на плечах GenAI, который держит небо над частными рынками технологий, такими как Atlas. Если бы не бум GenAI, инвестиции в ИИ рухнули бы на 40% по сравнению с прошлым годом.
Авторы знаковой статьи, в которой были представлены нейронные сети на основе трансформеров, являются живым доказательством этого - мафия-трансформер коллективно собрала миллиарды долларов только в 2023 году. Мы обновили наши популярные слайды прошлого года :-)
То же самое можно сказать и о команде DeepSpeech2 в лаборатории искусственного интеллекта Baidu в Кремниевой долине. Их работа по глубокому обучению для распознавания речи показала нам законы масштабирования, которые сейчас лежат в основе крупномасштабного ИИ. Большая часть команды стала основателями или руководителями высшего звена в ведущих компаниях машинного обучения.
Многие из самых громких блокбастеров по сбору средств вообще не были организованы традиционными венчурными фирмами. 2023 год стал годом корпоративного предпринимательства, и Big Tech эффективно использовала свой военный бюджет.
2023 год ознаменовался продолжающимся формированием двух технологических полюсов в лице США и Китая. Пока инициатива на стороне США, но в будущем ситуация может измениться. Регуляторные вопросы особенно обострятся и выйдут на глобальный уровень с ростом влияния ИИ на такие аспекты как выборы и рынок труда. Риски ИИ в этом году занимали многих, и у современных систем все еще остается много уязвимостей, которые существенно ограничивают их применение.
Были выдвинуты потенциальные предложения по глобальному управлению, а в качестве прецедента был использован алфавитный суп из институциональных аббревиатур. Саммит по безопасности ИИ в Великобритании, организованный Мэттом Клиффордом (Matt Clifford) и другими, может помочь начать кристаллизовать некоторые из этих идей. Эти дебаты могут стать еще более актуальными, поскольку мы продолжаем видеть силу ИИ на поле боя. Война в Украине превратилась в лабораторию для ведения войны с искусственным интеллектом, демонстрируя, как даже относительно импровизированные системы, если их грамотно интегрировать, могут быть использованы с разрушительным эффектом.
Еще одна потенциальная горячая точка – президентские выборы в США. До сих пор дипфейки и другой контент, созданный искусственным интеллектом, имели неоднозначное отношение к дезинформации старой школы. Недорогие и высококачественные модели могут изменить эту ситуацию, побуждая к упреждающим действиям.
Прошлые отчеты о состоянии искусственного интеллекта предупреждали, что большие лаборатории пренебрегают безопасностью. 2023 год стал годом дебатов о риске X, когда среди исследователей усилились открытые и закрытые дебаты, а риск вымирания попал в заголовки газет. Излишне говорить, что не все с этим согласны - Ян Лекун и Марк Андриссен становятся главными скептиками.
Неудивительно, что политики встревожены и пытаются напрямую использовать свои знания о потенциальных рисках. Великобритания первой создала специальную целевую группу по искусственному интеллекту во главе с Яном Хогартом, а США начали расследование в Конгрессе.
Несмотря на все теоретические дебаты, лаборатории уже действуют, а Google DeepMind и Anthropic были одними из первых, кто более подробно изложил свой подход к снижению экстремальных рисков при развертывании.
Даже не заглядывая далеко в будущее, задаются сложные вопросы о таких методах, как обучение с подкреплением на основе обратной связи от человека, которые привели в действие такие сервисы, как Chat-GPT.
1. В Голливуде произойдет технологическая революция в области создания визуальных эффектов – весь процесс будет отдан на откуп ГенИИ.
2. Начнется первое в истории расследование вмешательства ГенИИ известного на весь мир производителя в предвыборную президентскую кампанию в США.
3. ГенИИ триумфально победит людей, как ранее в шахматах и Го, но теперь соревнуясь с ними в сложных комплексных средах (AAA-игры, использование инструментов, наука …)
Автор: Свириденко Д. И., доктор ф.-м.н., профессор СибГУТИ и НГУ
Иллюстрация - ответ ИИ на запрос: logo for science technology conference, Information System, silhouettes pine tree, minimalist, cosy, retro, simple
Общие положения
Утверждается, что в 2023 году произошла революция генеративного ИИ, следствием чего стал фазовый переход технологического прогресса в зону сингулярности.
• Эпохальные события теперь происходят с немыслимой скоростью.
• Предсказывать их колоссальные последствия становится неимоверно трудно.
• Подобно взрывной волне от ядерной бомбы, эти последствия мгновенно сжигают и обесценивают большинство совсем недавних прогнозов, как бумагу сминают многие прошлые тренды и до неузнаваемости деформируют наши представления о том, как будут жить, работать, учиться и развлекаться отдельные люди и целые социумы уже на горизонте нескольких лет.
2023 год, конечно, был годом LLM, и мир был ошеломлен GPT-4 от OpenAI, которому удалось превзойти все остальные LLM - как по классическим тестам ИИ, так и по экзаменам, предназначенным для людей.
Наблюдается отход от открытости на фоне проблем с безопасностью и конкуренцией. OpenAI опубликовал очень ограниченный технический отчет для GPT-4, Google опубликовал мало о PaLM2, Anthropic просто не заморачивался с Клодом... или Клод 2. Тем не менее, Meta AI и другие поддерживают пламя открытого исходного кода, создавая и выпуская конкурентоспособные открытые LLM, которые способны соответствовать многим возможностям GPT-3.5. Судя по спискам лидеров в Hugging Face, открытый исходный код стал более динамичным, чем когда-либо, а количество загрузок и заявок моделей взлетело до рекордно высокого уровня. Примечательно, что за последние 30 дней модели LLaMa были загружены более 32 миллионов раз на Hugging Face.
Несмотря на то, что у нас есть множество различных критериев (в основном академических) для оценки производительности систем LLM, часто кажется, что оценка всех оценок имеет максимальную научную и инженерную основу: «вибрации». Помимо волнения от LLM, исследователи, в том числе из Microsoft, изучают возможность небольших языковых моделей, обнаружив, что модели, обученные на узкоспециализированных наборах данных, могут конкурировать с более крупными конкурентами в 50 раз. Эта работа может стать еще более актуальной, если команда Epoch AI окажется права. Они предсказывают, что мы рискуем исчерпать запас высококачественных языковых данных в ближайшие два года, что побудит лаборатории изучить альтернативные источники данных для обучения.
Исследования
- Если посмотреть на состояние исследований в целом, то можно сказать, что США лидируют в сокращении, но подавляющее большинство высокоцитируемых статей по-прежнему исходит от небольшого числа американских институтов.◾ На примере GPT 4 виден существенный разрыв между эффективностью проприетарных ИИ моделей и открытых альтернатив не в пользу последних. Этот же пример демонстрирует высокую эффективность обучения с подкреплением на основе обратной связи от пользователей.
- Увеличивается количество попыток повторить или превзойти качество проприетарных моделей с помощью небольших моделей, повышения качества датасетов, удлинения контекста. Лидером в этом являются модели семейства LLaMa.
- Не ясно насколько долго данные созданные людьми смогут поддерживать развитие и масштабирование ИИ. По некоторым оценкам уже в 2025 году LLM могут столкнуться с дефицитом данных. Малоизученным остается влияние синтетических данных на качество моделей. Еще одним важным направлением является извлечение новых данных из видео и введение в оборот закрытых данных компаний.
- Большие языковые модели в настоящее время являются инструментом, обеспечивающим большой прорыв в естественных науках, и в первую очередь в молекулярной биологии и создании новых лекарств.
- Новым фронтиром становится мультимодальность, устойчиво растет спрос на все виды интеллектуальных агентов
Промышленность
- NVIDIA достигла триллионной капитализации за счет спроса на GPU для ИИ в государственном секторе, стартапах, технологических компаниях и исследовательских организациях
- Экспортные ограничения ограничивают продажи чипов на глобальном рынке (в первую очередь в Китае), но ключевые вендоры создают специализированную продукцию для обхода таких ограничений
- Приложения на основе генеративного ИИ привлекли рекордные $18 млрд. венчурных и корпоративных инвестиций в этом году
В то время как NVIDIA продолжает поставлять новые чипы, их старые графические процессоры демонстрируют замечательную ценность в течение всего срока службы. V100, выпущенный в 2017 году, стал самым популярным графическим процессором в исследовательских работах по искусственному интеллекту в 2022 году. Он может перестать использоваться через 5 лет, а это значит, что он прослужит 10 лет.
Мы уже наблюдаем быстрый спрос на NVIDIA H100, и лаборатории спешат создавать огромные кластеры, и, вероятно, их будет еще больше. Тем не менее, мы слышим, что эти усилия не обходятся без значительных инженерных проблем, которые необходимо реализовать.
«Войны чипов» также вынуждают отрасль адаптироваться к новым условиям: NVIDIA, Intel и AMD стремятся создать специальные, совместимые с санкциями чипы для своих крупных китайских клиентов.
Возможно, наименее удивительная новость всех времен заключается в том, что Chat-GPT является одним из самых быстрорастущих интернет-продуктов. Он пользуется особым успехом среди разработчиков, вытесняя Stack Overflow - исторически сложившийся источник выбора для разработчиков, ищущих решения проблем кодирования.
Но, согласно данным Sequoia, на данный момент есть основания сомневаться в долговечности продуктов GenAI - с шаткими показателями удержания для всего, от генерации изображений до партнеров по искусственному интеллекту.
За пределами мира потребительского программного обеспечения есть признаки того, что GenAI может ускорить прогресс в мире воплощенного ИИ. Wayve GAIA-1 демонстрирует впечатляющее обобщение и может выступать в качестве мощного инструмента для обучения и проверки моделей автономного вождения.
Помимо GenAI, мы наблюдаем значительные изменения в отраслях, которые ранее изо всех сил пытались найти подходящее место для ИИ. Ряд традиционных фармацевтических компаний пошли ва-банк на ИИ, заключив миллиардные сделки с такими компаниями, как Exscientia и InstaDeep.
Рынок обороны, ориентированной на ИИ, оживает, поскольку военные спешат модернизировать возможности в ответ на асимметричную войну, которую мы наблюдаем в Украине. Тем не менее, столкновение между новыми технологиями и старыми игроками затрудняет появление новых игроков.
Несмотря на эти успехи, бремя венчурной индустрии лежит на плечах GenAI, который держит небо над частными рынками технологий, такими как Atlas. Если бы не бум GenAI, инвестиции в ИИ рухнули бы на 40% по сравнению с прошлым годом.
Авторы знаковой статьи, в которой были представлены нейронные сети на основе трансформеров, являются живым доказательством этого - мафия-трансформер коллективно собрала миллиарды долларов только в 2023 году. Мы обновили наши популярные слайды прошлого года :-)
То же самое можно сказать и о команде DeepSpeech2 в лаборатории искусственного интеллекта Baidu в Кремниевой долине. Их работа по глубокому обучению для распознавания речи показала нам законы масштабирования, которые сейчас лежат в основе крупномасштабного ИИ. Большая часть команды стала основателями или руководителями высшего звена в ведущих компаниях машинного обучения.
Многие из самых громких блокбастеров по сбору средств вообще не были организованы традиционными венчурными фирмами. 2023 год стал годом корпоративного предпринимательства, и Big Tech эффективно использовала свой военный бюджет.
Политика
2023 год ознаменовался продолжающимся формированием двух технологических полюсов в лице США и Китая. Пока инициатива на стороне США, но в будущем ситуация может измениться. Регуляторные вопросы особенно обострятся и выйдут на глобальный уровень с ростом влияния ИИ на такие аспекты как выборы и рынок труда. Риски ИИ в этом году занимали многих, и у современных систем все еще остается много уязвимостей, которые существенно ограничивают их применение.
Были выдвинуты потенциальные предложения по глобальному управлению, а в качестве прецедента был использован алфавитный суп из институциональных аббревиатур. Саммит по безопасности ИИ в Великобритании, организованный Мэттом Клиффордом (Matt Clifford) и другими, может помочь начать кристаллизовать некоторые из этих идей. Эти дебаты могут стать еще более актуальными, поскольку мы продолжаем видеть силу ИИ на поле боя. Война в Украине превратилась в лабораторию для ведения войны с искусственным интеллектом, демонстрируя, как даже относительно импровизированные системы, если их грамотно интегрировать, могут быть использованы с разрушительным эффектом.
Еще одна потенциальная горячая точка – президентские выборы в США. До сих пор дипфейки и другой контент, созданный искусственным интеллектом, имели неоднозначное отношение к дезинформации старой школы. Недорогие и высококачественные модели могут изменить эту ситуацию, побуждая к упреждающим действиям.
Прошлые отчеты о состоянии искусственного интеллекта предупреждали, что большие лаборатории пренебрегают безопасностью. 2023 год стал годом дебатов о риске X, когда среди исследователей усилились открытые и закрытые дебаты, а риск вымирания попал в заголовки газет. Излишне говорить, что не все с этим согласны - Ян Лекун и Марк Андриссен становятся главными скептиками.
Неудивительно, что политики встревожены и пытаются напрямую использовать свои знания о потенциальных рисках. Великобритания первой создала специальную целевую группу по искусственному интеллекту во главе с Яном Хогартом, а США начали расследование в Конгрессе.
Несмотря на все теоретические дебаты, лаборатории уже действуют, а Google DeepMind и Anthropic были одними из первых, кто более подробно изложил свой подход к снижению экстремальных рисков при развертывании.
Даже не заглядывая далеко в будущее, задаются сложные вопросы о таких методах, как обучение с подкреплением на основе обратной связи от человека, которые привели в действие такие сервисы, как Chat-GPT.
Предсказания
Как всегда, были оценены прошлогодние прогнозы. Подтвердился интерес к :
- обучению LLM,
- GenAI/аудио,
- Big Tech, идущим ва-банк на AGI,
- инвестициям в согласование и данным обучения.
- GenAI/кинопроизводство
- Искусственный интеллект и выборы
- Средства самосовершенствования
- Возвращение интереса к IPO
- $1 млрд + моделей
- Антимонопольные расследования
- Глобальное управление
- Банки + графические процессоры
- Музыка
- Приобретение микросхем
1. В Голливуде произойдет технологическая революция в области создания визуальных эффектов – весь процесс будет отдан на откуп ГенИИ.
2. Начнется первое в истории расследование вмешательства ГенИИ известного на весь мир производителя в предвыборную президентскую кампанию в США.
3. ГенИИ триумфально победит людей, как ранее в шахматах и Го, но теперь соревнуясь с ними в сложных комплексных средах (AAA-игры, использование инструментов, наука …)
Автор: Свириденко Д. И., доктор ф.-м.н., профессор СибГУТИ и НГУ
Иллюстрация - ответ ИИ на запрос: logo for science technology conference, Information System, silhouettes pine tree, minimalist, cosy, retro, simple
Событие от Ассоциация СибАкадемСофт