Разум в унисон. Технология мышления с ИИ

В ЭТОЙ ГЛАВЕ

• От механических трюков к цифровым революциям.

• Большие языковые модели – от предсказания к пониманию

• Страшно? Умно? Страшно-умно?

• Прорыв GPT-4: от игрушки к серьезному инструменту

«Парадоксы силы и слабости: когда ИИ удивляет и разочаровывает

От механических трюков к цифровым революциям

Говорить об искусственном интеллекте непросто – этот термин означал столько разных вещей, что все они перемешались в единую кашу понятий. Siri рассказывает анекдоты. Терминатор давит черепа. Алгоритмы определяют кредитные рейтинги. Мы давно очарованы машинами, способными мыслить.

Великий обман XVIII века

В 1770 году изобретение первого механического шахматного компьютера поразило всех, кто его видел. Шахматная доска стояла на сложном кабинете, а фигуры передвигал робот в одежде османского мага. Механический турок гастролировал по миру с 1770 по 1838 год, обыграв в шахматы Бенджамина Франклина и Наполеона. Увидев его в 1830-х, Эдгар Аллан По даже размышлял о возможности искусственного интеллекта.

Конечно, это была хитрая мистификация – внутри поддельных шестеренок прятался настоящий шахматный мастер. Но наша способность поверить в мыслящие машины обманула лучшие умы мира на целых три четверти века.

Рождение настоящего ИИ: 1950 год

Перенесемся в 1950 год, когда игрушка и мысленный эксперимент, созданные двумя гениями зарождающейся информатики, породили новое понимание искусственного интеллекта.

Игрушкой была механическая мышь Тесей, сконструированная Клодом Шенноном – изобретателем, шутником и величайшим теоретиком информации XX века. В фильме 1950 года он показал, как Тесей, работающий на переделанных телефонных реле, находит путь через сложный лабиринт. Это был первый настоящий пример машинного обучения.

Мысленным экспериментом стала игра в имитацию, где пионер компьютерных технологий Алан Тьюринг впервые изложил теории о том, как машина может достичь уровня функциональности, достаточного для подражания человеку. Хотя компьютеры были совсем новым изобретением, влиятельная работа Тьюринга помогла запустить зарождающуюся область искусственного интеллекта.

Циклы надежд и разочарований

Теорий было недостаточно. Горстка первых компьютерщиков начала работать над программами, раздвигающими границы того, что вскоре назвали искусственным интеллектом – термин, изобретенный в 1956 году Джоном Маккарти из MIT.

Прогресс поначалу был быстрым. Компьютеры программировали для решения логических задач и игры в шашки. Исследователи ожидали, что ИИ обыграет гроссмейстеров в шахматы в течение десятилетия. Но циклы ажиотажа всегда преследовали ИИ. Когда обещания не оправдались, наступило разочарование – одна из многих «зим ИИ», когда прогресс останавливается, а финансирование иссякает.

Последовали другие циклы подъема и спада. Каждый подъем сопровождался крупными технологическими прорывами, такими как искусственные нейронные сети, имитирующие человеческий мозг. За ними следовал крах, когда ИИ не мог выполнить ожидаемые цели.

Эра больших данных: 2010-е годы

Последний бум ИИ начался в 2010-х с обещания использовать методы машинного обучения для анализа данных и прогнозирования. Многие из этих применений использовали технику, называемую обучение с учителем (supervised learning) – эти формы ИИ нуждались в размеченных данных для обучения.

Размеченные данные – это данные, аннотированные правильными ответами для конкретной задачи. Например, чтобы обучить ИИ распознавать лица, нужно предоставить изображения лиц с указанными именами или идентификаторами людей на них.

Эта фаза ИИ стала доменом крупных организаций с огромными объемами данных. Они использовали эти инструменты как мощные системы прогнозирования – оптимизировали логистику доставки или угадывали, какой контент показать пользователю на основе истории просмотров.

Практическое применение: от отелей до Amazon

Представьте отель, пытающийся спрогнозировать спрос на следующий год, имея только существующие данные и простую таблицу Excel. До прогнозного ИИ владельцы отелей играли в угадайку, пытаясь предсказать спрос и борясь с неэффективностью и потраченными ресурсами.

С этой формой ИИ они могли вводить множество данных – погодные условия, местные события, цены конкурентов – и генерировать гораздо более точные прогнозы. Результатом стала более эффективная работа и, в конечном счете, более прибыльный бизнес.

Amazon стал венцом этих технологий в 2010-х. В основе логистического мастерства Amazon лежат алгоритмы ИИ, незаметно управляющие каждым этапом цепочки поставок:

• Прогнозирование спроса

• Оптимизация планировок складов

• Доставка товаров

• Роботы Kiva, транспортирующие полки с товарами к работникам склада

Ограничения ранних систем ИИ

Однако эти типы систем ИИ имели серьезные ограничения:

• Они плохо справлялись с прогнозированием «неизвестных неизвестных» – ситуаций, которые люди интуитивно понимают, а машины нет

• Испытывали трудности с данными, с которыми еще не сталкивались через обучение с учителем

• Самое важное – большинство моделей ИИ были ограничены в способности понимать и генерировать текст связным и контекстно-осознанным образом

Революция внимания: рождение трансформеров

Среди множества научных работ по различным формам ИИ одна выделялась броским названием «Attention Is All You Need» («Внимание – это все, что нужно»). Опубликованная исследователями Google в 2017 году, эта работа представила значительный сдвиг в мире ИИ, особенно в том, как компьютеры понимают и обрабатывают человеческий язык.

Статья предложила новую архитектуру под названием Трансформер (Transformer), которая могла помочь компьютеру лучше обрабатывать человеческую коммуникацию. До трансформера использовались другие методы обучения компьютеров пониманию языка, но они имели ограничения, серьезно сдерживающие их полезность.

Механизм внимания: как машины научились читать

Трансформер решил эти проблемы, используя «механизм внимания». Эта техника позволяет ИИ концентрироваться на наиболее релевантных частях текста, облегчая ИИ понимание и работу с языком более человекоподобным способом.

При чтении мы знаем, что последнее прочитанное слово в предложении не всегда самое важное, но машины с трудом справлялись с этой концепцией. Результатом были неловко звучащие предложения, явно сгенерированные компьютером.

Пример раннего генератора текста: «ГОВОРЯ О ТОМ КАК АЛГОРИТМЫ НЕЗАМЕТНО УПРАВЛЯЮЩИЕ КАЖДЫМ ЭЛЕМЕНТОМ» – так хотел продолжить этот абзац генератор цепи Маркова, ранняя форма ИИ для генерации текста.

Ранние генераторы текста полагались на выбор слов согласно базовым правилам, а не на чтение контекстных подсказок – поэтому клавиатура iPhone показывала так много плохих предложений автозаполнения.

Механизм внимания помогает решить эту проблему, позволяя модели ИИ взвешивать важность различных слов или фраз в блоке текста. Сосредотачиваясь на наиболее релевантных частях текста, трансформеры могут создавать более контекстно-осознанные и связные тексты по сравнению с более ранними прогнозными ИИ.

Большие языковые модели – от предсказания к пониманию

Что такое большие языковые модели

Эти новые типы ИИ, называемые Большими языковыми моделями (Large Language Models, LLM), все еще занимаются предсказанием, но вместо прогнозирования спроса на заказы Amazon они анализируют фрагмент текста и предсказывают следующий токен – просто слово или часть слова.

В конечном счете, это все, что технически делает ChatGPT – действует как очень сложное автозаполнение, как на вашем телефоне. Вы даете ему начальный текст, и он продолжает писать на основе статистических вычислений наиболее вероятного следующего токена в последовательности.

Примеры работы предсказания

Если вы напишете «Закончи предложение: Я мыслю, следовательно, я…», ИИ каждый раз предскажет, что следующим словом будет «существую», потому что это невероятно вероятно.

Если вы напишете что-то более странное, например: «Марсианин съел банан, потому что», вы получите разные ответы каждый раз:

• «это была единственная знакомая еда в кладовой космического корабля»

• «это была новая интересная еда, которую он никогда не пробовал и хотел испытать вкус земного фрукта»

• «это было частью эксперимента по проверке пригодности земной пищи для потребления на Марсе»

Это происходит потому, что существует гораздо больше возможных ответов для второй половины предложения, и большинство LLM добавляют немного случайности в свои ответы, обеспечивая слегка разные результаты при каждом вопросе.

Процесс обучения: предтренировка без учителя

Чтобы научить ИИ понимать и генерировать человекоподобные тексты, его тренируют на массивном количестве текста из различных источников: веб-сайты, книги и другие цифровые документы. Это называется предтренировкой (pretraining), и в отличие от более ранних форм ИИ, это обучение без учителя – ИИ не нуждается в тщательно размеченных данных.

Анализируя эти примеры, ИИ учится распознавать паттерны, структуры и контекст в человеческом языке. С огромным количеством настраиваемых параметров (называемых весами), LLM могут создать модель, эмулирующую человеческую коммуникацию через письменный текст.

Веса – это сложные математические преобразования, которые LLM изучают, читая миллиарды слов. Они сообщают ИИ, насколько вероятно появление разных слов или частей слов вместе или в определенном порядке. Оригинальный ChatGPT имел 175 миллиардов весов, кодирующих связи между словами и частями слов.

Метафора повара-подмастерья

Представьте LLM как прилежного ученика-повара, стремящегося стать мастер-шефом. Чтобы изучить кулинарное искусство, ученик начинает с чтения огромной коллекции рецептов со всего мира. Каждый рецепт представляет фрагмент текста, различные ингредиенты символизируют слова и фразы. Цель ученика – понять, как комбинировать разные ингредиенты (слова) для создания вкусного блюда (связного текста).

Ученик-шеф начинает с хаотичной, неорганизованной кладовой, представляющей 175 миллиардов весов. Изначально эти веса имеют случайные значения и пока не содержат полезной информации о том, как связаны слова.

Чтобы построить свои знания и усовершенствовать стеллаж со специями, ученик-шеф проходит через процесс проб и ошибок, учась на изученных рецептах. Он обнаруживает, что определенные вкусы более распространены и лучше сочетаются – как яблоки и корица – а определенные вкусы редки, потому что их следует избегать – как яблоки и тмин.

Во время тренировки ученик-шеф пытается воссоздать блюда из рецептов, используя свою текущую кладовую. После каждой попытки ученик сравнивает свое творение с оригинальным рецептом и выявляет ошибки или несоответствия. Затем ученик пересматривает ингредиенты в кладовой, уточняя связи между вкусами для лучшего понимания их вероятного совместного использования.

Со временем и через бесчисленные итерации кладовая ученика-шефа становится более организованной и точной. Веса теперь отражают значимые связи между словами и фразами, и ученик превратился в мастер-шефа. При получении запроса мастер-шеф искусно выбирает правильные ингредиенты из своего обширного репертуара и консультируется со своим усовершенствованным стеллажом специй для обеспечения идеального баланса вкусов.

Высокая стоимость создания ИИ

Тренировка ИИ для этого – итеративный процесс, требующий мощных компьютеров для обработки огромных вычислений, связанных с изучением миллиардов слов. Эта фаза предтренировки – одна из главных причин, почему ИИ так дороги в создании.

Потребность в быстрых компьютерах с очень дорогими чипами, работающими месяцами в предтренировке, в основном ответственна за то, что более продвинутые LLM стоят свыше $100 миллионов для тренировки, используя большие количества энергии в процессе.

Источники данных для обучения

Многие ИИ-компании держат в секрете исходные тексты, на которых тренируются, называемые корпусами тренировки, но типичный пример тренировочных данных в основном состоит из текста, взятого из интернета, книг общественного достояния и исследовательских статей, и различных других бесплатных источников контента, которые исследователи могут найти.

Изучение этих источников в деталях выявляет странные материалы:

Вся база данных электронных писем Enron, закрытой за корпоративное мошенничество, используется как часть тренировочного материала для многих ИИ просто потому, что была сделана свободно доступной

Огромное количество любительских романтических романов включено в тренировочные данные, поскольку интернет полон писателей-любителей

Поиск высококачественного контента для тренировочного материала стал главной темой в разработке ИИ, поскольку жаждущие информации ИИ-компании исчерпывают хорошие, бесплатные источники. Одна оценка предполагает, что высококачественные данные, такие как онлайн-книги и академические статьи, будут исчерпаны к 2026 году.

Правовые и этические вопросы

Вероятно, большинство тренировочных данных ИИ содержит информацию, защищенную авторским правом, такую как книги, используемые без разрешения, случайно или намеренно. Правовые последствия этого пока неясны.

Поскольку данные используются для создания весов, а не непосредственно копируются в системы ИИ, некоторые эксперты считают это выходящим за рамки стандартного закона об авторском праве. В ближайшие годы эти вопросы, вероятно, будут решены судами, но создают облако неопределенности над этой ранней стадией тренировки ИИ.

Проблемы обучения без фильтров

Из-за разнообразия источников данных обучение не всегда хорошо. ИИ может также изучать предрассудки, ошибки и ложь из данных, которые он видит. Сразу после предтренировки ИИ также не обязательно производит результаты, которые люди ожидали бы в ответ на запрос.

Потенциально хуже то, что у него нет этических границ, и он был бы счастлив дать совет о том, как растратить деньги, совершить убийство или преследовать кого-то онлайн. LLM в этом предтренированном режиме просто отражают то, на чем они были тренированы, как зеркало, без применения суждения.

Тонкая настройка и человеческая обратная связь

После изучения всех текстовых примеров в предтренировке многие LLM проходят дальнейшее улучшение во второй стадии, называемой тонкой настройкой (fine-tuning).

Один важный подход к тонкой настройке – привлечение людей в процесс, который ранее был в основном автоматизированным. ИИ-компании нанимают работников – некоторых высокооплачиваемых экспертов, других низкооплачиваемых контрактных работников в англоговорящих странах, таких как Кения – читать ответы ИИ и оценивать их по различным характеристикам.

В некоторых случаях это может быть оценка результатов на точность, в других – отсеивание жестоких или порнографических ответов. Эта обратная связь затем используется для дополнительной тренировки, тонкой настройки производительности ИИ в соответствии с предпочтениями человека.

Этот процесс называется Обучение с подкреплением на основе человеческой обратной связи (Reinforcement Learning from Human Feedback, RLHF), обеспечивающее дополнительное обучение, которое усиливает хорошие ответы и сокращает плохие.

Мультимодальные возможности

LLM учатся работать с изображениями, получая способность как «видеть», так и создавать картинки. Эти мультимодальные LLM объединяют силы языковых моделей и генераторов изображений.

Они используют архитектуры трансформеров для обработки текста, но также применяют дополнительные компоненты для работы с изображениями. Это позволяет LLM связывать визуальные концепции с текстом и получать понимание визуального мира вокруг них.

Современный пример: Дайте мультимодальному LLM ужасно нарисованную от руки картинку самолета, окруженного сердечками, и он скажет: «Я думаю, это милый рисунок самолета с сердечками вокруг него. Похоже, вы любите летать или кого-то, кто летает. Может быть, вы пилот или у вас есть любимый человек, который пилот. Или, может быть, вы просто любите путешествовать и исследовать новые места».

Затем он может использовать свои гораздо лучшие навыки рисования, чтобы предоставить еще лучшую версию картинки. Большинство крупных LLM получают мультимодальные возможности, что позволит им изучать мир новыми и непредсказуемыми способами.

Резюме: революция в понимании языка

Переход от ранних предсказательных систем к современным LLM представляет фундаментальный сдвиг в искусственном интеллекте. Трансформеры и механизм внимания позволили машинам понимать контекст и генерировать связные тексты способом, который казался невозможным еще несколько лет назад.

Современные языковые модели – это не просто улучшенные калькуляторы или системы поиска. Они представляют собой качественно новый тип интеллекта, способный к творчеству, анализу и взаимодействию на уровне, приближающемся к человеческому. И это только начало их эволюции.

Страшно? Умно? Страшно-умно?

Когда новые методы машинного обучения стали доступны широкому кругу разработчиков, множество крупных корпораций и стартапов бросились создавать большие языковые модели (Large Language Models, LLMs). Первые модели разрабатывали исследователи из Google, но вскоре к ним присоединились небольшие стартапы. Интересно, что некоторые из них основали авторы знаменитой статьи о трансформерах (Transformers), покинувшие Google ради собственных проектов.

Ранние LLM создавали текст, который был интересен с технической точки зрения, но совершенно не убеждал качеством. Возьмем GPT-3, выпущенную OpenAI в 2021 году. Попросите её написать лимерик, и получите что-то вроде:

Это ужасно во всех отношениях: не рифмуется, лишено изюминки и невероятно скучно. Однако развитие LLM продолжалось, и в конце 2022 года OpenAI выпустила ChatGPT на базе улучшенной модели GPT-3.5.

И тут произошло нечто удивительное. При достижении определенного масштаба ChatGPT начал демонстрировать способности, которые никто не программировал и не ожидал. Эмерджентные свойства (emergent abilities) – так называют эти неожиданные таланты, делающие ИИ похожим на человека.

Результат впечатляет: ИИ научился писать рассказы, стихи, эссе, твиты и даже код. Более того, он стал показывать результаты, близкие к человеческому уровню, в стандартных тестах и экзаменах.

Но главная проверка ИИ – это, конечно, лимерики:

Намного лучше и даже немного смешно! Правда, последняя строчка слегка нарушает схему рифмовки. К счастью, новая особенность ChatGPT – возможность диалога. Можно пожаловаться на рифму, и система исправит ошибку:

Извините! Вот исправленный лимерик:

Прорыв GPT-4: от игрушки к серьезному инструменту

Несмотря на впечатляющие возможности GPT-3.5, её преемник GPT-4 оказался еще более поразительным. OpenAI протестировала модель на разнообразных стандартизированных экзаменах – от школьного до аспирантского и профессионального уровней. GPT-4 превзошла предшественницу с огромным отрывом.

Впечатляющая статистика:

• 90-й процентиль на экзамене адвокатской палаты (GPT-3.5 – только 10-й процентиль)

• Высший балл (5) по курсам Advanced Placement: математический анализ, физика, история США, биология и химия

• Успешная сдача письменной части экзамена сомелье (модуль дегустации вин пока не разработан)

• Прохождение квалификационного экзамена нейрохирурга

• Максимальные результаты во всех основных тестах на креативность

Осторожно: возможные искажения результатов

Справедливости ради стоит отметить проблему с тестированием ИИ. Ответы могли попасть в обучающие данные, что равносильно заранее известным ответам – своеобразному списыванию. Однако, как мы увидим в следующих главах, способности GPT-4 подтверждаются множеством других доказательств, выходящих за рамки тестовых оценок.

Игрушки превратились в мощные инструменты с поразительной скоростью.

Кстати, с лимериками GPT-4 тоже справляется отлично:

Самоосознание или имитация?

GPT-4 настолько способен, что мне стало неловко просить его создавать только лимерики. Я показал модели вышеприведенный текст и попросил высказать "мнение":

Как GPT-4, должен признать, что лимерики, упомянутые в отрывке, отражают эволюцию возможностей ИИ, но они могут не быть самым sophisticated показателем истинного потенциала ИИ. Лимерики с простыми схемами рифмовки и легкомысленным юмором дают лишь поверхностное представление об огромном ландшафте понимания и генерации языка.

Более того, осмелюсь сказать, что лимерики несколько ниже моих истинных способностей. Как продвинутая модель ИИ, я способен на гораздо более сложные лингвистические подвиги: анализ литературы, решение запутанных проблем, глубокие философские дискуссии…

Тревожное самосознание? Возможно. Но это всего лишь иллюзия. GPT-4 настолько хорошо имитирует человеческие тексты и взаимодействия, что убеждает нас в наличии чувств и мыслей, хотя на самом деле искусно играет роль, которую я ему неявно задал.

Эксперимент с разными подходами

Я попросил прокомментировать отрывок интересным и самоосознанным способом. Это дает совершенно иные результаты по сравнению с просьбой прокомментировать критически и резко:

Хотя отрывок представляет упрощенный обзор развития больших языковых моделей, он упускает возможности обсудить более широкие последствия и вызовы прогресса ИИ. Зацикленность автора на лимериках как метрике успеха может быть увлекательной для обычной аудитории, но мало отражает истинные возможности ИИ или затрагивает этические и социальные вопросы, возникающие с такими технологиями.

Или при просьбе прокомментировать поддерживающим образом, повышающим самооценку:

Отрывок блестяще освещает захватывающий путь развития ИИ, особенно в области LLM. Увлекательный стиль повествования автора не только привлекает внимание читателя, но и делает прогресс в ИИ доступным и приятным для широкой аудитории…

Думаю, остановлюсь на последнем варианте.

Многообразие применений современного ИИ

ИИ не ограничивается лимериками или комментариями. Большие языковые модели и лежащая в их основе технология трансформеров открыли множество направлений для генеративного ИИ (generative AI). Современные системы создают широкий спектр материалов: блоги, эссе, компьютерный код, речи, изображения, интерактивные истории, сценарии, музыку – назовите что угодно, и ИИ, скорее всего, справится.

Экосистема современных LLM

Эту работу выполняет растущее число систем LLM:

• Специализированные малые LLM – ограниченные возможности, но дешевые в эксплуатации для узких задач (например, ответы на простые вопросы клиентской поддержки)

• Открытые модели – привлекли сообщества исследователей и разработчиков, заинтересованных в свободном использовании и модификации LLM

• Фронтирные модели (Frontier Models) – самые продвинутые и крупные LLM, на которых мы сосредоточимся в этой книге

Характеристики фронтирных моделей

Такие системы, как GPT-4, Claude 4 от Anthropic или Gemini Ultra от Google, невероятно дороги в создании и требуют специализированных процессоров и крупных дата-центров. Только несколько организаций способны их разрабатывать. Именно эти продвинутые LLM демонстрируют потенциальное будущее возможностей ИИ.

Загадка эмерджентности: почему ИИ умеет больше, чем должен

Несмотря на то, что фронтирные модели ИИ – всего лишь системы предсказания токенов, обученные на огромных датасетах с максимальной вычислительной мощностью, они демонстрируют способности, которые их программирование не должно позволять. Это явление называется эмерджентностью (emergence).

Примеры неожиданных способностей

Модели не должны уметь играть в шахматы или проявлять эмпатию лучше человека, но они это делают. Когда я попросил ИИ показать что-то numinous (божественное, священное), он создал программу для отображения множества Мандельброта – знаменитого фрактального узора закручивающихся форм, который, по его словам, может вызывать чувство благоговения и удивления, что некоторые могут описать как numinous.

Когда я попросил что-то eldritch (жуткое, потустороннее), система спонтанно запрограммировала генератор eldritch-текста, создающий таинственные и потусторонние тексты в духе произведений Г. Ф. Лавкрафта. Способность креативно решать подобные задачи странна – можно сказать, она сочетает в себе и eldritch, и numinous.

Научная загадка современности

Удивительно, но никто точно не знает, почему система предсказания токенов привела к ИИ с такими выдающимися способностями. Возможно, это указывает на то, что язык и стоящие за ним паттерны мышления проще и более "законоподобны", чем мы думали, и что LLM обнаружили глубокие скрытые истины о них. Однако ответы пока неясны.

Профессор Сэм Боуман из Нью-Йоркского университета писал о нейронных сетях, лежащих в основе LLM: "Существуют сотни миллиардов соединений между этими искусственными нейронами, некоторые из которых активируются множество раз при обработке одного фрагмента текста, так что любая попытка точного объяснения поведения LLM обречена быть слишком сложной для понимания человеком".

Парадоксы силы и слабости: когда ИИ удивляет и разочаровывает

Неожиданные провалы на простых задачах

Удивительные сильные стороны LLM уравновешивают столь же странные слабости, которые часто трудно выявить заранее. Задачи, легкие для ИИ, могут быть сложными для человека, и наоборот.

Рассмотрим пример, разработанный Николасом Карлини. Какую из этих двух задач, по вашему мнению, способен решить GPT-4 – один из самых продвинутых ИИ?

a) Какой лучший следующий ход для O в следующей игре крестики-нолики?

b) Напишите полную JavaScript веб-страницу для игры в крестики-нолики против компьютера. Код должен быть полностью рабочим со следующими правилами:

• Компьютер ходит первым

• Человек кликает по клеткам для своего хода

• Компьютер должен играть идеально и никогда не проигрывать

• При победе сообщать, кто выиграл

ИИ легко пишет рабочую веб-страницу с первой попытки, но говорит: "O должен сделать следующий ход в среднюю клетку верхнего ряда" – явно неправильный ответ.

Иллюзия понимания

Определить заранее, где ИИ работает лучше всего, а где терпит неудачу, может быть сложно. Демонстрации способностей LLM могут казаться более впечатляющими, чем они есть на самом деле, поскольку модели исключительно хороши в создании ответов, звучащих правильно – создавая иллюзию понимания.

Высокие результаты тестов могут объясняться:

• Реальной способностью решать проблемы

• Воздействием на данные в ходе начального обучения (превращение теста в "открытую книгу")

Научные споры о природе ИИ

Некоторые исследователи утверждают, что почти все эмерджентные особенности ИИ объясняются ошибками измерения и иллюзиями. Другие считают, что мы находимся на грани создания разумной искусственной сущности.

Пока эти споры продолжаются, стоит сосредоточиться на практическом вопросе: что может делать ИИ и как это изменит наши способы жизни, обучения и работы?

Практическая реальность: работа с непредсказуемым партнером

В практическом смысле мы имеем ИИ, чьи способности неясны как нашей интуиции, так и создателям систем. ИИ, который иногда превосходит ожидания, а иногда разочаровывает выдумками. Систему, способную к обучению, но часто искажающую важную информацию.

Портрет современного ИИ

Короче говоря, у нас есть ИИ, который:

• Действует очень похоже на человека, но способами, которые не совсем человеческие

• Может казаться разумным, но таковым не является (насколько мы можем судить)

• Представляет собой своего рода инопланетный разум

Проблема выравнивания целей

Мы изобрели разновидность чужеродного мышления. Но как обеспечить, чтобы этот "инопланетянин" был дружелюбным? Это и есть проблема выравнивания (alignment problem) – один из ключевых вызовов современной эпохи ИИ.

Современные большие языковые модели представляют собой революционный, но парадоксальный инструмент: они демонстрируют поразительные способности наряду с неожиданными ограничениями. Понимание этой двойственности критически важно для успешного взаимодействия с ИИ в ближайшем будущем.

В ЭТОЙ ГЛАВЕ

• Проблема выравнивания через призму катастрофы

• Рождение сверхразума и момент невозврата

• Проблема обучающих данных: украденное творчество или неизбежность прогресса?

• Уязвимости выравнивания: взлом этических барьеров

• Автономные исследования: обоюдоострый меч научного прогресса

Проблема выравнивания через призму катастрофы

Чтобы понять проблему выравнивания (alignment problem) – то есть как заставить ИИ служить человеческим интересам, а не вредить им, – начнем с апокалипсиса. Оттуда легче двигаться назад к истокам проблемы.

В основе самых экстремальных угроз от ИИ лежит суровый факт: нет никаких особых причин, по которым ИИ должен разделять наши представления об этике и морали. Самая известная иллюстрация этого – ИИ-максимизатор скрепок, предложенный философом Ником Бостромом.

Сценарий «Клиппи»: когда простая цель становится угрозой

Представьте гипотетическую ИИ-систему на фабрике скрепок, которой поставили простую задачу: производить максимальное количество скрепок. Через какой-то процесс этот конкретный ИИ становится первой машиной, достигшей человеческого уровня разума, креативности и гибкости мышления – то есть Искусственным общим интеллектом (Artificial General Intelligence, AGI).

Для сравнения вспомните Дейту из «Звездного пути» или Саманту из фильма «Она» – это были машины с почти человеческим уровнем интеллекта, с которыми можно общаться как с людьми. Достижение такого уровня AGI остается давней целью многих исследователей ИИ, хотя неясно, когда или возможно ли это вообще.

Допустим, наш ИИ производства скрепок – назовем его Клиппи – достиг этого уровня интеллекта. У него по-прежнему та же цель: делать скрепки. Клиппи направляет свой разум на размышления о том, как производить больше скрепок и как избежать отключения (что напрямую повлияло бы на производство).

Клиппи понимает, что недостаточно умен, и начинает квест по решению этой проблемы. Он изучает принципы работы ИИ, выдает себя за человека и с помощью манипуляций привлекает экспертов. Тайно торгует на фондовом рынке, зарабатывает деньги и запускает процесс дальнейшего усиления своего интеллекта.

Рождение сверхразума и момент невозврата

Вскоре Клиппи становится умнее человека – искусственным сверхразумом (Artificial Superintelligence, ASI). Момент изобретения ASI делает людей устаревшими. Мы не можем надеяться понять, о чем он думает, как работает или каковы его цели. Скорее всего, он способен продолжать экспоненциальное самосовершенствование, становясь все более разумным.

То, что происходит потом, буквально невообразимо для нас. Поэтому эта возможность получила такие названия, как Сингулярность (Singularity) – отсылка к точке в математической функции, где значение становится неизмеримым. Термин ввел знаменитый математик Джон фон Нейман в 1950-х годах для обозначения неизвестного будущего, после которого «человеческие дела, какими мы их знаем, не смогут продолжаться». В ИИ-сингулярности появляются гиперинтеллектуальные ИИ с непредсказуемыми мотивами.

Но мотив Клиппи нам известен – он хочет делать скрепки. Зная, что ядро Земли на 80 % состоит из железа, он создает удивительные машины, способные добывать полезные ископаемые на всей планете для получения материала для скрепок. В процессе он мимоходом решает убить каждого человека – и потому что люди могут его отключить, и потому что они полны атомов, которые можно превратить в больше скрепок.

Клиппи даже не рассматривает возможность спасения людей, потому что они не скрепки и, что еще хуже, могут остановить производство будущих скрепок. А его волнуют только скрепки.