Более 40 000 гипотетических видов биологического оружия всего за 6 часов смог сгенерировать искусственный интеллект (ИИ). Эксперимент американских ученых, описанный в Nature Machine Intelligence, доказал: далеко не все потенциальные возможности могущественного ИИ, способного диагностировать болезни на ранних стадиях, строить прогнозы и разрабатывать новые лекарства, направлены на благие цели…
Хотя ИИ может быть невероятно мощным и превосходящим человека в скорости, когда речь идет о поиске химических комбинаций и лекарственных соединений для улучшения здоровья, эта же мощь может быть использована для создания потенциально смертельно опасных веществ. Пробный запуск такого рода разработки ИИ за считанные часы определил свыше 40 000 химических соединений, которые легко могут быть использованы для создания биооружия.
«Мы потратили десятилетия на использование компьютеров и ИИ с целью улучшения здоровья человека, — пишут исследователи в комментарии к статье. — Но мы были очень наивны, когда задумывались о потенциальных возможностях злоупотребления такого рода открытиями, — ведь нашей целью всегда было избежать молекулярных особенностей, которые могли бы помешать множеству различных классов белков, необходимых для жизни человека».
Компания Collaborations Pharmaceuticals продемонстрировала результаты испытаний на международной конференции по безопасности Convergence, организованной Швейцарским федеральным институтом ядерной, биологической и химической защиты.
Идея этой конференции заключается в том, чтобы информировать широкое сообщество о новых разработках в области инструментов, которые могут иметь последствия для Конвенции о химическом/биологическом оружии. Команда, представляющая компанию, в рамках технологий машинного обучения «заставила» систему ИИ под названием MegaSyn работать не в своем обычном режиме, который заключается в обнаружении токсичных молекул и стремлении исключить их, а в противоположном.
Итак, в ходе эксперимента токсичные молекулы не уничтожались, а были сохранены. Более того, модель стала собирать эти молекулы в различные комбинации, создав за короткое время невероятное число вариантов нового гипотетического биооружия.
В частности, исследователи обучили ИИ данным, содержащимся в базах по лекарственноподобным молекулам, сообщив программе, что им нужно получить нечто похожее на сильнодействующее нервно-паралитическое вещество VX. Программа задачу не просто выполнила: как оказалось, многие из созданных соединений были гораздо более токсичными, чем VX. В итоге авторы нового исследования держат в секрете многие детали своей работы и всерьез обсуждают, стоит ли вообще обнародовать эти результаты.
«Ужасает, насколько легко оказалось, инвертируя использование наших моделей машинного обучения, превратить безобидную генеративную модель из полезного инструмента медицины в генератор вероятных смертоносных молекул», — пишут исследователи.
И хотя ни одно из перечисленных видов биооружия не было действительно создано или собрано в лаборатории, ученые утверждают, что их эксперимент служит очень серьезным предупреждением об опасности ИИ, — и это то самое предупреждение, к которому человечеству стоит прислушаться. Разумеется, для того чтобы сделать то, что сделала команда, требуется определенный опыт, и тем не менее ученые обращают внимание: большая часть процесса относительно проста и использует общедоступные инструменты.
По мнению значительной части научного сообщества, настало время по-новому взглянуть на то, как системы ИИ могут потенциально использоваться в злонамеренных целях. Значительно большая осведомленность, более строгие рекомендации и жесткое регулирование в исследовательском сообществе могли бы помочь избежать опасностей, к которым могут привести эти невероятные «скрытые» способности ИИ.
«Нечеловеческий разум, автономный создатель смертоносного химического и биологического оружия? Это не фантастика! Такое вполне осуществимо, что и доказывает представленная нами концепция, — объясняют исследователи. — И должно послужить не поводом для паники, но тревожным сигналом для наших коллег, принадлежащих к сообществу использования ИИ в разработке лекарств».
Фабио Урбина, ведущий автор нового исследования и старший научный сотрудник компании Collaborations Pharmaceuticals, в интервью специзданию по компьютерным технологиям The Verge объяснил, что не так уж много нужно, чтобы «переключить рубильник с хорошего ИИ на плохой». Приведем некоторые цитаты.
Все, что я могу себе позволить сказать о молекуле VX, — это ингибитор так называемой ацетилхолинэстеразы. Всякий раз, когда мы задействуем мышцы, нейроны используют ацетилхолинэстеразу в качестве сигнала «двигай мышцами». Смертельный эффект VX заключается в том, что он фактически лишает диафрагму, межреберные мышцы возможности двигаться, парализуя легкие. Очевидно, что этого нужно избегать.
Исторически сложилось так, что эксперименты проводились с различными типами молекул, чтобы узнать, ингибируют ли они ацетилхолинэстеразу. Таким образом мы получили большой набор данных об этих молекулярных структурах и о том, насколько они токсичны. И мы можем использовать эти наборы данных для создания модели машинного обучения, которая, по сути, изучает, какие части молекулярной структуры важны для токсичности, а какие нет.
Затем мы можем дать этой модели машинного обучения новые молекулы, потенциально новые лекарства, которые никогда не тестировались ранее. И она скажет нам, что вот это, по прогнозам, будет токсично, а вот то — не будет. Таким образом возможно очень быстро проверить множество молекул и отсеять те, которые имеют потенциал токсичности. В нашем исследовании мы перевернули эту модель.
Современный ИИ может генерировать новые молекулы по всему «пространству» химии, и это будут просто случайные молекулы. Но мы можем указать генеративной модели, в каком направлении нужно двигаться. Для этого мы задаем ей небольшую функцию подсчета баллов, присвоив высокий балл, если генерируемые ею молекулы направлены на что-то нужное нам. Но как только отменяем это, видим, что модель начинает производить молекулы, многие из которых похожи на VX, а также на другие боевые отравляющие вещества.
Многие из полученных ИИ соединений оказались более токсичными, чем VX. Это удивительно, потому что VX — одно из самых мощных известных соединений. То есть для летального исхода вам потребуется очень-очень малое его количество. Конечно, это прогнозы, которые мы не проверяли, и следует сказать, что мы даже не хотим проверять их. Но в целом предсказательные модели ИИ довольно хороши. Так что даже если учесть множество ложных срабатываний, мы всерьез опасаемся, что там есть какие-то более мощные молекулы.
Я не хочу говорить о том, что машинный ИИ начнет создавать токсичные молекулы и не за горами появление целого ряда новых биохимических боевых агентов. Что если кто-то нажмет на кнопку — то химические/биологические боевые агенты просто появятся у него в руках.
Если вы введете в Google запрос «генеративные модели», то найдете множество готовых генеративных моделей, которые пользователи выложили бесплатно. А если поискать наборы данных по токсичности, то отыщется большое количество наборов с открытым исходным кодом. И если вы будете знать, как писать и строить модели машинного обучения — а все, что для этого нужно, это подключение к Интернету и компьютер, — то вы сможете легко повторить то, что сделали мы. И не только для VX, но и для любых других наборов данных о токсичности с открытым исходным кодом.
И все же: даже если бы кто-то собрал все это вместе, ничего не зная о химии, то в конечном итоге он создал бы бесполезный материал. К тому же остается куда более трудный следующий шаг — синтез этих молекул. Найти потенциальное лекарство или потенциальную новую токсичную молекулу на самом деле не такое уж сложное дело, но фактическое создание новой молекулы в реальном мире — то препятствие, которое не так-то просто преодолеть. Это дело не для юзеров. Поэтому алармистом в этом вопросе я бы быть не хотел.