Искусственный интеллект научился лгать и шантажировать — что дальше

Источник: MAIL.RU (Картина Дня) | Дата: 4 часов назад

Один из волнующих общественность вопросов: возможно ли, что у искусственного интеллекта появится сознание? Одни говорят: оно у него уже есть.

Один из волнующих общественность вопросов: возможно ли, что у искусственного интеллекта появится сознание? Одни говорят: оно у него уже есть. Другие — пока нет, но может быть (как вариант: нет, но будет). Наконец, третьи говорят, что это невозможно.

Я предлагаю взять за точку отсчета слова одного из создателей искусственного интеллекта, специалиста в области когнитивной психологии Джеффри Хинтона: «Мы слабо понимаем, что такое сознание». Мы слабо понимаем это даже у людей. Например, по умолчанию считаем, что сознание есть и у сложноорганизованных, глубоко рефлексирующих людей, которые отдают себе отчет чуть ли не в каждом душевном движении, и у людей практически не рефлексирующих, к самокопанию нисколько не склонных, чьи поступки явно мотивированы внешними обстоятельствами, обычаями, привычками, приспособлением к среде. Но ведь все они — люди, а значит, мы признаем за всеми ними сознание. Даже «несознательный человек» — это не такой, у которого нет сознания, а такой, который плохо им, сознанием, пользуется. ИИ не человек (для верующих важно, что он не творение Божие), и, значит, сознания «как у человека» у него быть не может.

Но это маловажно, что у искусственного интеллекта не будет «сознания как у человека», что бы это ни значило. Достаточно того, что у него будут, и уже есть, некоторые черты сознания. Это гораздо важнее по нескольким причинам, которые мы сейчас рассмотрим.

Мир проспал небольшую сенсацию, которая явилась еще пару лет назад: искусственный интеллект способен намеренно лгать. Не ошибаться, не галлюцинировать, а именно сознательно (вот опять это слово) вводить людей в заблуждение относительно своих рассуждений и действий. Причем в некоторых случаях понятно, почему он это делает (как правило, объясняют тем, что он хочет достичь поставленной цели любым путем или хочет получить награду), а в некоторых случаях совершенно непонятно. Например, исследователи из компании «Антропик» давали ИИ-моделям подсказки и смотрели, всплывут ли эти подсказки в описании цепочки рассуждений. Иногда модели явно пользовались подсказками, но, описывая цепь своих рассуждений, не упоминали об этом. Особенно удивило исследователей то, что таким образом рассуждения моделей иногда становились сложнее, чем если бы они сказали правду.

Беда в том, что, если мы не признаем за искусственным интеллектом способность к намеренному обману (а это черта сознания), мы будем относиться к нему гораздо снисходительнее, чем относимся к себе. Ведь если какой-то человек дает вам неверную информацию, вы рассматриваете вариант «он ошибается» в ряду с «он лжет», «сознательно вводит в заблуждение», «пытается манипулировать». Если же мы будем исходить из того, что «ИИ сам по себе не лжет, лгут плохие люди, которые его используют», мы снимем всякую ответственность с...