Почему такие компании, как Apple, создают модели искусственного интеллекта с ограничениями

Вруководстве Тома описывается, что ранние версии этих помощников способны перемещаться по приложениям, выполнять заказы и управлять задачами в сервисах. Например, частная бета-версия агентской системы выполняла такие задачи, как бронирование услуг или размещение контента в приложениях. В одном тестировании она прошла через рабочий процесс приложения и достигла экрана оплаты, прежде чем запросить у пользователя подтверждение.

Агенты искусственного интеллекта создаются с контрольными точками утверждения. Конфиденциальные действия, особенно связанные с платежами или изменениями учетной записи, требуют подтверждения пользователя перед их выполнением. Модель “человек в цикле” позволяет системе подготовить действие, но оставляет его одобрение за пользователем. В исследованиях, связанных с работой Apple в области искусственного интеллекта, были изучены способы обеспечения того, чтобы системы останавливались перед выполнением действий, которые пользователи явно не запрашивали.

Банковские приложения уже требуют подтверждения для переводов. Та же идея сейчас применяется к действиям, управляемым искусственным интеллектом, в нескольких сервисах.

Уровень контроля возникает из-за ограничения того, к чему ИИ может получить доступ. Вместо того, чтобы предоставлять системе полный доступ к приложениям и данным, компании устанавливают ограничения, например, на то, с какими приложениями ИИ может взаимодействовать и когда могут быть запущены действия.
На практике это означает, что искусственный интеллект может составить проект покупки или подготовить бронирование, но не завершить его без одобрения. Это также означает, что система не может свободно перемещаться по всем сервисам без соответствующего разрешения.

Согласно руководству Тома, это средство обеспечивает конфиденциальность. Если данные остаются на устройстве, отпадает необходимость отправлять конфиденциальную информацию на внешние серверы.
Ожидается, что в таких областях, как платежи, системы искусственного интеллекта будут работать с партнерами, в которых уже действуют строгие правила. В одном из приведенных примеров услуги платежных провайдеров интегрируются для обеспечения безопасной аутентификации перед завершением транзакций, хотя такие меры предосторожности все еще находятся в стадии разработки. Существующие системы служат дополнительным уровнем контроля. Они могут устанавливать ограничения на транзакции или требовать дополнительной проверки.
Большая часть дискуссий об управлении искусственным интеллектом была сосредоточена на корпоративном использовании. Сюда входят такие области, как кибербезопасность и крупномасштабная автоматизация.

Потребительская сторона ставит другие задачи, и компании должны разрабатывать элементы управления, которые работают для обычных пользователей. Это означает четкие этапы утверждения и встроенную защиту конфиденциальности.

По мере того, как искусственный интеллект приобретает способность выполнять действия, риски возрастают, поскольку ошибки могут привести к финансовым потерям или раскрытию данных.
Устанавливая контроль на нескольких этапах, включая одобрение и инфраструктуру, компании пытаются управлять этими рисками.

Этот подход может повлиять на развитие агентского искусственного интеллекта в ближайшей перспективе. Вместо того, чтобы стремиться к полной независимости, компании, похоже, сосредоточены на контролируемой среде, в которой можно управлять рисками.