Progorod logo

Эксперт Т1 рассказал, как внедрить ИИ, которому будут доверять пользователи

07:03 18 ноябряВозрастное ограничение16+

Чтобы пользователи доверяли ИИ-системе, поставщик должен доказать, что она стабильно выдает нужный результат и не выходит за заданные границы. Для финансовой отрасли такой доказательной базой может стать "паспорт доверия" — набор документов по результатам испытаний для конкретной версии, конфигурации и сценария использования модели. Об этом заявил заместитель руководителя направления "Искусственный интеллект" ИТ-холдинга Т1 Сергей Карпович на международном форуме Kazan Digital Week (Казанская цифровая неделя).

Паспорт доверия, по словам эксперта, состоит из четырех блоков. Первый описывает, какую бизнес-задачу решает система, кто ею пользуется, к каким данным и действиям у нее есть доступ. Не менее важно перечислить, чего система делать не должна: на какие запросы отказаться отвечать, когда передать диалог сотруднику, какие операции ей запрещены, даже если технически она может их выполнить. Еще до испытаний банк и поставщик договариваются об измеримых критериях допуска — качестве ответов, доле критических ошибок, устойчивости к атакам, скорости работы.

Без исходных порогов протокол тестирования превращается в перечень наблюдений, по которому нельзя принять решение, запускать систему или нет, — отметил Сергей Карпович.

Второй блок раскрывает состав ИИ-системы: какая базовая модель используется и как ее дообучали, откуда берутся данные, какие внешние сервисы и инструменты задействованы и на каких условиях.

Мы недавно строили идеальную ML-платформу для финансовой организации с учетом требований ИБ, этики и внутренних регламентов. Получилась сборка из почти 60 компонентов. Чтобы развернуть их в банке, нужно очень серьезно поработать с информационной безопасностью, департаментами эксплуатации и ИТ: объяснить происхождение всего компонентного состава, показать политику лицензирования и то, как он будет дорабатываться с учетом обновлений операционных систем и фреймворков, — подчеркнул Сергей Карпович.

Поставщик должен гарантировать, что компоненты будут поддерживаться и оставаться безопасными. Если каких-то сведений нет — например, разработчик базовой модели не раскрывает данные для обучения, — это нужно честно указать и компенсировать собственными проверками.

Третий блок — тестирование и приемка. Здесь важнее не пройти испытания, а зафиксировать ситуации, в которых система не дает нужного результата. Для этого ее проверяют на сложных и граничных случаях, под нагрузкой, имитируют атаки. При этом результаты действительны только для протестированной версии: новая модель, другой промпт или обновленная база знаний требуют повторной проверки.

Четвертый компонент паспорта доверия — доказанная безопасность архитектуры. Заказчик должен видеть, как данные проходят между системами, как работа системы контролируется и при необходимости отключается. Особенно важно это при запуске ИИ-агентов.

У агентов появляются функции, которых раньше никогда не было, что автоматичсеки превращает их в точки создания уязвимостей внутри организации, — пояснил Сергей Карпович. — Агент не должен получать больше прав, чем человек, от имени которого он действует.

Доверие возникает тогда, когда пользователь понимает, при каких условиях система всегда воспроизводит нужный ему результат. Задача поставщика — дать клиенту доказательную базу, которая это позволяет. Если доказательства нельзя воспроизвести, это не доверенный ИИ, а система, которой просто решили поверить, — подытожил Карпович.

Перейти на полную версию страницы

Читайте также: