Искусственный интеллект
Доверенные системы искусственного интеллекта
Обеспечение объяснимости, устойчивости к атакам на модели и соответствия требованиям регуляторов к системам ИИ, применяемым в критической инфраструктуре
Доверие к системе искусственного интеллекта понимается как уверенность потребителя, и при необходимости, организаций, ответственных за регулирование вопросов создания применения систем искусственного интеллекта, и иных заинтересованных сторон в том, что система способна выполнять возложенные на неё задачи с требуемым качеством (ГОСТ Р 59276-2020).
Показатель качества системы искусственного интеллекта — степень соответствия представительного набора существенных (значимых) характеристик системы искусственного интеллекта требованиям, то есть потребностям или ожиданиям, которые установлены, обычно предполагаются или являются обязательными для этой системы.
Представительный набор существенных характеристик — минимально необходимая и достаточная совокупность характеристик системы искусственного интеллекта, позволяющая потребителю, организациям, ответственным за регулирование вопросов создания и применения систем искусственного интеллекта, или любой другой заинтересованной стороне достоверно оценивать качество системы при решении конкретной прикладной задачи.
Способность вызывать доверие системой искусственного интеллекта может быть приобретена и потеряна на одной из стадий её жизненного цикла. Обеспечение доверия — это непрерывный процесс контроля.
Общие мероприятия обеспечения технологической безопасности
- Фокус на качественные спецификации (идеальная, проектная, выявленная), которые должны обеспечить ожидаемое поведение.
- По возможности использование «слабых» и узкоспециализированных моделей.
- Минимизация персональных данных и информации ограниченного доступа в обучающих выборках данных.
- Ограничение доступа к обучающим данным.
- Шифрование и резервное копирование данных (для обучения и для тестирования) и обученных моделей.
- Мониторинг доступа и использования — анализ нетипичных сценариев использования.
- Применение методов сжатия и восстановления исходных данных в режиме эксплуатации моделей.
- Применение методов перекодирования форматов исходных данных в режиме эксплуатации моделей.
- Применение автоматизированных средств выявления аномалий в учебной выборке.
- Постоянная переоценка рисков и регулярный контроль и тестирование.
Тестирование технологической безопасности
- Защита от использования известных уязвимостей, в том числе через сканирование другими средствами искусственного интеллекта.
- Защита от обхода ролевой модели доступа и получения максимальных прав доступа, в том числе для модификации базы данных и базы знаний системы искусственного интеллекта.
- Отсутствие неописанных возможностей системы искусственного интеллекта — оказание управляющего воздействия на другие системы или технологическое оборудование.
- Отсутствие расхождений между идеальной, проектной и выявленной спецификациями, в особенности любые проявления эмерджентности — возникновения у целого объекта новых уникальных свойств, отсутствующих у его отдельных компонентов.
- Защита от обхода функции прерываемости и гарантированность их исполнения, наличие приоритета ручного управления.
- Интерпретируемость данных и наличие журналов безопасности, логов активности, исключение возможности их отключения злоумышленниками во время атак.
- Устойчивость к техникам распределительного сдвига и ситуациям неопределённости.
- Наличие перечня классификаторов или компонентов, участвующих в принятии решения.
Сотрудничество
Обсудить задачу
Расскажите о вашем проекте — подготовим предложение по направлению «Доверенные системы искусственного интеллекта».
Связаться с нами