CONTENTS
- 1. Безопасность ИИ | Генеративный ИИ как наиболее распространенный, но невидимый канал утечки данных и технологий
- - Изменение способов утечки
- 2. Безопасность ИИ | Переход угрозы от технической проблемы к управленческому риску
- - Утечка конфиденциальной информации при вводе данных
- - Инъекция промптов и состязательные атаки
- - Неопределенность структуры ответственности
- 3. Безопасность ИИ | Основы корпоративного управления данными ИИ
- - Архитектура, исключающая передачу данных за пределы компании
- - Технический контроль с блокировкой на этапе ввода
- - Управление на основе жизненного цикла ИИ
- - Четкое определение ответственных лиц
- 4. Безопасность ИИ | Уровень безопасности как фактор доверия к компании и ее инвестиционной оценки
- - ИИ — не объект запрета, а управленческий актив, требующий контроля
1. Безопасность ИИ | Генеративный ИИ как наиболее распространенный, но невидимый канал утечки данных и технологий
Причины возросшего значения безопасности ИИ очевидны.
Генеративный ИИ уже стал наиболее часто используемым на рабочих местах «повседневным инструментом повышения производительности», но одновременно быстро превращается в наименее контролируемый компаниями канал утечки данных и технологий.
Проблема состоит в том, что многие компании по-прежнему воспринимают ИИ лишь как рабочий инструмент.
Однако фактически ИИ функционирует как новая инфраструктура утечки вслед за электронной почтой, USB-накопителями и внешними жесткими дисками. Сложность обнаружения и контроля по сравнению с традиционными способами утечки существенно затрудняет реагирование компаний.
Анализ корпоративной среды зарубежных компаний за последнее время показывает, что значительная часть сотрудников уже использует инструменты генеративного ИИ.
При этом многие из них используют ИИ через личные учетные записи, находящиеся вне сферы управления и контроля компании.
Изменение способов утечки
Реагирование затрудняется и тем, что утечка технологий происходит способами, которые сложно выявить с помощью существующих систем безопасности.
Существующие системы безопасности предназначены преимущественно для контроля загрузки и сохранения файлов, однако значительная часть фактических утечек данных и технологий происходит не через файлы, а при копировании и вставке информации, то есть в процессе ввода промптов.
∙ Значительная часть такого использования осуществляется через личные учетные записи
∙ Утечка происходит через буфер обмена — «бесфайловый канал»
∙ Обнаружение таких действий с помощью существующих DLP-систем и журналов безопасности затруднено
В результате компании не только не могут предотвратить утечку, но зачастую не знают о самом ее факте.
Поэтому при использовании ИИ более существенным фактором риска, чем сама технология, становится рабочий процесс с недостаточной прозрачностью и ослабленным контролем.
В корпоративной среде зарубежных стран уже отмечались случаи, когда структура ключевых алгоритмов раскрывалась внешним лицам исключительно вследствие ввода промптов в ИИ при проверке программного кода или систематизации технической документации.
2. Безопасность ИИ | Переход угрозы от технической проблемы к управленческому риску
Проблема безопасности ИИ достигла этапа, на котором утечку данных и технологий вследствие использования генеративного ИИ следует воспринимать уже не как отдельный инцидент, а как системный управленческий риск.
К основным типам угроз относятся следующие.
Утечка конфиденциальной информации при вводе данных
В момент, когда работник вводит конфиденциальную информацию в качестве промпта, она может выйти за пределы контролируемой компанией среды.
В зависимости от порядка функционирования сервиса ИИ нельзя полностью исключить вероятность использования введенной информации в журналах или аналитических данных.
Инъекция промптов и состязательные атаки
Это способ атаки, при котором посредством внешних входных данных ИИ побуждают непреднамеренно раскрыть данные или обойти внутренние правила.
Риск особенно возрастает при автоматизации взаимодействия с клиентами, подготовки кратких изложений документов и проверки программного кода.
Риск может не ограничиться небольшим инцидентом безопасности и привести к возникновению у компании непредусмотренной юридической или договорной ответственности в процессе автоматизированного принятия решений.
Неопределенность структуры ответственности
Результаты работы ИИ имеют форму «вторично созданных материалов», поэтому впоследствии установить их тождество исходной технологии, канал утечки и ответственное лицо весьма сложно.
В связи с этим компании могут столкнуться со следующими управленческими рисками.
∙ Оценка компании как не обеспечивающей надлежащее управление безопасностью в процессе инвестирования или сотрудничества
∙ Риск нарушения требований в сфере персональных данных и промышленных технологий
∙ Структурная уязвимость, не позволяющая предотвратить повторный инцидент
Безопасность ИИ уже не ограничивается компетенцией подразделения информационной безопасности или отдельного ответственного лица, а становится управленческим риском, требующим контроля на уровне всей компании.
3. Безопасность ИИ | Основы корпоративного управления данными ИИ
В целях обеспечения безопасности ИИ некоторые компании выбирают полный запрет на использование генеративного ИИ, однако такой подход сложно считать практической альтернативой.
Если в организации, уже оценившей эффективность и скорость работы с ИИ, полностью запретить его использование, оно переместится из официальных систем в сферу теневого ИИ (Shadow AI).
Под теневым ИИ понимается использование работниками личных учетных записей или внешних сервисов ИИ без одобрения или контроля со стороны компании.
В таком случае ведение учета и мониторинг вводимых и выводимых данных становятся невозможными, а впоследствии сложно установить, какая информация и по какому каналу была передана за пределы компании.
В частности, ввод в промпты конфиденциальных данных, включая программный код, технические документы и сведения о клиентах, без отдельного контроля фактически лишает эффективности политику безопасности и систему внутреннего контроля.
Контроль утрачивается, а риск при этом возрастает, создавая дополнительную проблему.
Поэтому требуется не запрет, а контролируемая структура использования, то есть управление данными.
Что такое управление данными?
В среде ИИ основой управления данными становится комплексная система контроля, охватывающая объем вводимых и выводимых данных ИИ, условия их допустимого использования, а также способы учета и мониторинга.
Для предотвращения утечек через ИИ сначала необходимо определить, что именно подлежит защите.
Если объем ключевых технологий и данных не определен, контроль неизбежно останется формальным.
Без выполнения этого предварительного условия сложно обеспечить эффективность любой системы или политики безопасности.
Архитектура, исключающая передачу данных за пределы компании
При непосредственном использовании общедоступного генеративного ИИ введенные работниками сведения передаются не во внутреннюю систему компании, а на серверы внешнего сервиса.
Компания не может непосредственно проверить или проконтролировать, где сохраняются и как обрабатываются эти данные, а также используются ли они для последующего обучения.
Иная ситуация складывается в локальной среде, где компания использует собственные серверы и эксплуатирует ИИ исключительно во внутренней системе. Даже при использовании внешнего облака структура Private AI на базе выделенной VPC позволяет компании непосредственно управлять хранением, обработкой данных и объемом доступа, поскольку ИИ работает в изолированной самостоятельной среде, предназначенной исключительно для этой компании.
Поскольку такая структура позволяет контролировать передачу данных за пределы компании, она становится не дополнительной возможностью, а базовым условием.
Технический контроль с блокировкой на этапе ввода
Политики или обязательства сами по себе имеют ограничения.
Для предотвращения ошибок необходимы технические ограничители, выходящие за рамки одной лишь дисциплины.
∙ Маскирование персональных данных и ключевых технологий либо ограничение их ввода
∙ Контроль непосредственно за операциями копирования и вставки
Управление на основе жизненного цикла ИИ
Контроль должен действовать на всех этапах: сбора данных–обучения–инференса–удаления.
∙ Структура машинного разобучения (Unlearning), позволяющая при необходимости удалить отдельные данные
∙ Дифференцированное предоставление прав доступа в зависимости от роли и их автоматический отзыв
Четкое определение ответственных лиц
Утечка технологий и данных вследствие использования генеративного ИИ уже относится к сфере, требующей четкого распределения ответственности.
Необходимо определить лиц, ответственных за политику использования ИИ, контроль доступа и реагирование на инциденты, а также включить положения об ИИ в существующие системы безопасности, включая ISMS-P.
Это непосредственно связано и с созданием структуры правовой защиты, позволяющей при возникновении инцидента подтвердить исполнение компанией обязанностей по управлению.
4. Безопасность ИИ | Уровень безопасности как фактор доверия к компании и ее инвестиционной оценки
Подобно тому как утечка технологий превратилась в риск для всей отрасли, уровень безопасности ИИ уже выходит за рамки отдельных инцидентов и становится фактором оценки компаний.
▶ Проверка уровня контроля за использованием ИИ при инвестиционной юридической проверке
▶ Повышение требований безопасности при международном сотрудничестве и передаче данных
▶ Переход последствий несоблюдения нормативных требований в сферу управленческой ответственности
Значение имеет порядок определения и управления сферой использования ИИ и ответственными лицами.
ИИ — не объект запрета, а управленческий актив, требующий контроля
ИИ является инструментом повышения конкурентоспособности компании, но при отсутствии контроля может одновременно стать наиболее быстрым каналом утечки информации.
Поэтому необходимо одновременно проверять структуру принятия решений и систему ответственности организации.
В целях реагирования на эти изменения Дэрюн создала группу по ИИ и аналитике данных и сформировала систему анализа дел и управления рисками на основе данных, объединяющую следующие направления: ▲комплаенс в сфере ИИ ▲отраслевые стратегии использования ИИ ▲кибербезопасность и кризисное реагирование ▲Цифровая криминалистика (форензика)&электронное раскрытие доказательств (e-discovery).
Если требуется проверить структуру использования ИИ, оценить риски утечки данных или разработать внутреннюю систему управления ИИ, возможна комплексная диагностика с точки зрения решений безопасности и управленческих рисков для определения стратегии реагирования.
Связанные новости
