Безопасность ИИ | ИИ как прямой канал утечки данных и технологий? Создание системы предотвращения — первоочередная задача

Реагирование затрудняется и тем, что утечка технологий происходит способами, которые сложно выявить с помощью существующих систем безопасности.

Существующие системы безопасности предназначены преимущественно для контроля загрузки и сохранения файлов, однако значительная часть фактических утечек данных и технологий происходит не через файлы, а при копировании и вставке информации, то есть в процессе ввода промптов.

В результате компании не только не могут предотвратить утечку, но зачастую не знают о самом ее факте.

Поэтому при использовании ИИ более существенным фактором риска, чем сама технология, становится рабочий процесс с недостаточной прозрачностью и ослабленным контролем.

В корпоративной среде зарубежных стран уже отмечались случаи, когда структура ключевых алгоритмов раскрывалась внешним лицам исключительно вследствие ввода промптов в ИИ при проверке программного кода или систематизации технической документации.

В момент, когда работник вводит конфиденциальную информацию в качестве промпта, она может выйти за пределы контролируемой компанией среды.

В зависимости от порядка функционирования сервиса ИИ нельзя полностью исключить вероятность использования введенной информации в журналах или аналитических данных.

Это способ атаки, при котором посредством внешних входных данных ИИ побуждают непреднамеренно раскрыть данные или обойти внутренние правила.

Риск особенно возрастает при автоматизации взаимодействия с клиентами, подготовки кратких изложений документов и проверки программного кода.

Риск может не ограничиться небольшим инцидентом безопасности и привести к возникновению у компании непредусмотренной юридической или договорной ответственности в процессе автоматизированного принятия решений.

Результаты работы ИИ имеют форму «вторично созданных материалов», поэтому впоследствии установить их тождество исходной технологии, канал утечки и ответственное лицо весьма сложно.

В связи с этим компании могут столкнуться со следующими управленческими рисками.

Безопасность ИИ уже не ограничивается компетенцией подразделения информационной безопасности или отдельного ответственного лица, а становится управленческим риском, требующим контроля на уровне всей компании.

При непосредственном использовании общедоступного генеративного ИИ введенные работниками сведения передаются не во внутреннюю систему компании, а на серверы внешнего сервиса.

Компания не может непосредственно проверить или проконтролировать, где сохраняются и как обрабатываются эти данные, а также используются ли они для последующего обучения.

Иная ситуация складывается в локальной среде, где компания использует собственные серверы и эксплуатирует ИИ исключительно во внутренней системе. Даже при использовании внешнего облака структура Private AI на базе выделенной VPC позволяет компании непосредственно управлять хранением, обработкой данных и объемом доступа, поскольку ИИ работает в изолированной самостоятельной среде, предназначенной исключительно для этой компании.

Поскольку такая структура позволяет контролировать передачу данных за пределы компании, она становится не дополнительной возможностью, а базовым условием.

Политики или обязательства сами по себе имеют ограничения.

Для предотвращения ошибок необходимы технические ограничители, выходящие за рамки одной лишь дисциплины.

Контроль должен действовать на всех этапах: сбора данных–обучения–инференса–удаления.

Утечка технологий и данных вследствие использования генеративного ИИ уже относится к сфере, требующей четкого распределения ответственности.

Необходимо определить лиц, ответственных за политику использования ИИ, контроль доступа и реагирование на инциденты, а также включить положения об ИИ в существующие системы безопасности, включая ISMS-P.

Это непосредственно связано и с созданием структуры правовой защиты, позволяющей при возникновении инцидента подтвердить исполнение компанией обязанностей по управлению.

ИИ является инструментом повышения конкурентоспособности компании, но при отсутствии контроля может одновременно стать наиболее быстрым каналом утечки информации.

Поэтому необходимо одновременно проверять структуру принятия решений и систему ответственности организации.

В целях реагирования на эти изменения Дэрюн создала группу по ИИ и аналитике данных и сформировала систему анализа дел и управления рисками на основе данных, объединяющую следующие направления: ▲комплаенс в сфере ИИ ▲отраслевые стратегии использования ИИ ▲кибербезопасность и кризисное реагирование ▲Цифровая криминалистика (форензика)&электронное раскрытие доказательств (e-discovery).

Если требуется проверить структуру использования ИИ, оценить риски утечки данных или разработать внутреннюю систему управления ИИ, возможна комплексная диагностика с точки зрения решений безопасности и управленческих рисков для определения стратегии реагирования.