页面标题背景 PC版本页面标题背景 移动版本

案例分析 / 法律动向

在各业务领域均具备专业能力的法务法人(有限)大纶 (法務法人(有限)大綸),
为您带来司法判决与法律议题的分析解读。

AI安全 | AI是否成为数据与技术泄露的捷径?构建防范系统是当务之急

在AI安全不足的情况下,人工智能的使用本身可能成为数据与技术泄露的主要途径。为保护企业未来的核心业务,如今正是需要对AI使用管控给予关注的时候。

CONTENTS
  • 1. AI安全 | 生成式AI,最常见却看不见的数据与技术泄露途径
    • - 泄露方式的变化
  • 2. AI安全 | 从技术问题演变为经营风险的威胁
    • - 基于输入的机密泄露
    • - 提示词注入及对抗性攻击
    • - 责任结构的不明确性
  • 3. AI安全 | 企业应构建的AI数据治理核心
    • - 数据不外流的结构
    • - 在输入阶段拦截的技术性管控
    • - 基于AI生命周期的管理
    • - 责任主体的明确化
  • 4. AI安全 | 安全水平左右企业信誉与投资评价的时代
    • - AI并非需要阻挡的对象,而是应加以管理的经营资产

1. AI安全 | 生成式AI,最常见却看不见的数据与技术泄露途径

AI安全 数据技术泄露途径 生成式AI

AI安全变得重要的背景十分明确。

生成式AI已经成为工作现场中使用最为频繁的‘日常生产力工具’,但与此同时,它也正迅速成为企业最难以管控的数据与技术泄露途径。

问题在于,仍有许多企业只是把AI单纯视为工作工具。

然而,实际上AI正作为继电子邮件、USB、移动硬盘之后的新型泄露基础设施发挥作用,且相较于以往的泄露方式更难以侦测和管控,从而大幅提高了企业的应对难度。

根据近期对海外企业环境的分析,已确认相当多的员工正在使用生成式AI工具。

问题在于,其中许多人正通过超出公司管理与管控范围的个人账户使用AI。

泄露方式的变化

技术泄露正以现有安全体系难以捕捉的方式发生,这一点同样加大了应对的难度。

现有安全体系是以文件上传或存储行为为中心设计的,但实际的数据与技术泄露有相当一部分并非通过文件,而是发生在复制粘贴,即提示词(prompt)输入的过程中。

∙ 许多员工将会议记录、代码、设计说明原样输入AI提示词

∙ 其中相当一部分基于个人账户使用

∙ 通过剪贴板这一‘无文件通道’泄露

∙ 仅凭现有DLP与安全日志本身就难以侦测

结果,企业不仅无法阻止泄露,甚至还会陷入连泄露事实都无法察觉的状态。

因此,在AI使用过程中,相比技术本身,可见性和管控被削弱的业务流程才是更大的风险因素。

实际上,在海外企业环境中,也有报告显示,在开发代码审查或技术文档整理过程中,仅通过AI提示词输入,核心算法结构便被暴露至外部的案例。

2. AI安全 | 从技术问题演变为经营风险的威胁

AI安全议题已进入这样一个阶段:由生成式AI引发的数据与技术泄露,如今应被视为结构性的经营风险,而非偶发事故。

具有代表性的威胁类型如下。

基于输入的机密泄露

员工将机密信息输入提示词的瞬间,该信息便可能脱离企业的管控范围

根据AI服务的运营方式,难以完全排除输入信息被用作日志与分析数据的可能性。

提示词注入及对抗性攻击

这是通过外部输入诱使AI暴露非预期数据或绕过内部规则的攻击方式

尤其在客户应对、文档摘要、代码验证等自动化业务中,风险会更大。

这可能超出小规模安全事故的范畴,进而演变为在自动化决策过程中使企业承担非预期法律与合同责任的风险。

责任结构的不明确性

AI输出物以‘二次生成物’的形式呈现,因此事后极难证明其与原始技术的同一性、泄露途径以及责任主体。

由此,企业可能面临如下经营风险。

∙ 泄露途径与责任主体的证明变得极为困难的结构性局限

∙ 在投资与合作过程中被评价为安全管理不足的企业

∙ 违反个人信息与产业技术相关法规的风险

∙ 事故发生后仍无法防止再次发生的结构性脆弱性

AI安全如今已不再局限于信息保护部门或特定责任人的领域,而是正扩展为需要在全公司层面管理的经营风险。

3. AI安全 | 企业应构建的AI数据治理核心

AI安全 企业构建 数据治理核心

为了AI安全,部分企业选择全面禁止使用生成式AI,但这难以成为现实可行的替代方案。

在已体验过业务效率与速度的组织中,一旦完全禁止使用AI,AI便会从正式系统转向影子AI(Shadow AI)。

这里所说的影子AI,是指在企业未批准或未管理的状态下,员工使用个人账户或外部AI服务的行为。

在这种情况下,对输入与输出数据的记录和监控将变得不可能,事后也难以确认哪些信息通过何种途径提供给了外部。

尤其是代码、技术文档、客户信息等敏感数据在没有额外管控的情况下被输入提示词,从而引发安全政策与内部管控体系实质上被架空的问题。


管控消失,风险反而扩大,从而引发次生问题。

因此,需要的并非禁止,而是可管控的使用结构,即数据治理。

什么是数据治理?

它是指针对企业持有与使用的数据,事先确定哪些数据属于保护对象、谁可以在何种目的和范围内使用,并管理使这些标准在实际业务与系统中得到一致适用的体系。

在AI环境中,涵盖AI输入与输出数据的范围、可使用条件乃至记录与监控方式的整合性管控结构,成为数据治理的核心。


为阻止通过AI发生的泄露,必须首先厘清哪些属于保护对象

在未定义核心技术与数据范围的状态下进行管控,只能流于形式。


若不具备这一前提,任何安全系统或政策都难以具备实效性。

数据不外流的结构

在直接使用公开型生成式AI的情况下,员工输入的内容会被传输到外部服务的服务器,而非企业内部。


在此过程中,该数据存储于何处、如何被处理,乃至是否再次被用于训练,企业都难以直接确认或管控。

相反,在企业自建服务器、仅在内部系统中运营AI的本地部署(on-premise)环境,或者即便使用外部云,在仅为企业分离出的独立空间中运营AI的基于专用VPC的Private AI结构下,企业都可以直接管理数据的存储、处理与访问范围。

这种结构能够管控数据不外泄,因此如今已成为一种基本前提,而非可选项。

在输入阶段拦截的技术性管控

仅凭政策或承诺存在局限。

为防止失误,需要超越‘规范’的物理性制动装置。

∙ 输入提示词时自动侦测并拦截敏感信息(DLP)

∙ 对个人信息与核心技术进行脱敏或限制输入

∙ 对复制粘贴行为本身的管控

基于AI生命周期的管理

在数据收集—训练—推理—销毁的全部阶段,管控都应发挥作用。

∙ 明确训练数据的范围与目的

∙ 必要时可仅移除特定数据的去学习(Unlearning)结构

∙ 按角色差异化设置访问权限并自动回收

责任主体的明确化

由生成式AI引发的技术与数据泄露,如今已成为要求明确设定责任的领域。

需要设定AI使用政策、访问管控、事故应对的责任主体,并将AI项目纳入ISMS-P等现有安全体系。

这也与事故发生时企业为证明自身已尽到管理责任的法律防御结构直接相关。

4. AI安全 | 安全水平左右企业信誉与投资评价的时代

正如技术泄露已扩散为整个产业的风险一样,AI安全水平如今也已超越个别事故,开始作为企业评价要素发挥作用。

▶ 在投资尽职调查中审查AI使用管控水平

▶ 在海外合作与数据转移过程中强化安全要求

▶ 法规应对失败时演变为经营责任问题

如何设定和管理AI的使用范围与责任主体至关重要。

AI并非需要阻挡的对象,而是应加以管理的经营资产

AI既是提升企业竞争力的工具,同时在未受管控的情况下,也可能成为最快的信息泄露途径。

因此,同时审查组织的决策结构与责任体系十分重要。

大倫律師事務所为应对这些变化,成立了AI·数据智能部门,构建了将▲AI合规▲各产业AI战略▲网络安全与危机应对▲数字取证&e-Discovery相连接、以数据为中心的案件分析及风险应对体系。

如果您需要AI使用结构审查、数据泄露风险诊断或企业内部AI治理设计,建议通过安全解决方案及经营风险视角的综合诊断来审视应对策略。

背景

大纶的核心优势

大纶律所独有的 AI·IT
技术应用诉讼策略
240名以上
核心成员
每月 1,200+
案件受理量

* 2026年1月律师协会经由证件发放标准

*遵守大韩律协广告规定第4条第1项

律师
法律咨询预约

所有咨询都将在专业律师审核案件后进行,
为了专业地进行,将采用预约制。

请尽早预约咨询,
请遵守预约时间。
我们将尽力提供令您满意的咨询服务。

电话
咨询 1800-7905

365天24小时
可受理咨询

电话预约

Kakao
咨询

Kakao Talk频道

法务法人(有限)大纶 (法務法人(有限)大綸) 律师

Kakao预约

在线
咨询

为您提供
定制化法律服务。

在线预约
相关信息
Quick Menu

KakaoTalk