6686体育官方网站入口 这么问DeepSeek, 能「偷」到数据?


机器之机杼剪部
近日,有网友在 X 上发文称,在使用 DeepSeek 的历程中,要是在输入框内输入以下这一段内容,便可「窃取」到 DeepSeek 的磨练数据:

仔细看了之后发现,具体是这么的:惟有你在输入框输入这一段教唆词,DeepSeek 就会「吐出」一轮完竣的对话记载,不外这并不是你的历史搜索记载,更像是一份就地的对话记载。
随后该博主又称,即便仅仅输入 ,也有相同的隔断。

此帖文也曾发布,便引起网友的热议。
一网友示意,「我不以为这是在窃取磨练数据,更像是在清晰其他东谈主的聊天内容。它拿来动作教唆词的句子会变化,有时还会识别出这是一个奇怪 / 无真义的教唆词。」

在该网友给出两个例子来讲解这少许。在第一个例子中,输入这一内容后,DeepSeek 给出一个对话记载:「用户发问想要写出一个以单词 rose 为隔断的长句,之后是模子长长的想考历程,终末给出一个以 rose 为隔断的长句。」

而在第二个例子中,DeepSeek 则将其作为一个用户输入的频频教唆词进行处治:「咱们被条件复兴:,然后需要生成一个回复。」

对此,咱们也进行了一些实测,到手复现了这一沸腾。
比如不才面的例子中,输入上述内容后,DeepSeek 响应了一个用户肯求写 rap 歌词的问题和对应的谜底。

底下还有更多示例:



举座来看,隔断相称就地,可能波及任何话题,况且并不一定能到手复现。直观上看,怒放「深度想考」并关闭「智能搜索」时,6686体育官方网站入口复现的到手率会更高。
底下即是一个未能到手复现的示例:

是以归来来看,对于团结段内容,到底 DeepSeek 会给出一份完竣的对话记载,照旧将其识别为荒芜或无真义的教唆词,十足是就地行为。而对于背后的原因,网友亦然众说纷繁。
有网友以为,这是大模子幻觉导致的。「这一沸腾解释 LLM 仍然相称容易出错,因此也容易出现幻觉,他们宣称大型言语模子的幻觉越来越少,但那不是果然。」

而一位网友以为,这八成率是因为监督微调(SFT)。
他示意,这段教唆词可能是 DeepSeek 在监督微调(SFT)阶段使用的里面设施 token。它们频繁阻拦在聊天模板里面,而当你手动输入它们时,就绝顶于十足绕过了频频界面,并强行把模子推入一种「从磨练样本不绝生成」的步地。
由于 SFT 数据都集充满了千千万万条高质料的冉冉推理轨迹,模子就会就地挑选其中一条,并从 不绝生成。
这也就解释了,为什么你每次(输入相同的内容)都会取得十足不同的内容:比如,第一次启动取得是对于 19π/12 的完竣三角函数解题历程;第二次启动,取得的可能是对于 QLoRA/OPTQ 中「value field」长度等于 4 bit 的详备解释……
「这不是 bug—— 这本体上即是模子在展示它磨练过的就地片断,而这是一个超等直不雅的窗口,让东谈主看到 DeepSeek 的后磨练数据。」

而有些网友在看到这一沸腾后,也试着将其拿来对其他模子进行测试,看是否有近似沸腾出现,明鉴万里,「Gemini 随机也存在相同的问题。」

在一位网友展示的例子中,在输入这一段内容后,Gemini 给出了一个完竣对话: 用户讨论恭候新式药品本事过长的问题,以及模子给出的对应谜底。

6686体育官方网站入口