一项针对ChatGPT聊天数据的研究发现,系统会利用过往对话积累用户信息,形成研究团队所称的“算法自画像”。在研究发现的记忆中,96%的创建或更新并非源于用户的明确要求。
来自德国马克斯·普朗克软件系统研究所、安全与隐私研究所等机构的研究人员分析了80名志愿者提供的数据,并在其中65人的聊天记录里找到2050条机器人记忆。多数内容来自用户在对话中直接透露的信息,另有一部分由系统自行推断,而且推断并不总是准确。
研究列举的一个例子显示,用户只是要求推荐与Nirvana相似的乐队,系统便记录其喜欢Nirvana。研究还称,52%的记忆涉及用户的愿望、意图、情绪和信念等心理状态。用户可能将聊天机器人对话视为私密交流,却低估了内容被保存、分析并跨场景用于个性化的影响。
研究者建议减少问题中的个人细节,例如将“我患有糖尿病”改为针对假设人物提问。用户也可以关闭记忆、查看或修正记忆摘要、使用临时聊天,或拒绝将对话用于训练。不过研究强调,记忆摘要未必会呈现系统使用的全部信息。