昨晚搞论文,差点没把我气出心脏病。
我就想查个近三年的数据,结果这AI给我整出一堆看着特像那么回事,实则全是瞎编的“幽灵文献”。标题高大上,作者看着眼熟,DOI号也有模有样,我信了,直接复制粘贴到参考文献里。
第二天去知网一搜,好家伙,根本不存在。那一刻,我感觉自己像个被耍的小丑。
很多刚上手的大模型朋友都遇到过这种情况。这就是典型的hallucination(幻觉)。模型不是数据库,它是个概率预测机器。它觉得这词儿跟那个词儿经常凑一块儿,就敢给你编出来。
别慌,这事儿能解决。我也踩过无数坑,总结了一套土办法,亲测有效。
第一步,别全信,要当侦探。
看到文献,第一反应不是复制,而是怀疑。尤其是那些年份很新、期刊很冷门、或者标题特别宏大的文章。你要去学校图书馆的数据库,或者Google Scholar搜一下标题。搜不到?那就是假的。
第二步,学会反向验证。
如果搜不到标题,试试搜作者名字加关键词。有时候AI会编造一个真实存在的大牛的名字,然后瞎编一篇他的论文。这时候你去搜这个作者,看看他最近有没有发过类似主题的文章。如果没有,那大概率是拼凑的。
第三步,利用AI的自我纠错能力。
你可以把刚才生成的文献列表,再扔回给ChatGPT,但话术要变。不要问“请提供文献”,要问:“请验证以下文献的真实性,并指出哪些是可能存在的幻觉。如果不确定,请明确标注。”
这时候,它通常会变得谨慎一些。虽然它还是会犯错,但比第一次靠谱多了。
第四步,建立自己的“白名单”数据库。
这是最笨但最有效的方法。把你常用领域的顶级期刊、核心作者整理成一个Excel表。每次让AI生成文献时,强制要求它只从这些来源里找。比如:“请只提供Nature, Science, 或者Journal of Finance近五年的文献。”
缩小范围,幻觉概率直线下降。
第五步,交叉比对。
如果可能,找两三个不同的大模型问同一个问题。如果A模型给了三篇文献,B模型给了另外三篇,且没有重叠,那这几篇大概率都是瞎编的。只有当多个模型都指向同一篇核心文献时,可信度才高。
我有个做金融分析的朋友,以前也头疼这个。后来他干脆不用AI写参考文献,只让AI做摘要和思路梳理。文献部分,他坚持人工去Web of Science筛选。虽然慢点,但心里踏实。
咱们做研究、写报告,图的就是个严谨。为了省那点时间,搞出一堆假数据,最后被导师或者老板打回来重做,那才是真浪费时间。
记住,AI是助手,不是专家。它不懂真假,只懂概率。你得做那个把关的人。
别再把chatgpt一直给假文献当成常态去忍受了。用对方法,它能帮你省大劲。要是还嫌麻烦,那就老老实实去翻书,至少那些字是印在纸上的,跑不了。
这事儿急不得,慢慢摸索出自己的流程,比啥都强。