引言
大型语言模型(LLMs)在响应中偏爱使用“华丽”且有时过于冗余的语言。提出一个简单的问题,你很可能会收到大量过于详细、冗长且复杂的段落。这种常见行为源于它们的训练过程——模型被优化为尽可能提供有帮助且具对话性的响应。
遗憾的是,冗余度是一个需要密切关注的重要问题,而且通常被认为与一个主要问题的发生概率增加相关:幻觉。响应中生成的文字越多,偏离既有知识、陷入“编造艺术”的可能性就越高。
总之,我们需要强大的护栏来防范这种双重问题,首先从冗余度检查入手。本文将展示如何使用Textstat Python库测量可读性,并在响应到达最终用户之前检测出过于复杂的内容,迫使模型优化其响应。
使用Textstat设定复杂度预算
Textstat Python库可用于计算诸如自动可读性指数(ARI)之类的分数;该指数用于估计理解一段文本(如模型响应)所需的年级水平(学习阶段)。如果这个复杂度指标超过了预算或阈值——例如10.0,相当于10年级的阅读水平——就可以自动触发重新提示循环,要求模型给出更简洁、更简单的响应。这种策略不仅能消除华丽冗余的语言,还可能有助于降低幻觉风险,因为模型会因此更严格地遵循核心事实。
实现LangChain管道
让我们看看如何实现上述策略,并将其集成到一个可在Google Colab笔记本中轻松运行的LangChain管道中。你需要一个Hugging Face API令牌,可在https://huggingface.co/settings/tokens免费获取。在Colab左侧菜单中,点击“Secrets”图标(形似钥匙),创建一个名为HF_TOKEN的新“密钥”。将生成的API令牌粘贴到“Value”字段中,即可完成设置!
首先,安装必要的库:
!pip install textstat langchain_huggingface langchain_community
以下代码是Google Colab专用的,如果你在其他环境中工作,可能需要相应调整。代码重点在于获取存储的API令牌:
from google.colab import userdata HF_TOKEN = userdata.get('HF_TOKEN' )if not HF_TOKEN: print("警告:未找到'HF_TOKEN'令牌。这可能会导致错误。" )else : print("Hugging Face令牌加载成功。" )
在下面的代码中,我们执行多个操作。首先,通过预训练的Hugging Face模型(具体为distilgpt2)设置本地文本生成的组件。之后,将该模型集成到LangChain管道中。
import textstatfrom langchain_core.prompts import PromptTemplatefrom transformers import AutoModelForCausalLM, AutoTokenizer, pipelinefrom langchain_community.llms import HuggingFacePipeline model_id = "distilgpt2" tokenizer = AutoTokenizer.from_pretrained(model_id) model = AutoModelForCausalLM.from_pretrained(model_id) pipe = pipeline( "text-generation" , model=model, tokenizer=tokenizer, max_new_tokens=100 , device=0 ) llm = HuggingFacePipeline(pipeline=pipe)
接下来实现我们用于测量和管理冗余度的核心机制。以下函数会对传入的文本(假设是LLM的响应)生成摘要,并努力确保该摘要不超过设定的复杂度阈值。需要注意的是,当使用合适的提示模板时,像distilgpt2这样的生成模型可以用于生成文本摘要,尽管其摘要质量可能不如更重量级、专注于摘要任务的模型。我们选择该模型是因为它在受限环境中可可靠地本地运行。
def safe_summarize (text_input, complexity_budget=10.0 ) : print("\n--- 开始摘要过程 ---" ) print(f"输入文本长度:{len(text_input)} 个字符" ) print(f"目标复杂度预算(ARI分数):{complexity_budget} " ) print("生成初始完整摘要..." ) base_prompt = PromptTemplate.from_template( "对以下内容提供完整的摘要:{text}" ) chain = base_prompt | llm summary = chain.invoke({"text" : text_input}) print("初始摘要已生成:" ) print("-------------------------" ) print(summary) print("-------------------------" ) ari_score = textstat.automated_readability_index(summary) print(f"初始ARI分数:{ari_score:.2 f} " ) if ari_score > complexity_budget: print("预算超出!初始摘要过于复杂。" ) print("触发简化护栏..." ) simplification_prompt = PromptTemplate.from_template( "以下文本过于冗余。请用简洁的语言重写," "去除华丽冗余的表达:\n\n{text}" ) simplify_chain = simplification_prompt | llm simplified_summary = simplify_chain.invoke({"text" : summary}) new_ari = textstat.automated_readability_index(simplified_summary) print("简化摘要已生成:" ) print("-------------------------" ) print(simplified_summary) print("-------------------------" ) print(f"修订后ARI分数:{new_ari:.2 f} " ) summary = simplified_summary else : print("初始摘要在复杂度预算范围内,无需简化。" ) print("--- 摘要过程完成 ---" ) return summary
还需注意,上述代码中通过计算ARI分数来估计文本复杂度。
代码示例的最后部分测试了之前定义的函数,传入示例文本和10.0的复杂度预算,并打印最终结果。
sample_text = """ 大型语言模型领域内,认知计算数组之间密不可分的排列组合, 往往会催生一系列不必要的复杂词汇结构。这种迂回表述的倾向, 虽然表面上显示出深厚的学识,却常常掩盖了核心的语义信息, 从而使得生成的论述对典型的普通大众而言,可理解性大幅降低。 """ print("运行摘要器管道...\n" ) final_output = safe_summarize(sample_text, complexity_budget=10.0 ) print("\n--- 最终经过护栏处理的摘要 ---" ) print(final_output)
生成的打印信息可能会相当长,但你会发现调用预训练模型进行摘要后,ARI分数会有小幅下降。不过,不要期望奇迹般的效果:我们选择的模型虽然轻量,但并不擅长文本摘要,因此ARI分数的降低幅度会比较温和。你可以尝试使用其他模型(如google/flan-t5-small)来观察它们在文本摘要中的表现,但需要注意——这些模型会更重量级,运行难度也更大。
总结
本文展示了如何构建一套基础设施,通过在批准响应的复杂度之前调用辅助模型对其进行摘要,从而测量和控制LLM过度冗余的响应。在许多场景中,幻觉是高冗余度的副产品 。虽然本文展示的实现重点在于评估冗余度,但也有一些特定的检查可用于测量幻觉——例如语义一致性检查、自然语言推理(NLI)交叉编码器,以及“LLM作为评判者”的解决方案。
推荐学习书籍 《CDA一级教材 》适合CDA一级考生备考,也适合业务及数据分析 岗位的从业者提升自我。完整电子版已上线CDA网校,累计已有10万+在读~ !