使用 LangChain 和 Flan-T5-Small 进行文档摘要和主题提取

使用 langchain 和 flan-t5-small 进行文档摘要和主题提取

本文档提供了一个使用 LangChain 框架和开源 LLM (例如 Flan-T5-Small) 处理大型文档（超过 512 个 tokens）进行摘要和主题提取的实践教程。重点介绍如何使用 LangChain 连接私有 LLM API，并展示了代码示例，演示了如何加载、分割文档，并使用 RetrievalQA 链进行信息检索和问答。

LangChain 提供了一套强大的工具，可以帮助开发者构建基于 LLM 的应用程序。当处理大型文档时，直接将整个文档输入 LLM 可能会超出其上下文窗口的限制。因此，需要将文档分割成更小的块，并使用适当的策略来提取信息。

处理大型文档

LangChain 提供了 load_and_split() 函数，可以用于加载和分割大型文档。这个函数接受一个文档加载器作为输入，并返回一个文档块的列表。例如，可以使用 PyPDFLoader 加载 PDF 文档，然后使用 CharacterTextSplitter 将文档分割成块。

from langchain.document_loaders import PyPDFLoader
from langchain.text_splitter import CharacterTextSplitter

# 加载 PDF 文档
loader = PyPDFLoader("path/to/your/document.pdf")
documents = loader.load()

# 将文档分割成块
text_splitter = CharacterTextSplitter(chunk_size=512, chunk_overlap=0)
texts = text_splitter.split_documents(documents)

print(f"文档被分割成了 {len(texts)} 个块")

chunk_size 参数控制每个块的大小，chunk_overlap 参数控制块之间的重叠部分。适当的 chunk_size 和 chunk_overlap 可以提高信息检索的准确性。

使用 HuggingFaceEmbeddings 进行嵌入

为了更好地理解文档块的语义信息，需要将它们转换成向量嵌入。HuggingFaceEmbeddings 类可以用于从 Hugging Face 模型中心加载预训练的嵌入模型。

from langchain.embeddings import HuggingFaceEmbeddings

embeddings = HuggingFaceEmbeddings(
    model_name="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2")

model_name 参数指定要使用的嵌入模型的名称。sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 是一个常用的多语言嵌入模型。

使用 FAISS 构建向量数据库

向量数据库可以用于存储和检索文档嵌入。FAISS (Facebook AI Similarity Search) 是一个高效的向量数据库。

AI建筑知识问答

用人工智能ChatGPT帮你解答所有建筑问题

172 查看详情 AI建筑知识问答

from langchain.vectorstores import FAISS

# 使用文档块和嵌入创建 FAISS 向量数据库
docsearch = FAISS.from_texts(texts, embeddings)

FAISS.from_texts() 函数接受一个文档块列表和一个嵌入模型作为输入，并返回一个 FAISS 向量数据库。

使用 HuggingFaceHub 连接私有 LLM

LangChain 可以通过 HuggingFaceHub 类连接到 Hugging Face Hub 上的 LLM。

from langchain.llms import HuggingFaceHub

llm = HuggingFaceHub(repo_id = "google/flan-t5-base",
                     model_kwargs={"temperature":0.6,"max_length": 500, "max_new_tokens": 200
                                  })

repo_id 参数指定要使用的 LLM 的名称。google/flan-t5-base 是一个常用的开源 LLM。model_kwargs 参数可以用于配置 LLM 的参数，例如 temperature 和 max_length。

使用 RetrievalQA 进行问答

RetrievalQA 链可以用于从文档中检索信息并回答问题。

from langchain.prompts import PromptTemplate
from langchain.chains.retrieval_qa.base import RetrievalQA

prompt_template = """
Compare the book given in question with others in the retriever based on genre and description.
Return a complete sentence with the full title of the book and describe the similarities between the books.

question: {question}
context: {context}
"""

prompt = PromptTemplate(template=prompt_template, input_variables=["context", "question"])
retriever=docsearch.as_retriever()
qa = RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", retriever=retriever, chain_type_kwargs = {"prompt": prompt})
print(qa.run({"query": "Which book except 'To Kill A Mocking Bird' is similar to it?"}))

RetrievalQA.from_chain_type() 函数接受一个 LLM、一个链类型和一个检索器作为输入，并返回一个 RetrievalQA 链。 chain_type="stuff" 表示将所有检索到的文档块都传递给 LLM。retriever=docsearch.as_retriever() 将 FAISS 向量数据库转换为检索器。

总结

本文档提供了一个使用 LangChain 和开源 LLM 处理大型文档进行摘要和主题提取的实践教程。通过加载和分割文档，使用 HuggingFaceEmbeddings 进行嵌入，使用 FAISS 构建向量数据库，以及使用 RetrievalQA 进行问答，可以有效地从大型文档中提取信息。请注意，私有 LLM 的 API 调用方式可能略有不同，需要根据具体的 API 文档进行调整。

以上就是使用 LangChain 和 Flan-T5-Small 进行文档摘要和主题提取的详细内容，更多请关注其它相关文章！

# 信息检索 # 保暖内衣推广营销方法 # seo亚马逊霸屏 # seo的职位名称叫什么 # 沈阳推广seo优化 # seo批量更新文章 # 淘宝优惠券网站怎么推广 # 上海正规营销推广技巧 # 微商引流网站推广 # 抖音seo排名哪家合适 # 网站推广在哪好找工作 # 成块 # 成了 # go # 要使 # 开源 # 知识问答 # 是一个 # 加载 # 文档 # google # 多语言 # pdf # ai # 工具 # facebook

相关栏目：【 Google疑问12 】【 Facebook疑问10 】【优化推广96088 】【技术知识133117 】【 IDC资讯59369 】【网络运营7196 】【 IT资讯61894 】

2025-10-25

4008744355

使用 LangChain 和 Flan-T5-Small 进行文档摘要和主题提取

处理大型文档

使用 HuggingFaceEmbeddings 进行嵌入

使用 FAISS 构建向量数据库

使用 HuggingFaceHub 连接私有 LLM

使用 RetrievalQA 进行问答

总结

了解您产品搜索量及市场趋势，制定营销计划

同行竞争及网站分析保障您的广告效果

提交您的需求，1小时内享受我们的专业解答。

运城市盐湖区信雨科技有限公司

4008744355

服务/方案/案例/支持

关于我们

Notice