码力全开 / 假设性文档嵌入

pip install langchain langchain-openai faiss-cpu

import os
from langchain_openai import OpenAI, OpenAIEmbeddings
from langchain_community.embeddings import HypotheticalDocumentEmbedder
from langchain_community.vectorstores import FAISS
from langchain_core.documents import Document

设置 API Key
os.environ["OPENAI_API_KEY"] = "your-openai-api-key"

1. 初始化基础 LLM 和 Embedding 模型
llm = OpenAI(temperature=0)
base_embeddings = OpenAIEmbeddings()

2. 创建 HyDE 嵌入器
mode 可以是 "web_search" (生成简短答案) 或 "contextual_compression" 等
prompt_name 指定使用的提示模板，LangChain 内置了多种模板
hyde_embeddings = HypotheticalDocumentEmbedder.from_llm(
    llm=llm,
    base_embeddings=base_embeddings,
    prompt_name="web_search" 
)

3. 准备示例文档库
texts = [
    "PostgreSQL 是一个强大的开源对象关系数据库系统。",
    "BM25 是一种用于信息检索的相关性评分函数。",
    "HyDE 通过生成假设文档来提升向量检索的效果。"
]
documents = [Document(page_content=t) for t in texts]

4. 创建向量存储 (使用 HyDE 嵌入器进行索引)
注意：在实际生产中，通常只对查询使用 HyDE，或者对文档也使用 HyDE 生成假设内容后索引
这里演示对查询侧的应用，通常向量库是用普通 embedding 建立的，
但 HyDE 的核心在于查询时的转换。为了演示完整流程，我们假设向量库已建立。
vectorstore = FAISS.from_documents(documents, base_embeddings)

5. 执行检索
query = "怎么提高数据库搜索的相关性？"

关键步骤：使用 HyDE 嵌入器将查询转换为向量
内部流程：LLM 生成假设答案 -> 对假设答案进行 Embedding -> 在向量库中搜索
similar_docs = vectorstore.similarity_search_by_vector(
    hyde_embeddings.embed_query(query)
)

print(f"用户查询: {query}")
print("-" * 20)
for doc in similar_docs:
    print(f"匹配文档: {doc.page_content}")
    print(f"相似度得分: {doc.metadata.get('score', 'N/A')}")

from langchain_openai import OpenAI, OpenAIEmbeddings
from langchain_core.prompts import PromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_community.vectorstores import FAISS
from langchain_core.documents import Document
import os

os.environ["OPENAI_API_KEY"] = "your-openai-api-key"

1. 初始化组件
llm = OpenAI(temperature=0)
embeddings = OpenAIEmbeddings()

2. 定义 HyDE 提示模板
这个提示词旨在让 LLM 生成一个看起来像真实文档片段的回答
hyde_prompt = PromptTemplate.from_template(
    """Please write a passage to answer the question.
    Question: {question}
    Passage:"""
)

3. 构建生成链
generate_hypothetical_doc = hyde_prompt | llm | StrOutputParser()

4. 准备向量库 (使用普通 Embedding)
texts = [
    "PostgreSQL 支持 BM25 算法通过 pg_bm25 扩展。",
    "向量检索通常使用余弦相似度或欧氏距离。",
    "HyDE 解决了查询与文档之间的语义鸿沟问题。"
]
docs = [Document(page_content=t) for t in texts]
vectorstore = FAISS.from_documents(docs, embeddings)

5. 执行检索流程
query = "PostgreSQL 如何实现 BM25？"

第一步：生成假设文档
hypothetical_doc = generate_hypothetical_doc.invoke({"question": query})
print(f"生成的假设文档:\n{hypothetical_doc}\n")

第二步：对假设文档进行嵌入
query_vector = embeddings.embed_query(hypothetical_doc)

第三步：检索真实文档
results = vectorstore.similarity_search_by_vector(query_vector, k=2)

print("检索到的真实文档:")
for res in results:
    print(f"- {res.page_content}")