谷歌结构化信息提取神器LangExtract！

LangExtract 是一款高精度信息抽取工具。

本质是一个开源Python库，利用大型语言模型，从长文档中自动提取结构化信息，并且提供可视化来源定位。

它旨在帮助开发者将原始文本转换为有序的、机器可读的数据，而无需进行模型微调或具备深厚的机器学习专业知识。

GitHub: https://github.com/google/langextract

项目官网：https://pypi.org/project/langextract/

核心功能

精确源定位：将每次提取映射到源文本的确切位置，支持视觉高亮以供验证。

可靠的结构化输出：基于你的示例强制执行一致的输出架构，并利用如Gemini等模型中的受控生成能力。

长文档处理：通过优化的文本分块、并行处理和多轮提取来处理大型文档。

交互式可视化：生成交互式HTML可视化，以便在原始上下文中审查数千次提取。

灵活的模型支持：支持基于云的LLMS（如Gemini）和通过Ollama的本地模型。

领域适应性：使用少量示例配置任何领域，无需模型微调。

快速安装

1
pip install langextract

基本提取流程

导入库：

1
2
import langextract as lx
import textwrap

定义提取任务：

创建一个清晰的提示词来描述你想要提取的内容，并提供示例来引导模型。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
# 明确定义要提取的内容
prompt = textwrap.dedent("""\
    按出现顺序提取角色、情感和关系。
    使用确切文本进行提取。不要改写或重叠实体。
    为每个实体提供有意义的属性以增加上下文。""")

# 提供示例来引导模型
examples = [
    lx.data.ExampleData(
        text="ROMEO. But soft! What light through yonder window breaks? It is the east, and Juliet is the sun.",
        extractions=[
            lx.data.Extraction(
                extraction_class="character",
                extraction_text="ROMEO",
                attributes={"emotional_state": "wonder"}
            ),
            lx.data.Extraction(
                extraction_class="emotion",
                extraction_text="But soft!",
                attributes={"feeling": "gentle awe"}
            ),
            lx.data.Extraction(
                extraction_class="relationship",
                extraction_text="Juliet is the sun",
                attributes={"type": "metaphor"}
            ),
        ]
    )
]

运行提取：

将你的输入文本和提示词材料传递给lx.extract函数。

1
2
3
4
5
6
7
8
9
10
# 你要处理的输入文本
input_text = "Lady Juliet gazed longingly at the stars, her heart aching for Romeo"
 
# 运行提取
result = lx.extract(
    text_or_documents=input_text,
    prompt_description=prompt,
    examples=examples,
    model_id="gemini-2.5-flash",  # 推荐的默认模型
)

extract() 函数处理所有复杂性，包括：

将你的指令转换为有效的LLM提示词。

对文本进行分块。

使用适当的参数调用语言模型。

解析和验证结果。

将提取内容映射回其源位置。

可视化结果：

LangExtract可以轻松可视化你的提取数据，并与源文本进行验证。

1
2
3
4
5
6
7
# 将结果保存到JSONL文件
lx.io.save_annotated_documents([result], output_name="extraction_results.jsonl")
 
# 生成交互式HTML可视化
html_content = lx.visualize("extraction_results.jsonl")
with open("visualization.html", "w") as f:
    f.write(html_content)

对于长文档，LangExtract提供高级选项以提升性能：

1
2
3
4
5
6
7
8
9
10
# 使用优化设置处理长文本
result = lx.extract(
    text_or_documents="https://www.gutenberg.org/files/1513/1513-0.txt",  # Romeo & Juliet的URL
    prompt_description=prompt,
    examples=examples,
    model_id="gemini-2.5-flash",
    extraction_passes=3,    # 通过多次传递提高召回率
    max_workers=20,         # 并行处理以提升速度
    max_char_buffer=1000    # 较小的上下文以提高准确性
)