大模型应用监控LangFuse使用指南！

LangFuse是一个开源的大模型工程平台，致力于跟踪、评估、指标和提示词管理等功能。

用于调试和改进你的大语言模型应用程序，对标LangSmith，它最大的优势是开源。

它可集成 LangChain，同时也可直接对接OpenAI API。

官网：https://langfuse.com/

项目地址：https://github.com/langfuse

基本功能

调用跟踪

Trace跟踪功能可让你追踪应用程序中的每一次大语言模型调用以及其他相关逻辑。

嵌套跟踪在LangFuse中有助于理解正在发生的事情并确定问题的根本原因。

Session会话允许跟踪多步骤对话或智能体工作流程。

Timeline通过查看时间轴视图来调试延迟问题。

Dashboard在仪表板中查看质量、成本和延迟指标，以监控大语言模型应用程序。

Agent Graphs 大语言模型智能体可以可视化为一个图形，以展示复杂的智能体工作流程。

Users 添加你自己的UserId 以监控每个用户的成本和使用情况。

大语言模型评估

评估是开发和部署大语言模型（LLM）应用程序的一个关键方面。

通常，团队会根据用例和开发过程的阶段，使用多种不同的评估方法来衡量其人工智能应用程序的性能。

Analytics在Langfuse仪表盘中绘制评估结果。

提示词管理

使用Langfuse有效地管理和版本化提示词。

Langfuse提示词管理是一种提示词内容管理系统（内容管理系统）。

在线数据标注和收集

Langfuse与LangSmith一样，也可以在线进行数据标注和收集。

本地数据集的导入

LangFuse除了支持在线的数据标注和收集，也支持从本地导入数据集。

数据集的测试与评估

环境准备

1、先注册，登录。

2、创建Project。

3、生成私钥和公钥。

  • 一定要复制并记录下这个私钥和公钥，关闭窗口后，私钥就再也看不到了。

4、本地安装LangFuse。

1
pip install --upgrade langfuse

开始使用

LangFuse有两种集成方式：

  • OpenAI API集成，LangChain集成。

在运行之前，先将你的公钥和私钥放到环境变量中。

1
2
LANGFUSE_SECRET_KEY = "sk-lf-xxxxx"
LANGFUSE_PUBLIC_KEY = "pk-lf-xxxxx"

这样才能使你的程序与你在LangFuse官网上建立的跟踪项目链接起来。

详细信息查看：Traces页面

使用Traces页面，可以看到你每次程序运行的详细过程，包括每一步的输入、输出、耗时、Token数等。