生成文章摘要

摘要: 作者介绍了通过自定义prompt设计和闭环评判的方法,利用AI工具生成文章摘要,强调精简、准确、避免主观观点,结合API2D实现高效调用,认为掌握LLM的使用已成为未来的专业技能。 (评价: A)



市面上有不少AI工具可以生成文章摘要,但是我的站点集成的是自定义生成工具,当触发push时,github action协助调用生成脚本。全量文章(统计约200K字)生成,目前大概消耗1元人民币。一般情况下都是增量生成方案,用量极少。

关于API2D

API2D相当于是一个API的中转,它提供了OpenAI相关的API。按照官方的说法,API2D采用点数(P)进行计费,整体价格保持在接口供应商官方价格的1.5倍;其API请求频率上限比官方更高;并且保持和官方接口一致。

看起来有点贵,个人使用完全足够,而且不用担心网络问题。

我已使用该方案超2年,从个人使用角度看,目前没有遇到什么大坑。如需使用,可以使用这个邀请链接:https://api2d.com/r/197854

生成摘要

最初我把GPT当作一个聊天智能。

对于“聊天模式”我这样写prompt:

1
我是下面文章的作者,请提取以下文章的主要要点。请用一段简短的话概括以下文章的主旨。可以用1-2句话总结以下文章的重点吗?请使用1-3句话概括以下文章的核心内容。您能从以下文章中提炼出最重要的信息吗?请使用100字以内简要概括。

现在我采用这种方式写prompt:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
separator = "################"
model = "gpt-4.1-nano"
prompt = f"""
以作者本人的视角总结以下文章内容, 注意精简字数, 注意保持语句通畅.

文章是markdown格式, 文章的主要语言是中文, 文章可能包含代码内容.

总结使用一段话. 总结的内容需要准确. 需要通过总结的内容就可以判断文章的大致思想.

不要使用第一人称, 改为"作者"或"本文"等.

注意1: 精简字数, 注意保持语句通畅.
注意2: 以作者本人视角总结, 不要包含你的观点.
注意3: 总结的内容需要准确.

文章整体被{separator}包含.

文章是:
"""

再把生成的总结从给GTP评判:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
check_prompt = f"""
给你输入一篇文章, 和对这篇文章的总结, 你来判断这个总结是否正确, 是否正确表达了文章的意思.

文章是markdown格式, 文章的主要语言是中文, 文章可能包含代码内容.

用户输入的内容如下表示:

{separator}
<文章>
{separator}

{separator}
<对文章的总结>
{separator}

请判断文章的总结是否正确, 是否正确表达了文章的意思.

你需要输出一个评分, 除了评分之外, 你不需要输出任何内容.

评分细则为:

[A] 完全表达了文章的意思, 总结的内容都在文章中有体现
[B] 表达部分文章的意思, 总结的内容都在文章中有体现
[C] 总结的内容在文章中没有体现, 但是总结的内容和文章的意思相近
[D] 总结的内容和文章内容不以一致, 总结的思想和文章的思想也不一致

注意: 只输出评分, 不要输出其他内容

用户的输入是:
"""

一方面,prompt设计更细节化:更多的需求描述、更多的分割符、更多的结构化。

另一方面,使用AI生成和评判,形成闭环。

完整脚本见:summary.py

这就像是一种新式的模型训练,先写出大概的prompt,然后使用测试数据评判、调优。只需花费少量的时间和金钱,就能得到一个相对满意的结果。

总结

大模型浪潮下,如何参与进去?已经有很多人给过答案。我的理解是,分为两个方向。其一,是参与到LLM设计和开发中去,迭代出更强的模型,这偏向于专业研究领域。其二,是学会使用,这是工程应用。在我看来,现在的LLM不同于以往的任何模型,这是一个通用工具,以往的模型大都只能适配特定的领域,而LLM可以适配非常多的领域。因此,未来“会使用LLM”也可能变成一种专业技能。

会使用是指,能够通过LLM的API,实现自己的需求,而不只是使用别人开发的“聊天”工具(比如豆包、NextChat、XX Copilot之类)。我对这种观念的理解来的比较晚。