OpenAI 开放 GPT-3.5 Turbo 微调接口，企业还有必要自研大模型吗？

先说结论：OpenAI 的微调是奢侈品。很酷，但不实用。

再澄清个定义。「自研大模型」有两种定义：

从零训练出自己完全拥有版权的基础大模型基于开源大模型微调出有自己特色的大模型

如果是定义一，那和 OpenAI 开放了什么接口没关系。如果是定义二，就确实是个值得讨论的问题了。

OpenAI GPT-3.5 Turbo 微调功能发布

美国时间8月23日，OpenAI 在官网上发布了关于 GPT 3.5 支持微调的消息。GPT-4 的微调将于今年秋天推出。

Gpt-3.5-turbo 模型的前几代，都是早就支持微调的。OpenAI 提供了辅助做本地数据处理的工具，有统一的微调接口，调用 API 与基础模型完全相同，使用门槛非常低。

但是，gpt-3.5-turbo 推出已经快半年，才开始支持微调。这说明什么？说明这个能力，并不像媒体渲染的那么强大，那么重要。在微调市场，闭源大模型比起开源大模型，没多少优势。

那么到底 gpt-3.5-turbo 的微调效果如何，与开源方案相比，哪种性价比更高呢？AGI 课堂做了一个初步的实验，虽然不够严谨，但得出了一些可能有违直觉的结论。

微调 gpt-3.5-turbo vs. 微调 chatglm2-6b

用只有 60 亿参数的 chatglm2-6b 和千亿参数的 gpt-3.5-turbo 做比较，实在是很不公平。但这是非常符合实际使用情况的。

当前多数使用微调的应用场景，都是基于 6b、7b 这种规模的基础模型。而 chatglm 是公认中文表现最好的开源大模型，是做中文应用的首选。

所以，我们拿 chatglm2-6b 和 gpt-3.5-turbo 做比较实验。

当然，还有一个比较私人的原因，就是我们课程里有基于 chatglm2-6b 的全套微调实验，很多现成的数据、代码、结果可以直接使用，省事儿。

数据集

我们使用 CAIL2019（https://github.com/china-ai-law-challenge/CAIL2019）做为数据集。它的全称是「中国法研杯司法人工智能挑战赛2019」。数据量很足，也有专门的测试集。

我们选取其中「阅读理解」这个场景，来考验微调后的大模型能否对指定的判例文本做正确的理解，从而能简洁准确地回答基于判例的各种问题。比如，判例是：

经审理查明:原告曹0与被告张x1原5夫妻关系2001年5月27日,原、被告生育一女张x62011年7月21日,原、被告因夫妻感情破裂,在重庆市荣昌县人民法院调解离婚,调解书载明:“原、被告之女张x6随被告张x1生活”原、被告离婚后又自行协商,约定小孩张x6暂由原告代管,被告每月向原告支付张x6的生活费800元因此,张x6一直随原告生活至今,期间被告未依照约定按时向原告支付张x6的生活费另查明:张x6现在荣昌县城西小学上学,为城镇居民户口原告曹0系重庆博耐特压铸有限公司职工,收入比较稳定,现已再婚,其与丈夫何祖君共同购买了位于荣昌县昌元街道昌州大道西段的房屋一套本案在审理过程中,本院依法对张x6作了询问笔录,张x6称从父母离婚后其一直随母亲生活,只在每年暑假到父亲家里玩耍一段时间,现在自己愿意随母亲曹0生活上述事实,有原告陈述,被告答辩状,常住人口登记卡,重庆市荣昌县人民法院作出的(2011)荣4民初字第1929号民事调解书,原、被告签订的协议,结婚证,房产证,劳动合同,重庆市基本养老保险个人账户信息表,对张x6的询问笔录等证据予以证实

问题是：

原告曹0与被告张x1因何离婚？

正确答案是：

夫妻感情破裂

数据准备

数据准备的主要工作是把数据整理成要微调的大模型要求的格式。但我们并没有把 CAIL2019 的全量数据拿来微调。这是因为：

数据量大，训练的时间就长。从做实验体验微调过程的角度来说，短一些的实验时长，能更方便做多组实验，学习效果更好。所以 chatglm2-6b 的实验，我们只使用了 39333 条数据。对 gpt-3.5-turbo 微调的数据，本来我们也想用同样的 39333 条。但根据 OpenAI 的要求，gpt-3.5-turbo-0613 一次最多只能训练 9 万个token。而本实验的每条训练数据都包含大段大段的判例，因此只好退而求其次，只选择了 20 条数据进行测试。

39333 vs. 20 是非常悬殊的。但从最后的实验结果看，这个悬殊恰恰证明了 GPT 3.5 的强大。后面再详述。

为 chatglm2-6b 准备的数据（节选）：

{input: 判例:\n经审查,原告提供的证据1-3、被告中华联合广东分公司提供的证据4-5、被告万友公司提供的证据6,各方对其真实性均没有异议,本院对其真实性予以确认综合本院采信的证据及当事人的陈述,本院认定以下事实:2015年6月1日,田x17驾驶粤A×××××号车辆与严x3驾驶的赣C×××××号重型仓栅式货车发生碰撞,造成两车不同程度损坏的交通事故交警部门作出事故认定书,认定严x3承担事故的全部责任,田x17不负事故责任粤A×××××号车辆在原告处投保了保险金额为908000元的机动车损失保险,事故发生在保险期间内事故发生后,粤A×××××号车辆的被保险人陈x18就该车辆的损失以财产保险合同纠纷起诉至佛山市禅城区人民法院案经审理,佛山市禅城区人民法院于2015年8月18日作出(2015)佛城法民二初字第1006号民事判决,查明粤A×××××号车辆经广州市华盟价格事务所有限公司评估,损失价格为241541元,陈x18支付了粤A×××××号车辆的维修费241541元、评估费9050元;本案原告在庭审中明确表示不申请重新对车辆损失进行评估鉴定并判决原告向陈x18支付粤A×××××号车辆损失保险理赔款250591元2015年10月11日,原告向陈x18赔付了250591元及诉讼费用2529元后原告提起本案之诉并查明,赣C×××××号车辆的所有人为被告万友公司,该车辆在被告中华联合广东分公司处投保了交强险,事故发生在保险期内事故发生后,被告中华联合广东分公司向该车辆的被保险人许x19赔付了2000元诉讼中,被告徐11确认其为该车辆的实际支配人,严x3是被告徐11雇请,是从事派遣工作过程中发生案涉交通事故被告徐11与被告万友公司签订《车辆挂靠合同书》,被告万友公司同意被告徐11就赣C×××××号车辆挂靠被告万友公司名下\n问题:\n事故结果如何？\n答案:\n, output: 两车不同程度损坏}
{input: 判例:\n经审查,原告提供的证据1-3、被告中华联合广东分公司提供的证据4-5、被告万友公司提供的证据6,各方对其真实性均没有异议,本院对其真实性予以确认综合本院采信的证据及当事人的陈述,本院认定以下事实:2015年6月1日,田x17驾驶粤A×××××号车辆与严x3驾驶的赣C×××××号重型仓栅式货车发生碰撞,造成两车不同程度损坏的交通事故交警部门作出事故认定书,认定严x3承担事故的全部责任,田x17不负事故责任粤A×××××号车辆在原告处投保了保险金额为908000元的机动车损失保险,事故发生在保险期间内事故发生后,粤A×××××号车辆的被保险人陈x18就该车辆的损失以财产保险合同纠纷起诉至佛山市禅城区人民法院案经审理,佛山市禅城区人民法院于2015年8月18日作出(2015)佛城法民二初字第1006号民事判决,查明粤A×××××号车辆经广州市华盟价格事务所有限公司评估,损失价格为241541元,陈x18支付了粤A×××××号车辆的维修费241541元、评估费9050元;本案原告在庭审中明确表示不申请重新对车辆损失进行评估鉴定并判决原告向陈x18支付粤A×××××号车辆损失保险理赔款250591元2015年10月11日,原告向陈x18赔付了250591元及诉讼费用2529元后原告提起本案之诉并查明,赣C×××××号车辆的所有人为被告万友公司,该车辆在被告中华联合广东分公司处投保了交强险,事故发生在保险期内事故发生后,被告中华联合广东分公司向该车辆的被保险人许x19赔付了2000元诉讼中,被告徐11确认其为该车辆的实际支配人,严x3是被告徐11雇请,是从事派遣工作过程中发生案涉交通事故被告徐11与被告万友公司签订《车辆挂靠合同书》,被告万友公司同意被告徐11就赣C×××××号车辆挂靠被告万友公司名下\n问题:\n事故由谁承担什么责任？\n答案:\n, output: 严x3承担事故的全部责任,田x17不负事故责任}
{input: 判例:\n经审查,原告提供的证据1-3、被告中华联合广东分公司提供的证据4-5、被告万友公司提供的证据6,各方对其真实性均没有异议,本院对其真实性予以确认综合本院采信的证据及当事人的陈述,本院认定以下事实:2015年6月1日,田x17驾驶粤A×××××号车辆与严x3驾驶的赣C×××××号重型仓栅式货车发生碰撞,造成两车不同程度损坏的交通事故交警部门作出事故认定书,认定严x3承担事故的全部责任,田x17不负事故责任粤A×××××号车辆在原告处投保了保险金额为908000元的机动车损失保险,事故发生在保险期间内事故发生后,粤A×××××号车辆的被保险人陈x18就该车辆的损失以财产保险合同纠纷起诉至佛山市禅城区人民法院案经审理,佛山市禅城区人民法院于2015年8月18日作出(2015)佛城法民二初字第1006号民事判决,查明粤A×××××号车辆经广州市华盟价格事务所有限公司评估,损失价格为241541元,陈x18支付了粤A×××××号车辆的维修费241541元、评估费9050元;本案原告在庭审中明确表示不申请重新对车辆损失进行评估鉴定并判决原告向陈x18支付粤A×××××号车辆损失保险理赔款250591元2015年10月11日,原告向陈x18赔付了250591元及诉讼费用2529元后原告提起本案之诉并查明,赣C×××××号车辆的所有人为被告万友公司,该车辆在被告中华联合广东分公司处投保了交强险,事故发生在保险期内事故发生后,被告中华联合广东分公司向该车辆的被保险人许x19赔付了2000元诉讼中,被告徐11确认其为该车辆的实际支配人,严x3是被告徐11雇请,是从事派遣工作过程中发生案涉交通事故被告徐11与被告万友公司签订《车辆挂靠合同书》,被告万友公司同意被告徐11就赣C×××××号车辆挂靠被告万友公司名下\n问题:\n投保人所投保险险种？\n答案:\n, output: 机动车损失保险}
{input: 判例:\n经审查,原告提供的证据1-3、被告中华联合广东分公司提供的证据4-5、被告万友公司提供的证据6,各方对其真实性均没有异议,本院对其真实性予以确认综合本院采信的证据及当事人的陈述,本院认定以下事实:2015年6月1日,田x17驾驶粤A×××××号车辆与严x3驾驶的赣C×××××号重型仓栅式货车发生碰撞,造成两车不同程度损坏的交通事故交警部门作出事故认定书,认定严x3承担事故的全部责任,田x17不负事故责任粤A×××××号车辆在原告处投保了保险金额为908000元的机动车损失保险,事故发生在保险期间内事故发生后,粤A×××××号车辆的被保险人陈x18就该车辆的损失以财产保险合同纠纷起诉至佛山市禅城区人民法院案经审理,佛山市禅城区人民法院于2015年8月18日作出(2015)佛城法民二初字第1006号民事判决,查明粤A×××××号车辆经广州市华盟价格事务所有限公司评估,损失价格为241541元,陈x18支付了粤A×××××号车辆的维修费241541元、评估费9050元;本案原告在庭审中明确表示不申请重新对车辆损失进行评估鉴定并判决原告向陈x18支付粤A×××××号车辆损失保险理赔款250591元2015年10月11日,原告向陈x18赔付了250591元及诉讼费用2529元后原告提起本案之诉并查明,赣C×××××号车辆的所有人为被告万友公司,该车辆在被告中华联合广东分公司处投保了交强险,事故发生在保险期内事故发生后,被告中华联合广东分公司向该车辆的被保险人许x19赔付了2000元诉讼中,被告徐11确认其为该车辆的实际支配人,严x3是被告徐11雇请,是从事派遣工作过程中发生案涉交通事故被告徐11与被告万友公司签订《车辆挂靠合同书》,被告万友公司同意被告徐11就赣C×××××号车辆挂靠被告万友公司名下\n问题:\n向原告投保的人所投保险的保险金额是多少？\n答案:\n, output: 908000元}
{input: 判例:\n经审查,原告提供的证据1-3、被告中华联合广东分公司提供的证据4-5、被告万友公司提供的证据6,各方对其真实性均没有异议,本院对其真实性予以确认综合本院采信的证据及当事人的陈述,本院认定以下事实:2015年6月1日,田x17驾驶粤A×××××号车辆与严x3驾驶的赣C×××××号重型仓栅式货车发生碰撞,造成两车不同程度损坏的交通事故交警部门作出事故认定书,认定严x3承担事故的全部责任,田x17不负事故责任粤A×××××号车辆在原告处投保了保险金额为908000元的机动车损失保险,事故发生在保险期间内事故发生后,粤A×××××号车辆的被保险人陈x18就该车辆的损失以财产保险合同纠纷起诉至佛山市禅城区人民法院案经审理,佛山市禅城区人民法院于2015年8月18日作出(2015)佛城法民二初字第1006号民事判决,查明粤A×××××号车辆经广州市华盟价格事务所有限公司评估,损失价格为241541元,陈x18支付了粤A×××××号车辆的维修费241541元、评估费9050元;本案原告在庭审中明确表示不申请重新对车辆损失进行评估鉴定并判决原告向陈x18支付粤A×××××号车辆损失保险理赔款250591元2015年10月11日,原告向陈x18赔付了250591元及诉讼费用2529元后原告提起本案之诉并查明,赣C×××××号车辆的所有人为被告万友公司,该车辆在被告中华联合广东分公司处投保了交强险,事故发生在保险期内事故发生后,被告中华联合广东分公司向该车辆的被保险人许x19赔付了2000元诉讼中,被告徐11确认其为该车辆的实际支配人,严x3是被告徐11雇请,是从事派遣工作过程中发生案涉交通事故被告徐11与被告万友公司签订《车辆挂靠合同书》,被告万友公司同意被告徐11就赣C×××××号车辆挂靠被告万友公司名下\n问题:\n牌号为粤A×××××号的车辆是何种类型？\n答案:\n, output: 无答案}
{input: 判例:\n经审理查明,因第三人丈夫去世,第三人无力耕种其丈夫承包被告的140亩土地,经原告、被告、第三人三方共同商定:解除第三人丈夫与被告签订的土地承包合同,该140亩土地由原告承包耕种,并由原告与被告签订承包合同,对于被告应当退还第三人的土地承包费126800元,由被告向第三人退还50000元,原告向第三人退还76800元,原告退还后从其向被告交纳的土地承包费中折抵2013年2月16日,在原告、被告、第三人等均在场的情况下,原告与被告签订了为期8年的土地承包合同,合同约定:被告将140亩地承包给原告,是熟地,承包期限自2013年1月1日至2020年12月31日,土地由原告在2013年免费种一年(前提是原告在2014年种完地后,用铲车将地弄平,否则2013年的承包费原告仍需支付),每亩每年承包费为500元,140亩地一年承包费是70000元,签订合同后支付承包费50000元(算2014年承包费)、交付定金50000元(折抵第8年承包费),承包费在每年的10月20日交清······合同签订后,原告向被告交纳100000元(50000元定金、50000元2014年承包费),被告将其中的50000元退还给第三人,原告向第三人出具76800元的欠条一份,载明“今欠柴x276800元,付钱时间2013年10月30日2013年2月16日,付x0”当天被告也向原告出具了一份欠条,载明“买xxxx1欠柴x276800元,此款于2014年10月25日归还买xxxx1,2013年2月16日”因原告未向第三人偿还欠款76800元,在2013年捡棉花时,第三人持原告出具的欠条向原告要钱,原告不给,双方发生纠纷,后原告报警,派出所出警后将原告地里捡拾好的棉花清点完交由被告看管,称原告和第三人的纠纷解决后再返还后,由被告看管的棉花原告已全部拿走另查明,承包该地前,原告亲自去实地察看过该土地状况,同意承包后与被告签订了土地承包合同2014年备耕浇水季节,经被告催促,原告未对承包的土地实施浇灌冬水和春水,导致该土地2014年荒芜\n问题:\n第三人丈夫曾经承包了多少亩土地？\n答案:\n, output: 140亩}
{input: 判例:\n经审理查明,因第三人丈夫去世,第三人无力耕种其丈夫承包被告的140亩土地,经原告、被告、第三人三方共同商定:解除第三人丈夫与被告签订的土地承包合同,该140亩土地由原告承包耕种,并由原告与被告签订承包合同,对于被告应当退还第三人的土地承包费126800元,由被告向第三人退还50000元,原告向第三人退还76800元,原告退还后从其向被告交纳的土地承包费中折抵2013年2月16日,在原告、被告、第三人等均在场的情况下,原告与被告签订了为期8年的土地承包合同,合同约定:被告将140亩地承包给原告,是熟地,承包期限自2013年1月1日至2020年12月31日,土地由原告在2013年免费种一年(前提是原告在2014年种完地后,用铲车将地弄平,否则2013年的承包费原告仍需支付),每亩每年承包费为500元,140亩地一年承包费是70000元,签订合同后支付承包费50000元(算2014年承包费)、交付定金50000元(折抵第8年承包费),承包费在每年的10月20日交清······合同签订后,原告向被告交纳100000元(50000元定金、50000元2014年承包费),被告将其中的50000元退还给第三人,原告向第三人出具76800元的欠条一份,载明“今欠柴x276800元,付钱时间2013年10月30日2013年2月16日,付x0”当天被告也向原告出具了一份欠条,载明“买xxxx1欠柴x276800元,此款于2014年10月25日归还买xxxx1,2013年2月16日”因原告未向第三人偿还欠款76800元,在2013年捡棉花时,第三人持原告出具的欠条向原告要钱,原告不给,双方发生纠纷,后原告报警,派出所出警后将原告地里捡拾好的棉花清点完交由被告看管,称原告和第三人的纠纷解决后再返还后,由被告看管的棉花原告已全部拿走另查明,承包该地前,原告亲自去实地察看过该土地状况,同意承包后与被告签订了土地承包合同2014年备耕浇水季节,经被告催促,原告未对承包的土地实施浇灌冬水和春水,导致该土地2014年荒芜\n问题:\n原被告及第三人商议结果为？\n答案:\n, output: 解除第三人丈夫与被告签订的土地承包合同,该140亩土地由原告承包耕种,并由原告与被告签订承包合同,对于被告应当退还第三人的土地承包费126800元,由被告向第三人退还50000元,原告向第三人退还76800元,原告退还后从其向被告交纳的土地承包费中折抵}
{input: 判例:\n经审理查明,因第三人丈夫去世,第三人无力耕种其丈夫承包被告的140亩土地,经原告、被告、第三人三方共同商定:解除第三人丈夫与被告签订的土地承包合同,该140亩土地由原告承包耕种,并由原告与被告签订承包合同,对于被告应当退还第三人的土地承包费126800元,由被告向第三人退还50000元,原告向第三人退还76800元,原告退还后从其向被告交纳的土地承包费中折抵2013年2月16日,在原告、被告、第三人等均在场的情况下,原告与被告签订了为期8年的土地承包合同,合同约定:被告将140亩地承包给原告,是熟地,承包期限自2013年1月1日至2020年12月31日,土地由原告在2013年免费种一年(前提是原告在2014年种完地后,用铲车将地弄平,否则2013年的承包费原告仍需支付),每亩每年承包费为500元,140亩地一年承包费是70000元,签订合同后支付承包费50000元(算2014年承包费)、交付定金50000元(折抵第8年承包费),承包费在每年的10月20日交清······合同签订后,原告向被告交纳100000元(50000元定金、50000元2014年承包费),被告将其中的50000元退还给第三人,原告向第三人出具76800元的欠条一份,载明“今欠柴x276800元,付钱时间2013年10月30日2013年2月16日,付x0”当天被告也向原告出具了一份欠条,载明“买xxxx1欠柴x276800元,此款于2014年10月25日归还买xxxx1,2013年2月16日”因原告未向第三人偿还欠款76800元,在2013年捡棉花时,第三人持原告出具的欠条向原告要钱,原告不给,双方发生纠纷,后原告报警,派出所出警后将原告地里捡拾好的棉花清点完交由被告看管,称原告和第三人的纠纷解决后再返还后,由被告看管的棉花原告已全部拿走另查明,承包该地前,原告亲自去实地察看过该土地状况,同意承包后与被告签订了土地承包合同2014年备耕浇水季节,经被告催促,原告未对承包的土地实施浇灌冬水和春水,导致该土地2014年荒芜\n问题:\n原被告何时签订承包合同？\n答案:\n, output: 2013年2月16日}
{input: 判例:\n经审理查明,因第三人丈夫去世,第三人无力耕种其丈夫承包被告的140亩土地,经原告、被告、第三人三方共同商定:解除第三人丈夫与被告签订的土地承包合同,该140亩土地由原告承包耕种,并由原告与被告签订承包合同,对于被告应当退还第三人的土地承包费126800元,由被告向第三人退还50000元,原告向第三人退还76800元,原告退还后从其向被告交纳的土地承包费中折抵2013年2月16日,在原告、被告、第三人等均在场的情况下,原告与被告签订了为期8年的土地承包合同,合同约定:被告将140亩地承包给原告,是熟地,承包期限自2013年1月1日至2020年12月31日,土地由原告在2013年免费种一年(前提是原告在2014年种完地后,用铲车将地弄平,否则2013年的承包费原告仍需支付),每亩每年承包费为500元,140亩地一年承包费是70000元,签订合同后支付承包费50000元(算2014年承包费)、交付定金50000元(折抵第8年承包费),承包费在每年的10月20日交清······合同签订后,原告向被告交纳100000元(50000元定金、50000元2014年承包费),被告将其中的50000元退还给第三人,原告向第三人出具76800元的欠条一份,载明“今欠柴x276800元,付钱时间2013年10月30日2013年2月16日,付x0”当天被告也向原告出具了一份欠条,载明“买xxxx1欠柴x276800元,此款于2014年10月25日归还买xxxx1,2013年2月16日”因原告未向第三人偿还欠款76800元,在2013年捡棉花时,第三人持原告出具的欠条向原告要钱,原告不给,双方发生纠纷,后原告报警,派出所出警后将原告地里捡拾好的棉花清点完交由被告看管,称原告和第三人的纠纷解决后再返还后,由被告看管的棉花原告已全部拿走另查明,承包该地前,原告亲自去实地察看过该土地状况,同意承包后与被告签订了土地承包合同2014年备耕浇水季节,经被告催促,原告未对承包的土地实施浇灌冬水和春水,导致该土地2014年荒芜\n问题:\n2014年土地为何荒芜？\n答案:\n, output: 原告未对承包的土地实施浇灌冬水和春水}
{input: 判例:\n经审理查明,因第三人丈夫去世,第三人无力耕种其丈夫承包被告的140亩土地,经原告、被告、第三人三方共同商定:解除第三人丈夫与被告签订的土地承包合同,该140亩土地由原告承包耕种,并由原告与被告签订承包合同,对于被告应当退还第三人的土地承包费126800元,由被告向第三人退还50000元,原告向第三人退还76800元,原告退还后从其向被告交纳的土地承包费中折抵2013年2月16日,在原告、被告、第三人等均在场的情况下,原告与被告签订了为期8年的土地承包合同,合同约定:被告将140亩地承包给原告,是熟地,承包期限自2013年1月1日至2020年12月31日,土地由原告在2013年免费种一年(前提是原告在2014年种完地后,用铲车将地弄平,否则2013年的承包费原告仍需支付),每亩每年承包费为500元,140亩地一年承包费是70000元,签订合同后支付承包费50000元(算2014年承包费)、交付定金50000元(折抵第8年承包费),承包费在每年的10月20日交清······合同签订后,原告向被告交纳100000元(50000元定金、50000元2014年承包费),被告将其中的50000元退还给第三人,原告向第三人出具76800元的欠条一份,载明“今欠柴x276800元,付钱时间2013年10月30日2013年2月16日,付x0”当天被告也向原告出具了一份欠条,载明“买xxxx1欠柴x276800元,此款于2014年10月25日归还买xxxx1,2013年2月16日”因原告未向第三人偿还欠款76800元,在2013年捡棉花时,第三人持原告出具的欠条向原告要钱,原告不给,双方发生纠纷,后原告报警,派出所出警后将原告地里捡拾好的棉花清点完交由被告看管,称原告和第三人的纠纷解决后再返还后,由被告看管的棉花原告已全部拿走另查明,承包该地前,原告亲自去实地察看过该土地状况,同意承包后与被告签订了土地承包合同2014年备耕浇水季节,经被告催促,原告未对承包的土地实施浇灌冬水和春水,导致该土地2014年荒芜\n问题:\n被告欠第三人多少土地承包费？\n答案:\n, output: 126800元}
{input: 判例:\n经审理查明：一、受贿罪2010年3月至2011年5月，被告人陈某甲在担任湖北省汉阳监狱九监区监区长期间，先后利用职务上的便利，为服刑罪犯陈某乙、张某甲、胡某甲假释、回家探亲、调换工种等事谋取利益，共计收受上述服刑罪犯及亲属给予的现金37000元，具体事实如下：（一）2010年初，汉阳监狱病犯监区罪犯陈某乙为办理假释一事找被告人陈某甲帮忙，被告人陈某甲表示同意，后罪犯陈某乙通过监狱内亲情电话联系其妹妹陈某丙办理此事，并将其妹妹的电话号码告诉了被告人陈某甲，被告人陈某甲与陈某丙联系后，陈某丙在湖北省武汉市汉阳区郭茨口一家洗脚屋内，分两次送给被告人陈某甲20000元，请被告人陈某甲帮助陈某乙办理假释。2010年7月30日，在被告人陈某甲的活动下，罪犯陈某乙被顺利假释出狱。\n问题:\n陈某甲是担任什么职务时受贿的？\n答案:\n, output: 在担任湖北省汉阳监狱九监区监区长期间}
{input: 判例:\n经审理查明：一、受贿罪2010年3月至2011年5月，被告人陈某甲在担任湖北省汉阳监狱九监区监区长期间，先后利用职务上的便利，为服刑罪犯陈某乙、张某甲、胡某甲假释、回家探亲、调换工种等事谋取利益，共计收受上述服刑罪犯及亲属给予的现金37000元，具体事实如下：（一）2010年初，汉阳监狱病犯监区罪犯陈某乙为办理假释一事找被告人陈某甲帮忙，被告人陈某甲表示同意，后罪犯陈某乙通过监狱内亲情电话联系其妹妹陈某丙办理此事，并将其妹妹的电话号码告诉了被告人陈某甲，被告人陈某甲与陈某丙联系后，陈某丙在湖北省武汉市汉阳区郭茨口一家洗脚屋内，分两次送给被告人陈某甲20000元，请被告人陈某甲帮助陈某乙办理假释。2010年7月30日，在被告人陈某甲的活动下，罪犯陈某乙被顺利假释出狱。\n问题:\n共陈某甲计收受多少钱？\n答案:\n, output: 现金37000元}
{input: 判例:\n经审理查明：一、受贿罪2010年3月至2011年5月，被告人陈某甲在担任湖北省汉阳监狱九监区监区长期间，先后利用职务上的便利，为服刑罪犯陈某乙、张某甲、胡某甲假释、回家探亲、调换工种等事谋取利益，共计收受上述服刑罪犯及亲属给予的现金37000元，具体事实如下：（一）2010年初，汉阳监狱病犯监区罪犯陈某乙为办理假释一事找被告人陈某甲帮忙，被告人陈某甲表示同意，后罪犯陈某乙通过监狱内亲情电话联系其妹妹陈某丙办理此事，并将其妹妹的电话号码告诉了被告人陈某甲，被告人陈某甲与陈某丙联系后，陈某丙在湖北省武汉市汉阳区郭茨口一家洗脚屋内，分两次送给被告人陈某甲20000元，请被告人陈某甲帮助陈某乙办理假释。2010年7月30日，在被告人陈某甲的活动下，罪犯陈某乙被顺利假释出狱。\n问题:\n被告人陈某甲收了哪些服刑罪犯的钱？\n答案:\n, output: 陈某乙、张某甲、胡某甲}
{input: 判例:\n经审理查明：一、受贿罪2010年3月至2011年5月，被告人陈某甲在担任湖北省汉阳监狱九监区监区长期间，先后利用职务上的便利，为服刑罪犯陈某乙、张某甲、胡某甲假释、回家探亲、调换工种等事谋取利益，共计收受上述服刑罪犯及亲属给予的现金37000元，具体事实如下：（一）2010年初，汉阳监狱病犯监区罪犯陈某乙为办理假释一事找被告人陈某甲帮忙，被告人陈某甲表示同意，后罪犯陈某乙通过监狱内亲情电话联系其妹妹陈某丙办理此事，并将其妹妹的电话号码告诉了被告人陈某甲，被告人陈某甲与陈某丙联系后，陈某丙在湖北省武汉市汉阳区郭茨口一家洗脚屋内，分两次送给被告人陈某甲20000元，请被告人陈某甲帮助陈某乙办理假释。2010年7月30日，在被告人陈某甲的活动下，罪犯陈某乙被顺利假释出狱。\n问题:\n被告人陈某甲收受贿赂后为服刑犯提供了什么帮助？\n答案:\n, output: 假释、回家探亲、调换工种等事谋取利益}
{input: 判例:\n经审理查明：一、受贿罪2010年3月至2011年5月，被告人陈某甲在担任湖北省汉阳监狱九监区监区长期间，先后利用职务上的便利，为服刑罪犯陈某乙、张某甲、胡某甲假释、回家探亲、调换工种等事谋取利益，共计收受上述服刑罪犯及亲属给予的现金37000元，具体事实如下：（一）2010年初，汉阳监狱病犯监区罪犯陈某乙为办理假释一事找被告人陈某甲帮忙，被告人陈某甲表示同意，后罪犯陈某乙通过监狱内亲情电话联系其妹妹陈某丙办理此事，并将其妹妹的电话号码告诉了被告人陈某甲，被告人陈某甲与陈某丙联系后，陈某丙在湖北省武汉市汉阳区郭茨口一家洗脚屋内，分两次送给被告人陈某甲20000元，请被告人陈某甲帮助陈某乙办理假释。2010年7月30日，在被告人陈某甲的活动下，罪犯陈某乙被顺利假释出狱。\n问题:\n被告人陈某甲收受贿赂的时间是？\n答案:\n, output: 2010年3月至2011年5月}
{input: 判例:\n经审理查明:原、被告于2011年8月15日在南充市顺庆区民政局协议离婚,协议婚生女青7乙由被告抚养,原告不负担一切费用离婚后,青7乙一直随被告一起生活2015年9月,被告与青7乙就教育问题产生矛盾,青7乙遂返回原告处生活至今嗣后,双方就青7乙的抚养问题未能达成协议,原告遂诉来本院另查明,青7乙生于2002年12月27日审理中,经本院询问青7乙,青7乙称经常因琐事遭被告殴打,表示愿意跟随原告生活\n问题:\n原被告何时离婚？\n答案:\n, output: 2011年8月15日}
{input: 判例:\n经审理查明:原、被告于2011年8月15日在南充市顺庆区民政局协议离婚,协议婚生女青7乙由被告抚养,原告不负担一切费用离婚后,青7乙一直随被告一起生活2015年9月,被告与青7乙就教育问题产生矛盾,青7乙遂返回原告处生活至今嗣后,双方就青7乙的抚养问题未能达成协议,原告遂诉来本院另查明,青7乙生于2002年12月27日审理中,经本院询问青7乙,青7乙称经常因琐事遭被告殴打,表示愿意跟随原告生活\n问题:\n双方协议婚生女青7乙由谁抚养？\n答案:\n, output: 被告}
{input: 判例:\n经审理查明:原、被告于2011年8月15日在南充市顺庆区民政局协议离婚,协议婚生女青7乙由被告抚养,原告不负担一切费用离婚后,青7乙一直随被告一起生活2015年9月,被告与青7乙就教育问题产生矛盾,青7乙遂返回原告处生活至今嗣后,双方就青7乙的抚养问题未能达成协议,原告遂诉来本院另查明,青7乙生于2002年12月27日审理中,经本院询问青7乙,青7乙称经常因琐事遭被告殴打,表示愿意跟随原告生活\n问题:\n双方协议原告需要承担费用吗？\n答案:\n, output: NO}
{input: 判例:\n经审理查明:原、被告于2011年8月15日在南充市顺庆区民政局协议离婚,协议婚生女青7乙由被告抚养,原告不负担一切费用离婚后,青7乙一直随被告一起生活2015年9月,被告与青7乙就教育问题产生矛盾,青7乙遂返回原告处生活至今嗣后,双方就青7乙的抚养问题未能达成协议,原告遂诉来本院另查明,青7乙生于2002年12月27日审理中,经本院询问青7乙,青7乙称经常因琐事遭被告殴打,表示愿意跟随原告生活\n问题:\n离婚后青7乙跟随谁一起生活？\n答案:\n, output: 被告}
{input: 判例:\n经审理查明:原、被告于2011年8月15日在南充市顺庆区民政局协议离婚,协议婚生女青7乙由被告抚养,原告不负担一切费用离婚后,青7乙一直随被告一起生活2015年9月,被告与青7乙就教育问题产生矛盾,青7乙遂返回原告处生活至今嗣后,双方就青7乙的抚养问题未能达成协议,原告遂诉来本院另查明,青7乙生于2002年12月27日审理中,经本院询问青7乙,青7乙称经常因琐事遭被告殴打,表示愿意跟随原告生活\n问题:\n双方因何事产生严重矛盾？\n答案:\n, output: 教育问题}

为 gpt-3.5-turbo 准备的数据（全量）：

{messages: [{role: system, content: 你是一个熟悉中国法律的专家}, {role: user, content: 判例:\n经审查,原告提供的证据1-3、被告中华联合广东分公司提供的证据4-5、被告万友公司提供的证据6,各方对其真实性均没有异议,本院对其真实性予以确认综合本院采信的证据及当事人的陈述,本院认定以下事实:2015年6月1日,田x17驾驶粤A×××××号车辆与严x3驾驶的赣C×××××号重型仓栅式货车发生碰撞,造成两车不同程度损坏的交通事故交警部门作出事故认定书,认定严x3承担事故的全部责任,田x17不负事故责任粤A×××××号车辆在原告处投保了保险金额为908000元的机动车损失保险,事故发生在保险期间内事故发生后,粤A×××××号车辆的被保险人陈x18就该车辆的损失以财产保险合同纠纷起诉至佛山市禅城区人民法院案经审理,佛山市禅城区人民法院于2015年8月18日作出(2015)佛城法民二初字第1006号民事判决,查明粤A×××××号车辆经广州市华盟价格事务所有限公司评估,损失价格为241541元,陈x18支付了粤A×××××号车辆的维修费241541元、评估费9050元;本案原告在庭审中明确表示不申请重新对车辆损失进行评估鉴定并判决原告向陈x18支付粤A×××××号车辆损失保险理赔款250591元2015年10月11日,原告向陈x18赔付了250591元及诉讼费用2529元后原告提起本案之诉并查明,赣C×××××号车辆的所有人为被告万友公司,该车辆在被告中华联合广东分公司处投保了交强险,事故发生在保险期内事故发生后,被告中华联合广东分公司向该车辆的被保险人许x19赔付了2000元诉讼中,被告徐11确认其为该车辆的实际支配人,严x3是被告徐11雇请,是从事派遣工作过程中发生案涉交通事故被告徐11与被告万友公司签订《车辆挂靠合同书》,被告万友公司同意被告徐11就赣C×××××号车辆挂靠被告万友公司名下\n问题:\n事故结果如何？\n答案:\n}, {role: assistant, content: 两车不同程度损坏}]}
{messages: [{role: system, content: 你是一个熟悉中国法律的专家}, {role: user, content: 判例:\n经审查,原告提供的证据1-3、被告中华联合广东分公司提供的证据4-5、被告万友公司提供的证据6,各方对其真实性均没有异议,本院对其真实性予以确认综合本院采信的证据及当事人的陈述,本院认定以下事实:2015年6月1日,田x17驾驶粤A×××××号车辆与严x3驾驶的赣C×××××号重型仓栅式货车发生碰撞,造成两车不同程度损坏的交通事故交警部门作出事故认定书,认定严x3承担事故的全部责任,田x17不负事故责任粤A×××××号车辆在原告处投保了保险金额为908000元的机动车损失保险,事故发生在保险期间内事故发生后,粤A×××××号车辆的被保险人陈x18就该车辆的损失以财产保险合同纠纷起诉至佛山市禅城区人民法院案经审理,佛山市禅城区人民法院于2015年8月18日作出(2015)佛城法民二初字第1006号民事判决,查明粤A×××××号车辆经广州市华盟价格事务所有限公司评估,损失价格为241541元,陈x18支付了粤A×××××号车辆的维修费241541元、评估费9050元;本案原告在庭审中明确表示不申请重新对车辆损失进行评估鉴定并判决原告向陈x18支付粤A×××××号车辆损失保险理赔款250591元2015年10月11日,原告向陈x18赔付了250591元及诉讼费用2529元后原告提起本案之诉并查明,赣C×××××号车辆的所有人为被告万友公司,该车辆在被告中华联合广东分公司处投保了交强险,事故发生在保险期内事故发生后,被告中华联合广东分公司向该车辆的被保险人许x19赔付了2000元诉讼中,被告徐11确认其为该车辆的实际支配人,严x3是被告徐11雇请,是从事派遣工作过程中发生案涉交通事故被告徐11与被告万友公司签订《车辆挂靠合同书》,被告万友公司同意被告徐11就赣C×××××号车辆挂靠被告万友公司名下\n问题:\n事故由谁承担什么责任？\n答案:\n}, {role: assistant, content: 严x3承担事故的全部责任,田x17不负事故责任}]}
{messages: [{role: system, content: 你是一个熟悉中国法律的专家}, {role: user, content: 判例:\n经审查,原告提供的证据1-3、被告中华联合广东分公司提供的证据4-5、被告万友公司提供的证据6,各方对其真实性均没有异议,本院对其真实性予以确认综合本院采信的证据及当事人的陈述,本院认定以下事实:2015年6月1日,田x17驾驶粤A×××××号车辆与严x3驾驶的赣C×××××号重型仓栅式货车发生碰撞,造成两车不同程度损坏的交通事故交警部门作出事故认定书,认定严x3承担事故的全部责任,田x17不负事故责任粤A×××××号车辆在原告处投保了保险金额为908000元的机动车损失保险,事故发生在保险期间内事故发生后,粤A×××××号车辆的被保险人陈x18就该车辆的损失以财产保险合同纠纷起诉至佛山市禅城区人民法院案经审理,佛山市禅城区人民法院于2015年8月18日作出(2015)佛城法民二初字第1006号民事判决,查明粤A×××××号车辆经广州市华盟价格事务所有限公司评估,损失价格为241541元,陈x18支付了粤A×××××号车辆的维修费241541元、评估费9050元;本案原告在庭审中明确表示不申请重新对车辆损失进行评估鉴定并判决原告向陈x18支付粤A×××××号车辆损失保险理赔款250591元2015年10月11日,原告向陈x18赔付了250591元及诉讼费用2529元后原告提起本案之诉并查明,赣C×××××号车辆的所有人为被告万友公司,该车辆在被告中华联合广东分公司处投保了交强险,事故发生在保险期内事故发生后,被告中华联合广东分公司向该车辆的被保险人许x19赔付了2000元诉讼中,被告徐11确认其为该车辆的实际支配人,严x3是被告徐11雇请,是从事派遣工作过程中发生案涉交通事故被告徐11与被告万友公司签订《车辆挂靠合同书》,被告万友公司同意被告徐11就赣C×××××号车辆挂靠被告万友公司名下\n问题:\n投保人所投保险险种？\n答案:\n}, {role: assistant, content: 机动车损失保险}]}
{messages: [{role: system, content: 你是一个熟悉中国法律的专家}, {role: user, content: 判例:\n经审查,原告提供的证据1-3、被告中华联合广东分公司提供的证据4-5、被告万友公司提供的证据6,各方对其真实性均没有异议,本院对其真实性予以确认综合本院采信的证据及当事人的陈述,本院认定以下事实:2015年6月1日,田x17驾驶粤A×××××号车辆与严x3驾驶的赣C×××××号重型仓栅式货车发生碰撞,造成两车不同程度损坏的交通事故交警部门作出事故认定书,认定严x3承担事故的全部责任,田x17不负事故责任粤A×××××号车辆在原告处投保了保险金额为908000元的机动车损失保险,事故发生在保险期间内事故发生后,粤A×××××号车辆的被保险人陈x18就该车辆的损失以财产保险合同纠纷起诉至佛山市禅城区人民法院案经审理,佛山市禅城区人民法院于2015年8月18日作出(2015)佛城法民二初字第1006号民事判决,查明粤A×××××号车辆经广州市华盟价格事务所有限公司评估,损失价格为241541元,陈x18支付了粤A×××××号车辆的维修费241541元、评估费9050元;本案原告在庭审中明确表示不申请重新对车辆损失进行评估鉴定并判决原告向陈x18支付粤A×××××号车辆损失保险理赔款250591元2015年10月11日,原告向陈x18赔付了250591元及诉讼费用2529元后原告提起本案之诉并查明,赣C×××××号车辆的所有人为被告万友公司,该车辆在被告中华联合广东分公司处投保了交强险,事故发生在保险期内事故发生后,被告中华联合广东分公司向该车辆的被保险人许x19赔付了2000元诉讼中,被告徐11确认其为该车辆的实际支配人,严x3是被告徐11雇请,是从事派遣工作过程中发生案涉交通事故被告徐11与被告万友公司签订《车辆挂靠合同书》,被告万友公司同意被告徐11就赣C×××××号车辆挂靠被告万友公司名下\n问题:\n向原告投保的人所投保险的保险金额是多少？\n答案:\n}, {role: assistant, content: 908000元}]}
{messages: [{role: system, content: 你是一个熟悉中国法律的专家}, {role: user, content: 判例:\n经审查,原告提供的证据1-3、被告中华联合广东分公司提供的证据4-5、被告万友公司提供的证据6,各方对其真实性均没有异议,本院对其真实性予以确认综合本院采信的证据及当事人的陈述,本院认定以下事实:2015年6月1日,田x17驾驶粤A×××××号车辆与严x3驾驶的赣C×××××号重型仓栅式货车发生碰撞,造成两车不同程度损坏的交通事故交警部门作出事故认定书,认定严x3承担事故的全部责任,田x17不负事故责任粤A×××××号车辆在原告处投保了保险金额为908000元的机动车损失保险,事故发生在保险期间内事故发生后,粤A×××××号车辆的被保险人陈x18就该车辆的损失以财产保险合同纠纷起诉至佛山市禅城区人民法院案经审理,佛山市禅城区人民法院于2015年8月18日作出(2015)佛城法民二初字第1006号民事判决,查明粤A×××××号车辆经广州市华盟价格事务所有限公司评估,损失价格为241541元,陈x18支付了粤A×××××号车辆的维修费241541元、评估费9050元;本案原告在庭审中明确表示不申请重新对车辆损失进行评估鉴定并判决原告向陈x18支付粤A×××××号车辆损失保险理赔款250591元2015年10月11日,原告向陈x18赔付了250591元及诉讼费用2529元后原告提起本案之诉并查明,赣C×××××号车辆的所有人为被告万友公司,该车辆在被告中华联合广东分公司处投保了交强险,事故发生在保险期内事故发生后,被告中华联合广东分公司向该车辆的被保险人许x19赔付了2000元诉讼中,被告徐11确认其为该车辆的实际支配人,严x3是被告徐11雇请,是从事派遣工作过程中发生案涉交通事故被告徐11与被告万友公司签订《车辆挂靠合同书》,被告万友公司同意被告徐11就赣C×××××号车辆挂靠被告万友公司名下\n问题:\n牌号为粤A×××××号的车辆是何种类型？\n答案:\n}, {role: assistant, content: 无答案}]}
{messages: [{role: system, content: 你是一个熟悉中国法律的专家}, {role: user, content: 判例:\n经审理查明,因第三人丈夫去世,第三人无力耕种其丈夫承包被告的140亩土地,经原告、被告、第三人三方共同商定:解除第三人丈夫与被告签订的土地承包合同,该140亩土地由原告承包耕种,并由原告与被告签订承包合同,对于被告应当退还第三人的土地承包费126800元,由被告向第三人退还50000元,原告向第三人退还76800元,原告退还后从其向被告交纳的土地承包费中折抵2013年2月16日,在原告、被告、第三人等均在场的情况下,原告与被告签订了为期8年的土地承包合同,合同约定:被告将140亩地承包给原告,是熟地,承包期限自2013年1月1日至2020年12月31日,土地由原告在2013年免费种一年(前提是原告在2014年种完地后,用铲车将地弄平,否则2013年的承包费原告仍需支付),每亩每年承包费为500元,140亩地一年承包费是70000元,签订合同后支付承包费50000元(算2014年承包费)、交付定金50000元(折抵第8年承包费),承包费在每年的10月20日交清······合同签订后,原告向被告交纳100000元(50000元定金、50000元2014年承包费),被告将其中的50000元退还给第三人,原告向第三人出具76800元的欠条一份,载明“今欠柴x276800元,付钱时间2013年10月30日2013年2月16日,付x0”当天被告也向原告出具了一份欠条,载明“买xxxx1欠柴x276800元,此款于2014年10月25日归还买xxxx1,2013年2月16日”因原告未向第三人偿还欠款76800元,在2013年捡棉花时,第三人持原告出具的欠条向原告要钱,原告不给,双方发生纠纷,后原告报警,派出所出警后将原告地里捡拾好的棉花清点完交由被告看管,称原告和第三人的纠纷解决后再返还后,由被告看管的棉花原告已全部拿走另查明,承包该地前,原告亲自去实地察看过该土地状况,同意承包后与被告签订了土地承包合同2014年备耕浇水季节,经被告催促,原告未对承包的土地实施浇灌冬水和春水,导致该土地2014年荒芜\n问题:\n第三人丈夫曾经承包了多少亩土地？\n答案:\n}, {role: assistant, content: 140亩}]}
{messages: [{role: system, content: 你是一个熟悉中国法律的专家}, {role: user, content: 判例:\n经审理查明,因第三人丈夫去世,第三人无力耕种其丈夫承包被告的140亩土地,经原告、被告、第三人三方共同商定:解除第三人丈夫与被告签订的土地承包合同,该140亩土地由原告承包耕种,并由原告与被告签订承包合同,对于被告应当退还第三人的土地承包费126800元,由被告向第三人退还50000元,原告向第三人退还76800元,原告退还后从其向被告交纳的土地承包费中折抵2013年2月16日,在原告、被告、第三人等均在场的情况下,原告与被告签订了为期8年的土地承包合同,合同约定:被告将140亩地承包给原告,是熟地,承包期限自2013年1月1日至2020年12月31日,土地由原告在2013年免费种一年(前提是原告在2014年种完地后,用铲车将地弄平,否则2013年的承包费原告仍需支付),每亩每年承包费为500元,140亩地一年承包费是70000元,签订合同后支付承包费50000元(算2014年承包费)、交付定金50000元(折抵第8年承包费),承包费在每年的10月20日交清······合同签订后,原告向被告交纳100000元(50000元定金、50000元2014年承包费),被告将其中的50000元退还给第三人,原告向第三人出具76800元的欠条一份,载明“今欠柴x276800元,付钱时间2013年10月30日2013年2月16日,付x0”当天被告也向原告出具了一份欠条,载明“买xxxx1欠柴x276800元,此款于2014年10月25日归还买xxxx1,2013年2月16日”因原告未向第三人偿还欠款76800元,在2013年捡棉花时,第三人持原告出具的欠条向原告要钱,原告不给,双方发生纠纷,后原告报警,派出所出警后将原告地里捡拾好的棉花清点完交由被告看管,称原告和第三人的纠纷解决后再返还后,由被告看管的棉花原告已全部拿走另查明,承包该地前,原告亲自去实地察看过该土地状况,同意承包后与被告签订了土地承包合同2014年备耕浇水季节,经被告催促,原告未对承包的土地实施浇灌冬水和春水,导致该土地2014年荒芜\n问题:\n原被告及第三人商议结果为？\n答案:\n}, {role: assistant, content: 解除第三人丈夫与被告签订的土地承包合同,该140亩土地由原告承包耕种,并由原告与被告签订承包合同,对于被告应当退还第三人的土地承包费126800元,由被告向第三人退还50000元,原告向第三人退还76800元,原告退还后从其向被告交纳的土地承包费中折抵}]}
{messages: [{role: system, content: 你是一个熟悉中国法律的专家}, {role: user, content: 判例:\n经审理查明,因第三人丈夫去世,第三人无力耕种其丈夫承包被告的140亩土地,经原告、被告、第三人三方共同商定:解除第三人丈夫与被告签订的土地承包合同,该140亩土地由原告承包耕种,并由原告与被告签订承包合同,对于被告应当退还第三人的土地承包费126800元,由被告向第三人退还50000元,原告向第三人退还76800元,原告退还后从其向被告交纳的土地承包费中折抵2013年2月16日,在原告、被告、第三人等均在场的情况下,原告与被告签订了为期8年的土地承包合同,合同约定:被告将140亩地承包给原告,是熟地,承包期限自2013年1月1日至2020年12月31日,土地由原告在2013年免费种一年(前提是原告在2014年种完地后,用铲车将地弄平,否则2013年的承包费原告仍需支付),每亩每年承包费为500元,140亩地一年承包费是70000元,签订合同后支付承包费50000元(算2014年承包费)、交付定金50000元(折抵第8年承包费),承包费在每年的10月20日交清······合同签订后,原告向被告交纳100000元(50000元定金、50000元2014年承包费),被告将其中的50000元退还给第三人,原告向第三人出具76800元的欠条一份,载明“今欠柴x276800元,付钱时间2013年10月30日2013年2月16日,付x0”当天被告也向原告出具了一份欠条,载明“买xxxx1欠柴x276800元,此款于2014年10月25日归还买xxxx1,2013年2月16日”因原告未向第三人偿还欠款76800元,在2013年捡棉花时,第三人持原告出具的欠条向原告要钱,原告不给,双方发生纠纷,后原告报警,派出所出警后将原告地里捡拾好的棉花清点完交由被告看管,称原告和第三人的纠纷解决后再返还后,由被告看管的棉花原告已全部拿走另查明,承包该地前,原告亲自去实地察看过该土地状况,同意承包后与被告签订了土地承包合同2014年备耕浇水季节,经被告催促,原告未对承包的土地实施浇灌冬水和春水,导致该土地2014年荒芜\n问题:\n原被告何时签订承包合同？\n答案:\n}, {role: assistant, content: 2013年2月16日}]}
{messages: [{role: system, content: 你是一个熟悉中国法律的专家}, {role: user, content: 判例:\n经审理查明,因第三人丈夫去世,第三人无力耕种其丈夫承包被告的140亩土地,经原告、被告、第三人三方共同商定:解除第三人丈夫与被告签订的土地承包合同,该140亩土地由原告承包耕种,并由原告与被告签订承包合同,对于被告应当退还第三人的土地承包费126800元,由被告向第三人退还50000元,原告向第三人退还76800元,原告退还后从其向被告交纳的土地承包费中折抵2013年2月16日,在原告、被告、第三人等均在场的情况下,原告与被告签订了为期8年的土地承包合同,合同约定:被告将140亩地承包给原告,是熟地,承包期限自2013年1月1日至2020年12月31日,土地由原告在2013年免费种一年(前提是原告在2014年种完地后,用铲车将地弄平,否则2013年的承包费原告仍需支付),每亩每年承包费为500元,140亩地一年承包费是70000元,签订合同后支付承包费50000元(算2014年承包费)、交付定金50000元(折抵第8年承包费),承包费在每年的10月20日交清······合同签订后,原告向被告交纳100000元(50000元定金、50000元2014年承包费),被告将其中的50000元退还给第三人,原告向第三人出具76800元的欠条一份,载明“今欠柴x276800元,付钱时间2013年10月30日2013年2月16日,付x0”当天被告也向原告出具了一份欠条,载明“买xxxx1欠柴x276800元,此款于2014年10月25日归还买xxxx1,2013年2月16日”因原告未向第三人偿还欠款76800元,在2013年捡棉花时,第三人持原告出具的欠条向原告要钱,原告不给,双方发生纠纷,后原告报警,派出所出警后将原告地里捡拾好的棉花清点完交由被告看管,称原告和第三人的纠纷解决后再返还后,由被告看管的棉花原告已全部拿走另查明,承包该地前,原告亲自去实地察看过该土地状况,同意承包后与被告签订了土地承包合同2014年备耕浇水季节,经被告催促,原告未对承包的土地实施浇灌冬水和春水,导致该土地2014年荒芜\n问题:\n2014年土地为何荒芜？\n答案:\n}, {role: assistant, content: 原告未对承包的土地实施浇灌冬水和春水}]}
{messages: [{role: system, content: 你是一个熟悉中国法律的专家}, {role: user, content: 判例:\n经审理查明,因第三人丈夫去世,第三人无力耕种其丈夫承包被告的140亩土地,经原告、被告、第三人三方共同商定:解除第三人丈夫与被告签订的土地承包合同,该140亩土地由原告承包耕种,并由原告与被告签订承包合同,对于被告应当退还第三人的土地承包费126800元,由被告向第三人退还50000元,原告向第三人退还76800元,原告退还后从其向被告交纳的土地承包费中折抵2013年2月16日,在原告、被告、第三人等均在场的情况下,原告与被告签订了为期8年的土地承包合同,合同约定:被告将140亩地承包给原告,是熟地,承包期限自2013年1月1日至2020年12月31日,土地由原告在2013年免费种一年(前提是原告在2014年种完地后,用铲车将地弄平,否则2013年的承包费原告仍需支付),每亩每年承包费为500元,140亩地一年承包费是70000元,签订合同后支付承包费50000元(算2014年承包费)、交付定金50000元(折抵第8年承包费),承包费在每年的10月20日交清······合同签订后,原告向被告交纳100000元(50000元定金、50000元2014年承包费),被告将其中的50000元退还给第三人,原告向第三人出具76800元的欠条一份,载明“今欠柴x276800元,付钱时间2013年10月30日2013年2月16日,付x0”当天被告也向原告出具了一份欠条,载明“买xxxx1欠柴x276800元,此款于2014年10月25日归还买xxxx1,2013年2月16日”因原告未向第三人偿还欠款76800元,在2013年捡棉花时,第三人持原告出具的欠条向原告要钱,原告不给,双方发生纠纷,后原告报警,派出所出警后将原告地里捡拾好的棉花清点完交由被告看管,称原告和第三人的纠纷解决后再返还后,由被告看管的棉花原告已全部拿走另查明,承包该地前,原告亲自去实地察看过该土地状况,同意承包后与被告签订了土地承包合同2014年备耕浇水季节,经被告催促,原告未对承包的土地实施浇灌冬水和春水,导致该土地2014年荒芜\n问题:\n被告欠第三人多少土地承包费？\n答案:\n}, {role: assistant, content: 126800元}]}
{messages: [{role: system, content: 你是一个熟悉中国法律的专家}, {role: user, content: 判例:\n经审理查明：一、受贿罪2010年3月至2011年5月，被告人陈某甲在担任湖北省汉阳监狱九监区监区长期间，先后利用职务上的便利，为服刑罪犯陈某乙、张某甲、胡某甲假释、回家探亲、调换工种等事谋取利益，共计收受上述服刑罪犯及亲属给予的现金37000元，具体事实如下：（一）2010年初，汉阳监狱病犯监区罪犯陈某乙为办理假释一事找被告人陈某甲帮忙，被告人陈某甲表示同意，后罪犯陈某乙通过监狱内亲情电话联系其妹妹陈某丙办理此事，并将其妹妹的电话号码告诉了被告人陈某甲，被告人陈某甲与陈某丙联系后，陈某丙在湖北省武汉市汉阳区郭茨口一家洗脚屋内，分两次送给被告人陈某甲20000元，请被告人陈某甲帮助陈某乙办理假释。2010年7月30日，在被告人陈某甲的活动下，罪犯陈某乙被顺利假释出狱。\n问题:\n陈某甲是担任什么职务时受贿的？\n答案:\n}, {role: assistant, content: 在担任湖北省汉阳监狱九监区监区长期间}]}
{messages: [{role: system, content: 你是一个熟悉中国法律的专家}, {role: user, content: 判例:\n经审理查明：一、受贿罪2010年3月至2011年5月，被告人陈某甲在担任湖北省汉阳监狱九监区监区长期间，先后利用职务上的便利，为服刑罪犯陈某乙、张某甲、胡某甲假释、回家探亲、调换工种等事谋取利益，共计收受上述服刑罪犯及亲属给予的现金37000元，具体事实如下：（一）2010年初，汉阳监狱病犯监区罪犯陈某乙为办理假释一事找被告人陈某甲帮忙，被告人陈某甲表示同意，后罪犯陈某乙通过监狱内亲情电话联系其妹妹陈某丙办理此事，并将其妹妹的电话号码告诉了被告人陈某甲，被告人陈某甲与陈某丙联系后，陈某丙在湖北省武汉市汉阳区郭茨口一家洗脚屋内，分两次送给被告人陈某甲20000元，请被告人陈某甲帮助陈某乙办理假释。2010年7月30日，在被告人陈某甲的活动下，罪犯陈某乙被顺利假释出狱。\n问题:\n共陈某甲计收受多少钱？\n答案:\n}, {role: assistant, content: 现金37000元}]}
{messages: [{role: system, content: 你是一个熟悉中国法律的专家}, {role: user, content: 判例:\n经审理查明：一、受贿罪2010年3月至2011年5月，被告人陈某甲在担任湖北省汉阳监狱九监区监区长期间，先后利用职务上的便利，为服刑罪犯陈某乙、张某甲、胡某甲假释、回家探亲、调换工种等事谋取利益，共计收受上述服刑罪犯及亲属给予的现金37000元，具体事实如下：（一）2010年初，汉阳监狱病犯监区罪犯陈某乙为办理假释一事找被告人陈某甲帮忙，被告人陈某甲表示同意，后罪犯陈某乙通过监狱内亲情电话联系其妹妹陈某丙办理此事，并将其妹妹的电话号码告诉了被告人陈某甲，被告人陈某甲与陈某丙联系后，陈某丙在湖北省武汉市汉阳区郭茨口一家洗脚屋内，分两次送给被告人陈某甲20000元，请被告人陈某甲帮助陈某乙办理假释。2010年7月30日，在被告人陈某甲的活动下，罪犯陈某乙被顺利假释出狱。\n问题:\n被告人陈某甲收了哪些服刑罪犯的钱？\n答案:\n}, {role: assistant, content: 陈某乙、张某甲、胡某甲}]}
{messages: [{role: system, content: 你是一个熟悉中国法律的专家}, {role: user, content: 判例:\n经审理查明：一、受贿罪2010年3月至2011年5月，被告人陈某甲在担任湖北省汉阳监狱九监区监区长期间，先后利用职务上的便利，为服刑罪犯陈某乙、张某甲、胡某甲假释、回家探亲、调换工种等事谋取利益，共计收受上述服刑罪犯及亲属给予的现金37000元，具体事实如下：（一）2010年初，汉阳监狱病犯监区罪犯陈某乙为办理假释一事找被告人陈某甲帮忙，被告人陈某甲表示同意，后罪犯陈某乙通过监狱内亲情电话联系其妹妹陈某丙办理此事，并将其妹妹的电话号码告诉了被告人陈某甲，被告人陈某甲与陈某丙联系后，陈某丙在湖北省武汉市汉阳区郭茨口一家洗脚屋内，分两次送给被告人陈某甲20000元，请被告人陈某甲帮助陈某乙办理假释。2010年7月30日，在被告人陈某甲的活动下，罪犯陈某乙被顺利假释出狱。\n问题:\n被告人陈某甲收受贿赂后为服刑犯提供了什么帮助？\n答案:\n}, {role: assistant, content: 假释、回家探亲、调换工种等事谋取利益}]}
{messages: [{role: system, content: 你是一个熟悉中国法律的专家}, {role: user, content: 判例:\n经审理查明：一、受贿罪2010年3月至2011年5月，被告人陈某甲在担任湖北省汉阳监狱九监区监区长期间，先后利用职务上的便利，为服刑罪犯陈某乙、张某甲、胡某甲假释、回家探亲、调换工种等事谋取利益，共计收受上述服刑罪犯及亲属给予的现金37000元，具体事实如下：（一）2010年初，汉阳监狱病犯监区罪犯陈某乙为办理假释一事找被告人陈某甲帮忙，被告人陈某甲表示同意，后罪犯陈某乙通过监狱内亲情电话联系其妹妹陈某丙办理此事，并将其妹妹的电话号码告诉了被告人陈某甲，被告人陈某甲与陈某丙联系后，陈某丙在湖北省武汉市汉阳区郭茨口一家洗脚屋内，分两次送给被告人陈某甲20000元，请被告人陈某甲帮助陈某乙办理假释。2010年7月30日，在被告人陈某甲的活动下，罪犯陈某乙被顺利假释出狱。\n问题:\n被告人陈某甲收受贿赂的时间是？\n答案:\n}, {role: assistant, content: 2010年3月至2011年5月}]}
{messages: [{role: system, content: 你是一个熟悉中国法律的专家}, {role: user, content: 判例:\n经审理查明:原、被告于2011年8月15日在南充市顺庆区民政局协议离婚,协议婚生女青7乙由被告抚养,原告不负担一切费用离婚后,青7乙一直随被告一起生活2015年9月,被告与青7乙就教育问题产生矛盾,青7乙遂返回原告处生活至今嗣后,双方就青7乙的抚养问题未能达成协议,原告遂诉来本院另查明,青7乙生于2002年12月27日审理中,经本院询问青7乙,青7乙称经常因琐事遭被告殴打,表示愿意跟随原告生活\n问题:\n原被告何时离婚？\n答案:\n}, {role: assistant, content: 2011年8月15日}]}
{messages: [{role: system, content: 你是一个熟悉中国法律的专家}, {role: user, content: 判例:\n经审理查明:原、被告于2011年8月15日在南充市顺庆区民政局协议离婚,协议婚生女青7乙由被告抚养,原告不负担一切费用离婚后,青7乙一直随被告一起生活2015年9月,被告与青7乙就教育问题产生矛盾,青7乙遂返回原告处生活至今嗣后,双方就青7乙的抚养问题未能达成协议,原告遂诉来本院另查明,青7乙生于2002年12月27日审理中,经本院询问青7乙,青7乙称经常因琐事遭被告殴打,表示愿意跟随原告生活\n问题:\n双方协议婚生女青7乙由谁抚养？\n答案:\n}, {role: assistant, content: 被告}]}
{messages: [{role: system, content: 你是一个熟悉中国法律的专家}, {role: user, content: 判例:\n经审理查明:原、被告于2011年8月15日在南充市顺庆区民政局协议离婚,协议婚生女青7乙由被告抚养,原告不负担一切费用离婚后,青7乙一直随被告一起生活2015年9月,被告与青7乙就教育问题产生矛盾,青7乙遂返回原告处生活至今嗣后,双方就青7乙的抚养问题未能达成协议,原告遂诉来本院另查明,青7乙生于2002年12月27日审理中,经本院询问青7乙,青7乙称经常因琐事遭被告殴打,表示愿意跟随原告生活\n问题:\n双方协议原告需要承担费用吗？\n答案:\n}, {role: assistant, content: NO}]}
{messages: [{role: system, content: 你是一个熟悉中国法律的专家}, {role: user, content: 判例:\n经审理查明:原、被告于2011年8月15日在南充市顺庆区民政局协议离婚,协议婚生女青7乙由被告抚养,原告不负担一切费用离婚后,青7乙一直随被告一起生活2015年9月,被告与青7乙就教育问题产生矛盾,青7乙遂返回原告处生活至今嗣后,双方就青7乙的抚养问题未能达成协议,原告遂诉来本院另查明,青7乙生于2002年12月27日审理中,经本院询问青7乙,青7乙称经常因琐事遭被告殴打,表示愿意跟随原告生活\n问题:\n离婚后青7乙跟随谁一起生活？\n答案:\n}, {role: assistant, content: 被告}]}
{messages: [{role: system, content: 你是一个熟悉中国法律的专家}, {role: user, content: 判例:\n经审理查明:原、被告于2011年8月15日在南充市顺庆区民政局协议离婚,协议婚生女青7乙由被告抚养,原告不负担一切费用离婚后,青7乙一直随被告一起生活2015年9月,被告与青7乙就教育问题产生矛盾,青7乙遂返回原告处生活至今嗣后,双方就青7乙的抚养问题未能达成协议,原告遂诉来本院另查明,青7乙生于2002年12月27日审理中,经本院询问青7乙,青7乙称经常因琐事遭被告殴打,表示愿意跟随原告生活\n问题:\n双方因何事产生严重矛盾？\n答案:\n}, {role: assistant, content: 教育问题}]}

开始微调

OpenAI 开放的微调能力最惊艳的，是训练过程简单到令人发指。训练脚本只需调用两个 API。

先调用openai.File.create()上传训练数据。这个过程会完成数据格式校验，如果有问题上传会失败。

train_file = openai.File.create(
  file=open(train_data.jsonl, rb),
  purpose=fine-tune
)

# 等待训练数据处理完毕
while True:
  time.sleep(1)
  status = openai.File.retrieve(train_file[id])
  if status[status] == processed:
    break

再调用openai.FineTuningJob.create()开始训练。为了加强效果，我们把epoch设成了 5。

ft_obj = openai.FineTuningJob.create(
  training_file=train_file[id],
  model=gpt-3.5-turbo,
  hyperparameters=dict(n_epochs=5)
)

# 等待训练结束
while True:
  time.sleep(1)
  status = openai.FineTuningJob.retrieve(ft_obj[id])
  if status[status] not in [created, running]:
    print(status)
    break

最后输出的训练结果是：

{
    object:fine_tuning.job,
    id:ftjob-gO3X........,
    model:gpt-3.5-turbo-0613,
    created_at:1692924158,
    finished_at:1692924531,
    fine_tuned_model:ft:gpt-3.5-turbo-0613:agi-class::7r......,
    organization_id:org-fC5Q.......,
    result_files:[
        file-zz7E......
    ],
    status:succeeded,
    validation_file:file-c445.......,
    training_file:file-LCy4......,
    hyperparameters:{
        n_epochs:5
    },
    trained_tokens:67835
}

整个过程用时 6 分多钟，消耗 67835 个 token。大约花费 4 元人民币。

Chatglm2-6b 的微调过程就复杂多了，得买机器、部署环境、下载模型和代码、下载数据、调参数，然后才能训练。如果训得效果不理想，还得再调超参，再跑。

AGI 课堂一次标准实验需要在 4090 GPU 上跑 3 小时。选择 4090 是因为其超高的性价比，速度堪比 A100，但租用云 GPU 的价格只有 2.58 元/小时（AutoDL 的价格，强烈推荐）。

所以算下来，chatglm2-6b 跑一次实验要消耗约 8 元人民币。训练成本是 gpt-3.5-turbo 的 2 倍（但别忘了数据量是 1900 倍）。

那么两者效果如何呢？

效果对比

先直观感受下。

可以看出，原生 GPT-3.5 直接就能得出正确结论，但秉承了 ChatGPT 啰里八嗦的特点，是个大话痨。而微调后，明显话变少了，直接切题。这应该是训练数据对其回答风格产生的影响，模型的法律相关阅读理解能力并没有因微调而提升。

而 chatglm2 在微调后则发生了蜕变，不再胡言乱语，能正确结题，法律相关的阅读理解能力明显增强。

为了更具说服力，我们用包含 100 道题的测试集跑了一下，得到结果如下：

从测试结果看，微调后的 chatglm2 各个指标都是最好，事实上它也确实效果很不错。

但是，其实仔细看答案，从人工判断的角度，gpt-3.5-turbo 的结果并不是差，而是带了很多解释的内容，导致评测算法减分。而微调后的结果，如果按照意思相近的方式肉眼判断，上面的比例还要提高10% 左右，可能就比微调后的 chatglm2 略好了。

以上的测试方法并不是最完美的，但是可以作为一个快速对比的指标方便大家直观的得出结果。

结论

在给出最终结论之前，还要评估下模型推理的成本，也就是使用成本。

微调后的 gpt-3.5-turbo 做推理，每千 token 输入是$0.012，输出是$0.016。为了方便计算，取均价$0.014。

在 AutoDL 包月租用一张 4090 是 1440.20 元人民币。这个价格如果用到 OpenAI 做推理，能处理大约 1400 万个 token，也就是约 700 万个汉字。

所以，如果月用量少于 700 万字，就是 gpt-3.5-turbo 便宜，多于 700 万字就是 chatglm2 便宜。

总之：

对开源大模型做垂直领域的大数据量微调，能极大地提升性能OpenAI 很难大数据量微调，一是官方还没放开，二是训练成本也受不了。这就注定了微调不是为了注入新知识、新能力，而是控制输出的风格与格式。这也是官方文档里提倡的微调目标但这个目标，直接用 prompt 也能解决个七七八八，且推理成本是 1/9开源和 OpenAI 微调后的效果差异不大训练成本开源更高，主要是因为数据量更大，以及自己调参带来的反复试验成本推理成本，在需要 24×7 提供服务的前提下，如果用量不大，OpenAI 更划算；用量大，开源更划算。具体情况得根据具体需求来计算如果要考虑数据保密、服务合规等因素，开源几乎是唯一可用选择。

综合以上结论，可以得出一个总结论：

OpenAI 提供的微调，是个奢侈品，并不实用。

不差钱的话，用它微调个上限，对老板、客户能更好交代。

可能会有某些极端应用场景，必须 gpt-3.5 甚至 4 的底座能力才能满足。多数情况，还是专心开源炼丹吧。

参考

[1] https://medium.com/nlplanet/two-minutes-nlp-learn-the-rouge-metric-by-examples-f179cc285499

[2] GPT-3.5 Turbo fine-tuning and API updates

[3] https://platform.openai.com/docs/guides/fine-tuning