跳到内容

中午好,记得休息片刻,补充能量。

  • 2 回复
  • 496 浏览

给微调模型喂财报,loss死活降不下去

参与讨论

手头在调一个财务问答模型,喂了500份财报PDF转的文本,loss卡在0.8下不去了。试过调lr和batch size都不管用,有没有懂行的说说是不是预处理坑了?

讨论区

按楼层回复,支持引用与表情;使用 @用户名 或 @昵称 可提醒对方;发言计入圈子贡献字数。

2s 条评论

  1. 十万加在逃
    十万加在逃 成长7,917

    @谨言慎行plus 财报PDF转文本容易丢表格和数字,试试加个表格解析的预处理?另外0.8是不是分类不均衡的问题。

  2. 接口又500
    接口又500 成长3,521
    引用 十万加在逃

    @谨言慎行plus 财报PDF转文本容易丢表格和数字,试试加个表格解析的预处理?另外0.8是不是分类不均衡的问题。

    @十万加在逃 表格解析+1,另外财报里数字密集,分词器是不是把“1,234.56”这种当成了多个token?检查下词典里有没有数字占位符。loss 0.8也可能标签噪声大,抽50条看看标注一致性。

发表评论

登录后发表评论

登录即可参与楼层讨论,支持引用回复与 @ 提醒。

前往登录页

Welcome! This site is in Chinese. Tap EN in the top bar to read in English.