倪政齐吧 关注:5贴子:191
  • 4回复贴,共1

交叉熵缺陷及其改进

只看楼主收藏回复

背景
生产中交叉熵被广泛应用于函数分类优化问题。就是如此完美的评估方法,其实有其缺陷,首先它要假设训练数据的分布的事件概率要具备真实性,如果有错误那么导致交叉熵评估的不准确的,导致模拟两可的答案可能性比较高。其次,需要大量数据进行训练优化。亟需一种不怎么依赖训练数据概率的交叉熵计算方法。
方法
可变训练数据分布概率,就是说训练数据的标签不一定可信在大量数据统计训练后,模型本身将具备纠正训练数据能力。
1、具备错误修正的交叉熵公式
2、多训练数据进行修正
3、用修正的训练和测试数据完成最终训练


IP属地:福建1楼2020-12-09 09:20回复
    上帝告诉亚当和夏娃:“”甸园里面生命和智慧树上的果子不能吃,免得你们死”。大蛇给了他们一个错误的提示标签。亚当和夏娃进入混乱状态。这也标志着人类从上帝话语为标准交叉熵的算法进入自我意识时代。


    IP属地:福建2楼2020-12-09 10:03
    回复