职场小聪明

翟晓鹰

首页 >> 职场小聪明 >> 职场小聪明最新章节(目录)
大家在看顶不住了!前夫天天把我摁墙上亲八七暖婚之肥妻逆袭护花神医万古丹帝官术重返1999激昂年代迷雾降临,我,神明继承人厉少,你老婆又淘气了!重回六零抢个婚,闪嫁军官赢麻了蛇君大人轻点宠
职场小聪明 翟晓鹰 - 职场小聪明全文阅读 - 职场小聪明txt下载 - 职场小聪明最新章节 - 好看的都市言情小说

第606章 用故事解释softmax函数的溢出问题

上一章目录下一章阅读记录

用故事解释Softmax函数的溢出问题

故事背景:龙族宴会上的金碗

在一座神秘的龙族王国,龙族每年都会举行一次盛大的宴会,宴会上有一个传统:每条龙要把自己的财富(金币数量)放进一个金碗,然后让智慧长老计算每条龙的“财富占比”,来决定谁是这一年的财富之王。

宴会当天,四条龙分别报出了自己的金币数量:

? 火龙:100万金币

? 冰龙:200万金币

? 雷龙:300万金币

? 风龙:10亿金币

智慧长老准备使用一个古老的计算方法——Softmax规则,将这些财富转换成概率来比较。但他很快发现了一个严重的问题:

金碗炸了!

为什么?因为按照Softmax的计算方法,他需要计算每个金币数量的指数值:

但这些数值实在是太大了,远远超出了王国的计算能力,直接导致金碗崩溃(计算溢出)。

智慧长老陷入了困境,他需要找到一个方法来避免计算崩溃。于是他想到一个聪明的技巧:

“我们不直接放金币,我们可以先让大家的金币数减去最大的金币数!”

于是,他重新计算:

? 火龙的金币数变为 100万 - 10亿 = -9.99亿

? 冰龙的金币数变为 200万 - 10亿 = -9.98亿

? 雷龙的金币数变为 300万 - 10亿 = -9.97亿

? 风龙的金币数变为 10亿 - 10亿 = 0

然后,他计算:

现在,所有的指数值都变得很小,不会再溢出,金碗终于能正常计算了!

最终,风龙的财富占比几乎是 100%,其他三条龙的财富占比接近 0,宴会得出了正确的结论。

这个方法被称为 Softmax的数值稳定性技巧,即 在计算前减去最大值,防止指数运算导致溢出。

用比喻解释Softmax的溢出问题

比喻1:水池溢出

想象你有一个大水池,你往里面倒水:

? 第一桶水是 100升

? 第二桶水是 200升

? 第三桶水是 300升

? 第四桶水是 10亿升

显然,水池无法承受10亿升的水,直接溢出了!

解决方案?

? 你先抽掉10亿升的水(相当于减去最大值),这样所有的水量都变成一个较小的数字,水池就不会溢出了。

比喻2:计算机的“溢出”锅

假设你在做饭,想同时煮四个锅的水,每个锅的温度分别是:

? 100°c

? 200°c

? 300°c

? 10亿°c

你的炉子最高只能加热到 500°c,但第四个锅的温度远超这个上限,直接导致炉子爆炸(计算机溢出)!

怎么办?

你可以先把所有锅的温度减去一个基准值(比如减去10亿°c),让温度变成:

? -9.99亿°c

? -9.98亿°c

? -9.97亿°c

? 0°c

现在,最高的温度也只是 0°c,不会再超出炉子的承受范围。

总结

? Softmax的溢出问题 是因为指数运算会导致数值过大,超过计算机的上限。

? 解决方案 是在计算Softmax之前,先减去最大值,这样所有的数值都会变小,防止指数爆炸。

? 就像往水池倒水、往锅里加热,数值太大就会溢出,我们需要先做调整,确保计算不超出范围!

上一章目录下一章存书签
站内强推别怕,贫僧真不是魔头顶级Enigma的专属抑制剂一不小心赖上你貌美继室摆烂后,禁欲权臣他慌了孽徒住手,我可是你师父!肆虐韩娱我,塌房顶流!国家请我出手盗墓幕后:我创造了神秘势力太吾传人响当当离婚后她惊艳了世界先婚后爱,冰山傅总对她上瘾重生官场:我真的不想再升职了透视牛医我家的厕所通异界怪物横行:我以笑声横扫此界甜婚蜜意九零女疯批:致富从东莞打工开始蛇君大人轻点宠偷生宝宝,前妻别玩了玄幻:开局吃软饭,出世即儒圣
经典收藏这就是套路巨星豪门新欢荣誉天降萌宝:首席BOSS求抱抱鬼医毒妃又飒又凶大谋神修仙正史报恩小人鱼软又娇,秦爷为她破戒明渣好躲,暗夫难防玄学小天师被五个哥哥团宠了四合院:一个过客,总找我办啥事哥,我求你了,老实收废品行不?齐少的心肝天天闹纨绔重生记事某生物正虎视眈眈盯着我们十二生肖大战娱乐之过气歌神,演帝蛇女穿书反派:坏了,我成反派黄毛了快穿之专业打脸指南
最近更新港娱:谈钱可以,别谈感情女神给我花一块,系统返现一万倍重生八零,娇软美人把糙汉拿下了刚重生就被绿!我竟成了赘婿绝世神医:开局被未婚妻扫地出旅游直播之媳妇定制系统饥荒年:回到1961,我靠赶山为主重回80,成功从拒绝入赘开始歃血阴阳奇术天赋系统带我飞出狱即无敌,前妻跪求我复婚闭关三年,下山即无敌四合院:我当公安了,你们跑什么特种兵:悟性逆天,未婚妻叶寸心说好的美食家,你让我摆摊卖泡面?功德反馈修为?我狂捐百亿善款!娱乐圈演太监,这些武功你真会啊点亮星星的使者仕途风云:从基层开始问鼎巅峰我的寻宝江湖:魅影密码
职场小聪明 翟晓鹰 - 职场小聪明txt下载 - 职场小聪明最新章节 - 职场小聪明全文阅读 - 好看的都市言情小说