TF分布式问题

佚名 6年前 (2019-04-23) 随笔 1297人围观抢沙发百度已收录

碰到一个没解决的问题。用tensorflow 分布式异步更新模式训练模型, 模型中带正则项, 每个batch的损失函数为
\[\lambda \|W\|_1 + \frac 1 {N_j} \sum_i^{N_j} {\rm logloss}(x_i,y_i, W) \]
发现迭代稳定后，正则项大小\(\lambda \|W\|_1\)与worker个数\(n\)成正比。相当于求解
\[ \lambda \|W\|_1 + \frac n {N_j} \sum_i^{N_j} {\rm logloss}(x_i,y_i, W) \]

原因没想清楚，留着后面思考。

SRE实战互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。