John(易筋)
损失函数的值越小越好么?
老师,我将来买了劳斯莱斯带你去兜风。如果这句话损失函数的值很小很小,有可能是做梦。
为了防止过拟合,可以正则化,踏实一点,跟方老师学完Pytorch,再考虑劳斯莱斯的事情。
作者回复:损失函数越小,模型的鲁棒性就越好。但是需要添加结构损失函数,防止过拟合。
2022-08-04
2
John(易筋)
方老师强调的要点摘录:
模型就是通过不断地减小损失函数值的方式来进行学习的。让损失函数最小化,通常就要采用梯度下降的方式,即:每一次给模型的权重进行更新的时候,都要按照梯度的反方向进行。
模型通过梯度下降的方式,在梯度方向的反方向上不断减小损失函数值,从而进行学习。
2022-08-05
John(易筋)
tf-idf的理论依据及不足
编辑
tf-idf算法是建立在这样一个假设之上的:对区别文档最有意义的词语应该是那些在文档中出现频率高,而在整个文档集合的其他文档中出现频率少的词语,所以如果特征空间坐标系取tf词频作为测度,就可以体现同类文本的特点。另外考虑到单词区别不同类别的能力,tf-idf法认为一个单词出现的文本频数越小,它区别不同类别文本的能力就越大。因此引入了逆文本频度idf的概念,以tf和idf的乘积作为特征空间坐标系的取值测度,并用它完成对权值tf的调整,调整权值的目的在于突出重要单词,抑制次要单词。但是在本质上idf是一种试图抑制雜訊的加权,并且单纯地认为文本頻率小的单词就越重要,文本頻率大的单词就越无用,显然这并不是完全正确的。idf的简单结构并不能有效地反映单词的重要程度和特征词的分布情况,使其无法很好地完成对权值调整的功能,所以tf-idf法的精度并不是很高。
此外,在tf-idf算法中并没有体现出单词的位置信息,对于Web文档而言,权重的计算方法应该体现出HTML的结构特征。特征词在不同的标记符中对文章内容的反映程度不同,其权重的计算方法也应不同。因此应该对于处于网页不同位置的特征词分别赋予不同的系数,然后乘以特征词的词频,以提高文本表示的效果。
-- 维基百科
作者回复:👍🏻👍🏻👍🏻^^
2022-08-25
3
chenyuping
老师,您好,请问padding=1和same的效果是一样的吗?
对这个我有一点疑惑,padding=1是补一圈0,然后same的时候我看的例子是在右边和下边补0。感觉两者效果不一样吧,因为padding=1的时候,算下来会比原来的长宽,各多出一个像素吧?
另外,为什么valid 和same 的时候 stride只能是1,这个没有想明白。
作者回复:你好,你的理解是对的。padding=1与same是不一样的。
stride=1的原因可以参考卷积输出尺寸的计算公式,其实是只要是奇数就行。
只不过只有等于1才有实际意义。
2022-10-10
Matthew
因为全连接层中的神经元的个数是固定的,所以说在有全连接层的网络中,输入图片是必须固定尺寸的。
老师,这句话没明白。比如文中是2个神经元,那么输入图片可以是128*128,也可以是256*256,只要在神经元里设置对应数量的参数就可以了吧?
作者回复:当用128x128进行训练时,2个神经元的输入是a个特征。
预测的时候也必须用128x128进行预测,因为128x128的输入,经过特征提取进入全连接层前的特征数是a。
如果预测时,使用的是256x256进行预测,进入全连接层前的特征数是b,这样全连接层就会报错。
如果网络的最后不采用全连接而采用全卷积的话,就不会出现这个问题。
2023-03-05
逍遥思
img_tensor, label_tensor = data_iter.next()会遇到这样一个问题:
AttributeError: '_SingleProcessDataLoaderIter' object has no attribute 'next'
改为以下可解决:
img_tensor, label_tensor = next(data_iter)
编辑回复:感谢分享
2023-07-14
Ethan New
打卡学习,跟着老师精通PyTorch
作者回复:👍🏻,加油~
2023-12-01
Geek_fc975d
人生充满选择,选择比努力重要。感谢老师,我现在越来越感悟前半句
作者回复:感谢支持^^,加油
2022-03-30
1
MINIEYE公共账号1
用心学完了,感谢老师,唯一遗憾的,老师实战项目部分(NLP)没有在GitHub上建立一个完整的实战项目,希望能结合具体的一个案例讲解,不要只讲官方例子。
作者回复:你好,感谢支持^^。
记下你的建议了: ),当有更新机会的时候我会去考虑一下。
2022-09-13
2
John(易筋)
Now this is not the end. It is not even the beginning of the end. But it is, perhaps, the end of the beginning. 谢谢方老师的pytorch课程。
作者回复:感谢支持,课后每个留言的很赞^^
2022-09-19
编辑推荐
包含这门课的学习路径
机器学习工程师
13门课程 37.6w人学习
看过的人还看了