pytorch pytorch parallel training https://blog.csdn.net/qq_37541097/article/details/109736159 DP注意保存模型的时候需要用module.module DDPDDP高度封装库(注意DDP会受到显卡通信格式的影响,需要nvlink速度才能起来) https://github.com/huggingface/accelerate https://github.com/micr 2021-06-05 #Pytorch
CV tricks All tricksPython PackageAccelerate (Muti-GPUs and mixed percision)we should use accelerate config to set the number of process (2 GPUs == 2 process) 123456789101112131415161718192021222324252627282930 2021-06-04 #CV
Reading research paper Reading paperHow to know an area Compile lists of papers (Arxiv, GitHub, blog……) Skip around list for every paper plot a 0%-100% read/understood read about 10% of every paper choose 2021-05-15 #paper
domain adaptation Adversarial domain alignmentFeature-spacepaper: “Adversarial discriminative domain adaptation” CVPR2017 Pixel-spacePaper: CyCADA ICML 2018 From source to target and back: Symmetric Bi-Directional 2021-05-13 #domain adaptation
计算机视觉概览 Classification new methods: Neural Architecture Search (NASNet) Transformer (ViT) MMClassification Detection New methods: Transformer MMDetection Segmentation MMSegmentation Video MMAc 2021-04-20 #cv
玄学调参 过拟合 数据增强。常见的有平移、旋转、加噪、亮度改变、饱和度改变等,具体使用什么类型的数据增强,取决于你的数据。用的好,可以事半功倍。 BN。根据BN的论文来看,BN层是可以缓解过拟合问题的,而且还可以减小网络初始化、未归一化的影响。如果在归一化时因图像数量太大,没办法求得准确的标准差,可以尝试在网络的输入加一层BN。 正则化。在pytorch中是weight_decay这个参数,默认使用的是L2 2021-04-10 #调参
Precision and Recall 参考链接 https://www.jianshu.com/p/8b7324b0f307 正确肯定(True Positive,TP):预测为真,实际为真 正确否定(True Negative,TN):预测为假,实际为假 错误肯定(False Positive,FP):预测为真,实际为假 错误否定(False Negative,FN):预测为假,实际为真 首先前面的True和F 2021-04-07 #precision
tqdm使用多进程的神奇报错 https://discuss.pytorch.org/t/error-while-multiprocessing-in-dataloader/46845 1234I was able to fix by replacingfrom tqdm.auto import tqdmwith justfrom tqdm import tqdm 2021-04-06 #tqdm
tensorboard的pytorch使用指南 使用pytorch之后自然想到了使用tensorboard可视化一下loss和accuracy,好在现在的最新版本早就支持了tensorboard,不然就麻烦了。 参考链接 https://pytorch.org/tutorials/recipes/recipes/tensorboard_with_pytorch.html https://pytorch.org/tutorials/interme 2021-03-25 #pytorch
jupyter曲线救国下载文件夹 jupyter很神奇的不能下载文件夹,只能下载单个的文件,为了下载文件夹,只能选择曲线救国的方式。 解决方法是: 找到你想下载的文件夹 打开文件夹,新建一个ipynb 粘贴下面代码并运行 回到文件夹,刷新,看到多了个archive.tar的压缩文件,下载这个文件解压就行。 123456789101112131415161718192021222324252627import osimp 2021-03-17 #jupyter