记录

哈哈，随心记

对抗训练

"对抗训练"

基本概念攻击模式对抗学习 FGM PGD FreeAT 参考基本概念对抗训练是一种增量神经网络鲁棒性的方式，在实现的过程中，通过针对样本的扰动来使得网络进行适应变化，从而对对抗样本具有鲁棒性。对抗样本一般特征： 1 2 1.相对于原始的输入，所添加的扰动时微小的 2.可以使得模型犯错对抗训练...

Posted by zwt on August 30, 2021

评价指标

"评测"

MSE RMSE MAE MAPE SMAPE 代码参考 MSE 均方误差(Mean Square Error) \(M S E=\frac{1}{n} \sum_{i=1}^{n}\left(\hat{y}_{i}-y_{i}\right)^{2}\) 值的范围是(0, 无穷大),当预测值与真实值完全一样的时候等于0，值越大表示误差越大 RMSE 均方...

Posted by zwt on August 30, 2021

pyspark

"pyspark"

操作 udf model LogisticRegressionWithLBFGS 导出mysql submit 分桶参考操作 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 3...

Posted by zwt on August 3, 2021

als

"als"

原理实现参考原理协同过滤核心是用来处理用户的兴趣偏好的预测。spark中实现的是基于潜在因子模型的协同过滤。核心在于将用户评分或者是行为矩阵分解为用户的偏好矩阵和物品的偏好矩阵。目标函数为： \(\min _{x_{\star}, y_{\star}} \sum_{r_{u, i}} \sum_{\text {is known }}\left(r_{u i}-x_...

Posted by zwt on July 15, 2021

torch基础

"torch"

一些操作交叉熵损失函数一般实现 torch中实现参考一些操作 1 2 3 4 5 6 1.list转tensor：torch.Tensor(list) 2.tensor 转list：tensor.numpy().tolist() 3.tensor转numpy:tensor.cpu().numpy 4.# 限制0号设备的显...

Posted by zwt on July 13, 2021

pdb调试

"调试"

启动调试： 1 2 1.命令行启动，python -n pdb py文件 2.在解释器中，引入pdb，设置断点pdb.set_trace() 开始调试 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 1.where可以查看当前程序执行的具体位置 2.list可以查看断点处上下五行的代码 3.longlist输出当前函数的源码 4.unti...

Posted by zwt on July 7, 2021

搜索召回

"搜索召回"

基本概念向量召回向量生成向量检索 HNSW small world random graph NSW 图的检索图的构建 ...

Posted by zwt on July 6, 2021

scala

"scala"

提交性能调优提交 1 spark-submit --conf spark.hadoop.mapreduce.input.fileinputformat.input.dir.recursive=true --conf spark.hive.mapred.supports.subdirectories=true --master yarn --deploy-mode clien...

Posted by zwt on May 26, 2021

java

"java"

语法语法 map 1 2 3 4 5 6 7 1.初始化：var a:Map[String,Int]=Map() 2.添加元素：a+=("key"->value) 3.获取元素：a.get("key").getOrElse("default") 4.遍历：for((k, v)<- a) 5.是否包含：a.contains("") 6.a.toSeq.sortBy(_....

Posted by zwt on May 25, 2021

java

"java"

基础知识定时任务执行时间 maven 基础知识 String 1 2 3 4 5 6 7 8 9 10 11 12 13 14 转list Arrays.asList(strs.split("")) 互转char String.toCharArray()转化为char[] String.valueOf('c') 转Long Long...

Posted by zwt on May 25, 2021