记录

哈哈，随心记

numpy

"numpy"

array array array合并： 1 2 3 4 A = np.array([1,1,1]) B = np.array([2,2,2]) np.vstack((A,B)) # 上下合并 np.hstack((A,B)) # 水平合并空数组 1

Posted by zwt on August 16, 2022

lightgbm

"lightgbm"

配置使用配置 1 2 config('spark.jars.packages', "com.microsoft.ml.spark:mmlspark_2.11:0.18.1") .config('spark.jars', "./notebook/jar/lightgbmlib-2.2.350.jar") 使用 1 2 3 4 5 6 7 8 9 10 11 12 13 14 ...

Posted by zwt on August 15, 2022

类别不均衡

"trick"

带来的问题解决方式模型层面类别加权 Focal loss GHM loss 数据层面欠采样过采样其他参考带...

Posted by zwt on July 28, 2022

ner

"实体抽取"

基础概念 bert+crf的不足嵌套Nested 不连续序列标注范式 MRC范式指针范式多头标注典型模型总结参考基础概念 bert+crf的不足复杂场景：flat、nested ner以及不连续ner等复杂场景的出现线上推断效率：crf的解码速...

Posted by zwt on July 10, 2022

优化方法

"优化方法"

优化方法框架优化方法 GD mini-batch GD Momentum Nesterov Adagrad RMSprop Adadelta Adam Adammax Nadam RAdam lookhead rang...

Posted by zwt on January 28, 2022

实时数据测试

"实时数据测试"

nc nc 1 2 3 1.下载软件：https://eternallybored.org/misc/netcat/ 2.解压将其中的nv.exe复制到当前用户目录下 3.在cmd界面nc -L -p 端口号进行测试

Posted by zwt on January 28, 2022

深度学习部署

"onnx"

模型导出预测代码示例模型导出 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 #构建模型 import torch class Dense(torch.nn.Module): def __init__(self): sup...

Posted by zwt on November 17, 2021

bandit

"bandit"

概述探索和利用 bandit与推荐系统累计遗憾 Bandit Epsilon-Greedy Thompson sampling Beta分布 UCB LinUCB ...

Posted by zwt on September 7, 2021

搜索排序

"搜索排序"

分类参考分类 pointWise 1 对排序列表中的每一项直接学习一个分值，然后按照相应的分值进行排序。常见的模型有LR、FM、XGB、GBDT。 pairWise 1 列表中两两学习先后关系，常见模型有GBRank、RankNet、LambdaMart、RankSVM。LambdaMart是Lambda和MART（Multiple Additive Regression...

Posted by zwt on September 7, 2021

工厂模式

"共产模式"

概念一般实现 SpringBoot工厂模式参考概念定义一个创建对象的接口，让其子类自己决定实例化哪一个工厂类，工厂模式使其创建过程延迟到子类中。一般实现实现步骤 1 2 3 1.创建一个接口 2.实现接口的实体类 3.创建一个工厂，生成基于给定信息的实体类的对象创建接口 1 2 3 public interface Fruit { vo...

Posted by zwt on September 2, 2021