由于网络环境的复杂性和数据的海量性，多数安全产品都面临着误报率较高的问题，这些不可避免的误报不仅会消耗一定的资源和时间进行处理，还会降低安全分析人员对告警的铭感度，分散其处理真正安全威胁的精力。

背景

由于网络环境的复杂性和数据的海量性，多数安全产品都面临着误报率较高的问题，这些不可避免的误报不仅会消耗一定的资源和时间进行处理，还会降低安全分析人员对告警的铭感度，分散其处理真正安全威胁的精力

意义

本项目意在优化IDS入侵检测系统的算法，使其降低误报率，现提供如下标准化IDS日志数据，其中参有人工标注报错，通过对数据的挖掘训练找到其中最优的解决算法

数据分析

• 1. 对训练数据集各字段进行统计分析，包括字段类型、缺失值情况 对于这样的数据我们认为可能不影响训练的结果，对于这样的特征可进行忽略或写0，使用data.info()查看数据中有字符型数据和浮点型数据还有汉字，catboost可以完美预处理类似数据。

     

     ? ? ? ? ? ? ? ? ? ?

• 3.其中发现srcAddress字段的分布情况差异很大，因此断定该字段是一个特别重要的特征

  

  ? ? ? ? ? ?

!pip install catboost ##下载catboost算法模块登录后复制 ? ?

1.特征工程

对于非字符字段我们使用one-hot编码

##categorical_features_indices = np.where(X_train.dtypes != np.float)[0] #预处理登录后复制 ? ?

2.模型训练

# -*- coding: utf-8 -*-import pandas as pdimport numpy as npimport csvimport joblibfrom catboost import CatBoostClassifierfrom sklearn.model_selection import train_test_splitdef train_func(train_path):#请填写训练代码 #数据导入 data=pd.read_csv(train_path,encoding='utf-8') y_train = data.label data = data.fillna(0) X_train, X_validation, y_train, y_validation = train_test_split(data.iloc[:,:-1],data.iloc[:,-1], random_state=1234) #分割 categorical_features_indices = np.where(X_train.dtypes != np.float)[0] #预处理 #定义模型 model = CatBoostClassifier(iterations=807, depth = 6, cat_features = categorical_features_indices, loss_function = ”Logloss“, l2_leaf_reg = 4.0, learning_rate = 0.1501330270208967, border_count = 217, thread_count = 43, random_strength = 3.164261174069972) model.fit(X_train,y_train)#训练模型 #导出模型 joblib.dump(filename='my_model.kpl',value=model) joblib.dump(filename='..predict_codemy_model.kpl',value=model) passif __name__ == '__main__': train_path = '/home/aistudio/data/train.csv' train_func(train_path)登录后复制 ? ?

3. 特征重要性

通过查看特征重要性我们发现单一数据对于结果的影响?

模型验证：将训练集以0.75：0.25的比例划分为训练集和验证集，在验证集上的F1分数为：0.9925

4. 模型预测

# -*- coding: utf-8 -*-import numpy as npimport pandas as pdimport joblibdef test_func(test_path,save_path):# 请填写测试代码 test = pd.read_csv(test_path,encoding='utf-8') # 选手不得改变格式，测试代码跑不通分数以零算 test = test.fillna(0) model = joblib.load(filename=”/home/aistudio/my_model.kpl“) x=test t=model.predict(x) # #####选手填写测试集处理逻辑,在指定文件夹下生成可提交的csv文件 data_df = pd.DataFrame(t) submission = test[['eventId']] submission['label'] = data_df submission.to_csv(save_path + 'DKsec_ad_submission_1030.csv',index = False,encoding='utf-8') # demo#if __name__ == '__main__': test_path = '/home/aistudio/data/test_1.csv' sava_path = '/home/aistudio/result/' test_func(test_path,sava_path)登录后复制 ? ?