i.MX RT1060利用机器学习识别异常检测

小恩GG

概述

异常检测是用于识别异常行为（与大多数数据点明显不同的数据点）。异常行为通常与某类问题，故障或异常事件（财务欺诈，传感器故障，运行状况问题，垃圾邮件检测）强相关。
在本文中将展示如何使用神经网络搜索处于固定位置的传感器中的异常移动。当然，这种方法可以应用于更复杂的问题，例如检测看不见的跌倒，机器声音异常，异常波动，或制造系统错误。在传感器数据中搜索异常行为是一种无监督学习的一类问题，面对的是无标注的数据，从中学习到数据的分布P(X)的算法。各种经典和深度机器学习算法都可以用于此问题。单类支持向量机（OC-SVM）和高斯混合模型（GMM）是常见的机器学习算法，已成功应用于异常检测问题。但是，它们在复杂的多维数据上的性能欠佳。
深度学习方法非常适合用于识别数据异常，尤其在较复杂和嘈杂的数据上显示出比SVM等常见机器学习技术更好的性能，其中自动编码器在检测异常中应用广泛。 自动编码器是学习预测其输入的前馈神经网络。 输入被简化为核心特征（编码），然后重新创建（解码），而实际输入与预测输出之间的误差称为重构误差。 自动编码器预测异常数据时会得到高于阈值的重构误差，以此来识别异常行为。

训练数据准备硬件平台：MIMXRT1060 EVK 和 FRDM-STBC-AGM01 （如图1所示）

Fig 1

软件工程：tensorflow_lite_adt (来自SDK_2.8.0_EVK-MIMXRT1060)

Note: 经测试，tensorflow_lite_adt 工程有bug，需要用以下代码替换原工程中的BOARD_InitPins(void)函数

1. void BOARD_InitPins(void) {
   
2.   CLOCK_EnableClock(kCLOCK_Iomuxc);           /* iomuxc clock (iomuxc_clk_enable): 0x03u */
   
3. 
   
4.   IOMUXC_SetPinMux(
   
5.       IOMUXC_GPIO_AD_B0_12_LPUART1_TX,        /* GPIO_AD_B0_12 is configured as LPUART1_TX */
   
6.       0U);                                    /* Software Input On Field: Input Path is determined by functionality */
   
7.   IOMUXC_SetPinMux(
   
8.       IOMUXC_GPIO_AD_B0_13_LPUART1_RX,        /* GPIO_AD_B0_13 is configured as LPUART1_RX */
   
9.       0U);                                    /* Software Input On Field: Input Path is determined by functionality */
   
10.   IOMUXC_SetPinConfig(
    
11.       IOMUXC_GPIO_AD_B0_12_LPUART1_TX,        /* GPIO_AD_B0_12 PAD functional properties : */
    
12.       0x10B0u);                               /* Slew Rate Field: Slow Slew Rate
    
13.                                                  Drive Strength Field: R0/6
    
14.                                                  Speed Field: medium(100MHz)
    
15.                                                  Open Drain Enable Field: Open Drain Disabled
    
16.                                                  Pull / Keep Enable Field: Pull/Keeper Enabled
    
17.                                                  Pull / Keep Select Field: Keeper
    
18.                                                  Pull Up / Down Config. Field: 100K Ohm Pull Down
    
19.                                                  Hyst. Enable Field: Hysteresis Disabled */
    
20.   IOMUXC_SetPinConfig(
    
21.       IOMUXC_GPIO_AD_B0_13_LPUART1_RX,        /* GPIO_AD_B0_13 PAD functional properties : */
    
22.       0x10B0u);                               /* Slew Rate Field: Slow Slew Rate
    
23.                                                  Drive Strength Field: R0/6
    
24.                                                  Speed Field: medium(100MHz)
    
25.                                                  Open Drain Enable Field: Open Drain Disabled
    
26.                                                  Pull / Keep Enable Field: Pull/Keeper Enabled
    
27.                                                  Pull / Keep Select Field: Keeper
    
28.                                                  Pull Up / Down Config. Field: 100K Ohm Pull Down
    
29.                                                  Hyst. Enable Field: Hysteresis Disabled */
    
30. 
    
31.   /* GPIO_RST pin configuration. */
    
32.   IOMUXC_SetPinMux(
    
33.       IOMUXC_GPIO_AD_B1_05_GPIO1_IO21,        /* GPIO_AD_B0_09 is configured as GPIO1_IO09 */
    
34.       0U);
    
35.   IOMUXC_SetPinConfig(
    
36.       IOMUXC_GPIO_AD_B1_05_GPIO1_IO21,        /* GPIO_AD_B0_11 PAD functional properties : */
    
37.       0x10B0u);
    
38. 
    
39.   IOMUXC_SetPinMux(
    
40.       IOMUXC_GPIO_AD_B0_09_GPIO1_IO09,        /* GPIO_AD_B0_09 is configured as GPIO1_IO09 */
    
41.       0U);
    
42.   IOMUXC_SetPinConfig(
    
43.       IOMUXC_GPIO_AD_B0_09_GPIO1_IO09,        /* GPIO_AD_B0_09 PAD functional properties : */
    
44.       0xB0A9u);                               /* Slew Rate Field: Slow Slew Rate
    
45.                                                  Drive Strength Field: R0/6
    
46.                                                  Speed Field: medium(100MHz)
    
47.                                                  Open Drain Enable Field: Open Drain Disabled
    
48.                                                  Pull / Keep Enable Field: Pull/Keeper Enabled
    
49.                                                  Pull / Keep Select Field: Keeper
    
50.                                                  Pull Up / Down Config. Field: 100K Ohm Pull Down
    
51.                                                  Hyst. Enable Field: Hysteresis Disabled */
    
52. 
    
53.   IOMUXC_SetPinMux(
    
54.       IOMUXC_GPIO_AD_B0_10_GPIO1_IO10,        /* GPIO_AD_B0_10 is configured as GPIO1_IO10 */
    
55.       0U);
    
56.   IOMUXC_SetPinConfig(
    
57.       IOMUXC_GPIO_AD_B0_10_GPIO1_IO10,        /* GPIO_AD_B0_10 PAD functional properties : */
    
58.       0xB0A9u);                               /* Slew Rate Field: Fast Slew Rate
    
59.                                                  Drive Strength Field: R0/5
    
60.                                                  Speed Field: medium(100MHz)
    
61.                                                  Open Drain Enable Field: Open Drain Disabled
    
62.                                                  Pull / Keep Enable Field: Pull/Keeper Enabled
    
63.                                                  Pull / Keep Select Field: Pull
    
64.                                                  Pull Up / Down Config. Field: 100K Ohm Pull Up
    
65.                                                  Hyst. Enable Field: Hysteresis Disabled */
    
66. 
    
67.   IOMUXC_SetPinMux(
    
68.       IOMUXC_GPIO_AD_B0_11_GPIO1_IO11,        /* GPIO_AD_B0_11 is configured as GPIO1_IO11 */
    
69.       0U);
    
70.   IOMUXC_SetPinConfig(
    
71.       IOMUXC_GPIO_AD_B0_11_GPIO1_IO11,        /* GPIO_AD_B0_11 PAD functional properties : */
    
72.       0x10B0u);                               /* Slew Rate Field: Slow Slew Rate
    
73.                                                  Drive Strength Field: R0/6
    
74.                                                  Speed Field: medium(100MHz)
    
75.                                                  Open Drain Enable Field: Open Drain Disabled
    
76.                                                  Pull / Keep Enable Field: Pull/Keeper Enabled
    
77.                                                  Pull / Keep Select Field: Keeper
    
78.                                                  Pull Up / Down Config. Field: 100K Ohm Pull Down
    
79.                                                  Hyst. Enable Field: Hysteresis Disabled */
    
80. 
    
81.   IOMUXC_SetPinMux(
    
82.       IOMUXC_GPIO_SD_B0_01_GPIO3_IO13,        /* GPIO_SD_B0_01 is configured as GPIO3_IO13 */
    
83.       0U);
    
84. 
    
85. }

复制代码

在 FRDM-STBC-AGM01 里有陀螺仪（FXAS21002），加速度器和磁感器（FXOS8700CQ）传感器芯片，而我们需要利用它们获得3轴加速度计和陀螺仪读数，并将连续多次的读取值经预处理后，展平为2D向量（如图2所示）输入到模型中，在本应用中，将连续5组的3轴加速度计和陀螺仪读数的差值展平为[1,30]的向量作为神经网路的输入。

Fig 2

打开tensorflow_lite_adt 工程，在adt.cpp文件中，修改宏定义DATA_COLLECT如下，随后烧录工程代码并运行，打开串口终端即能接收3轴加速度计和陀螺仪的读数，还有修改用宏定义SAMPLE_NUM可以用来决定要收集的传感器读数的个数，本次实验我们选择默认值：1000。
#define DATA_COLLECT true //false

数据预处理

原始数据通常在被送到模型之前要进行预处理（如数据过滤，数据统计或进行傅立叶变换等）。为了确保模型检测异常移动性能不受传感器具体位置的干扰（如加速度计受重力影响），保存好串口终端接收到的SAMPLE_NUM组3轴加速度计和陀螺仪的读数后，计算两个连续读数之间的差，并将加速度传感器数据除以10以保持和陀螺仪数据在同一数量级上，具体代码如下：

1. ## Preprocess data
   
2. def preprocess_data(data):
   
3.     #data = (FLAGS.scale_range/3*(data - data.mean())/data.std()).clip(-1,1)
   
4.     data = data.diff()[5:]
   
5.     data[['ax','ay','az']] /= 10
   
6.     #data = (data + 1)/2
   
7.     return data
   
8. 
   
9. 
   
10. chanels = ['wx', 'wy', 'wz', 'ax', 'ay', 'az']
    
11. patch_size = 5
    
12. 
    
13. # load input data
    
14. data = pd.read_csv('new_input_data.txt', delimiter = ',', dtype = np.int, header=None,names=chanels)
    
15. data = preprocess_data(data)
    
16. 
    
17. # prepare patches   
    
18. samples_nb = int(np.floor(data.shape[0] / float(patch_size))) * patch_size
    
19. patch = np.reshape(data[chanels][:samples_nb].values, (-1,len(chanels)*patch_size))
    
20. 
    
21. # split into train and test set
    
22. train_set, test_set = train_test_split(patch, test_size=0.1, random_state=42)
    
23. # split into train and valiation set
    
24. train_set, valiation_set = train_test_split(train_set, test_size=0.2, random_state=42)
    
25. 
    
26. x_train, x_validate, x_test = train_set.astype(np.float32), valiation_set.astype(np.float32), test_set.astype(np.float32)
    
27. }

复制代码

模型创建

使用tensorflow 创建自动编码器模型，模型由Encoder 网络(编码器)和Decoder 网络(解码器)两部分组成，且都由全连接层网络搭建，其中Encoder 网络(编码器)有两层全连接层网络，而Decoder 网络(解码器)则有三层，当然，小伙伴可以在小编的代码基础上自定义层数，神经网络节点数，激活函数，优化器等，模型创建代码如下：

1. # create autoencoder model
   
2. lr = 1e-3  
   
3. encoding_dim = 30
   
4. 
   
5. tf.keras.backend.clear_session()
   
6. 
   
7. class Autoencoder(keras.Model):
   
8. 
   
9.     def __init__(self):
   
10.         super(Autoencoder, self).__init__()
    
11. 
    
12.         # Encoders
    
13.         self.encoder = Sequential([
    
14.             layers.Dense(15, activation=tf.nn.relu),
    
15.             layers.Dense(4, activation=tf.nn.relu),
    
16.         ])
    
17. 
    
18.         # Decoders
    
19.         self.decoder = Sequential([
    
20.             layers.Dense(4, activation=tf.nn.relu),
    
21.             layers.Dense(16, activation=tf.nn.relu),
    
22.             layers.Dense(encoding_dim, activation=tf.nn.relu),
    
23.         ])
    
24. 
    
25. 
    
26.     def call(self, inputs, training=None):
    
27.         # [b, 30] => [b, 4]
    
28.         h = self.encoder(inputs)
    
29.         # [b, 4] => [b, 30]
    
30.         x_hat = self.decoder(h)
    
31.         return x_hat
    
32. 
    
33. model = Autoencoder()
    
34. model.build(input_shape=(None, encoding_dim))
    
35. 
    
36. optimizer = tf.optimizers.Adam(lr=lr)
    
37. 
    
38. model.compile(optimizer=optimizer,
    
39.               loss='mean_squared_error',
    
40.               metrics=['accuracy'])
    
41. 
    
42. model.summary()

复制代码

模型训练

数据和模型都准备完毕后，就可以训练了，小伙伴也可以自定义nb_epoch，batch_num值来设置训练过程。
模型训练代码如下：

1. # set training parameters
   
2. nb_epoch = 1000
   
3. batch_num = 20
   
4. 
   
5. history = model.fit(x_train,x_train,
   
6.                     epochs=nb_epoch,
   
7.                     batch_size=batch_num,
   
8.                     shuffle=True,
   
9.                     validation_data=(x_validate,x_validate),
   
10.                     verbose=1)

复制代码

模型评估

模型训练完成，我们需要验证其在test数据集的性能表现来依此评估重构误差的范围，并绘出线型图来直观的展示重构误差。

1. import matplotlib.pyplot as plt
   
2. 
   
3. # evaluate
   
4. predictions = model.predict(x_test)
   
5. 
   
6. error = np.mean(np.square(predictions - x_test), 1)
   
7. # Threshold
   
8. threshold = 3 * np.mean(error)
   
9. 
   
10.             
    
11. x = np.arange(predictions.shape[0])
    
12. x_dense = np.arange(0,predictions.shape[0],0.02)
    
13. y = np.interp(x_dense, x, error)
    
14. y_a = np.ma.masked_less(y, threshold)
    
15. 
    
16. 
    
17. fig, ax = plt.subplots(figsize=(10,10))
    
18. ax.plot(x_dense, y, linestyle='-',color='g')
    
19. ax.plot(x_dense, y_a, linestyle='--',color='r')
    
20. ax.set_xticks(np.arange(0,100,10))
    
21. ax.grid(which='major', axis='x', linestyle='--')
    
22. ax.set_title('Vizualize the Vibration amplitude ',fontsize=18)

复制代码

Fig 3

从图中可以看出，重构误差最大值处在在3.0附近上下，所以我们设置的重构误差阈值threshold ：4.7008是可行的。

模型部署

在模型训练完成后，将模型保存为tflite文件，接着用xxd命令将tflite文件转化为C文件（指令如下），最后打开C文件，用其内容替换原先tensorflow_lite_adt工程中的adt_model.h内容即可。

1. # Save the file as a C source file
   
2. xxd -i model_integer_only_quantization.tflite > model_quantized.cc

复制代码

Note: 上述的数据预处理，模型创建和评估代码参考位于~\SDK_2.8.0_EVK-MIMXRT1060\middleware\eiq\tensorflow-lite\examples\adt\adt_train\adt_train.py文件

测试

模型部署完成后，修改宏定义DATA_COLLEC
#define DATA_COLLECT false
进行测试，可以看到在板子在移动时，会导致重构误差暴增而超过阈值，而在板子重新停止移动后，重构误差很快会重新降到阈值之下。

Fig 4

参考 ：Anomaly Detection i.MX RT application using TensorFlow Lite

阅读全文

乐天乐

这个用的是什么语言开发？

sumoon_yao

乐天乐 发表于 2020-11-5 18:36
这个用的是什么语言开发？

python语言

eefocus_3904025

您好，最后的参考链接失效了，请问有新的链接么