基于 Oracle 的系统识别方法来进行 Control-CPS 软件缺陷定位

摘要

因为 CPS 系统错误可能导致重大故障，甚至造成人身伤亡，因此 Control-CPS 软件故障定位至关重要。为了定位控件 CPS 中的错误，缺陷工具通常需要许多标记（“正确” /“错误”）的源代码执行跟踪作为输入。要判断这些跟踪的正确性，我们必须判断相应的 Control-CPS 物理跟踪的正确性。但是，与离散输出不同，正确与错误的物理跟踪之间的界限通常很模糊。因此，判断物理跟踪正确性的机制（即 Oracle）成为一项重大挑战。到目前为止，人工预测仍被广泛使用，其质量在很大程度上取决于人类专家的专业知识和可用性。本文提出了一种基于广泛采用的自回归系统识别（AR-SI）的 Oracle 方法。由于在控制黑箱物理系统方面取得了成功，我们对 AR-SI 进行了改编，以将越野车控件 CPS 识别为黑箱。我们以此识别结果作为预言，以判断 Control-CPS 的行为，并提出一种方法来为 Control-CPS 调试准备跟踪。对注入了实际和人工设置错误的经典控制 CPS 的综合评估表明，我们提出的方法在缺陷定位准确性（召回率）和潜伏期以及 oracle 假阳性/假阴性的概率方面明显优于人工 oracle 方法。我们的方法还有助于发现消费级控件 CPS 中的真实存在的错误。

研究介绍

由于计算机和物理系统的必然融合，控制网络物理系统（CPS）（又称控制 CPS）越来越流行。典型的控制 CPS 包括航空电子设备，车辆，机器人等。许多控制 CPS 是安全攸关的，因此故障可能导致重大事故，甚至造成人身伤亡。当今如何帮助消除这些网络子系统中的软件故障正成为一个更大的挑战，这也是本文的重点。消除错误（也称为“调试”）的关键步骤是在源代码中找到错误，也就是软件缺陷定位（SFL）。随着软件复杂性的提高，手动 SFL 不再足够。近年来开发了许多自动 SFL 工具。根据程序范围，统计信息，机器学习，数据挖掘，程序切片，程序状态，模型等，可以将相应的工具分为 8 个系列。 尤其是随着大数据技术的兴起，许多现代主流 SFL 工具以及所调查的所有工具中有 38％以上需要大量标记（如“ 正确”或“不正确”）源代码执行跟踪（也称为“代码跟踪”）。 手动标记这么多的代码跟踪不再可行。 这导致迫切需要自动判断机制（即 oracle）来进行标记。然而，如何设计一个 oracle 和相应的代码跟踪准备方法是一个众所周知的难题：即所谓的 oracle 问题。

图 1：Control-CPS oracle 问题很难解决，例如 在自动驾驶仪中，如何分辨出正确的物理轨迹？、

本文主要贡献：

1）我们为控制 CPS 软件缺陷定位提出了一个基于 AR-SI 的 Oracle。

2）我们提出了一种相应的代码跟踪准备方法，该方法可以确定性地自动运行。

3）我们将我们提出的方法与人工 Oracle 方法的主流实践进行比较。对注入了实际和人工设置错误的经典控制 CPS 的综合评估表明，我们提出的方法在缺陷定位准确性（召回率）和潜伏期以及 oracle 假阳性/假阴性的概率方面明显优于人工 oracle 方法。我们的方法还有助于发现消费级控件 CPS 中的真实存在的错误。

系统架构和假定：

图 2：一个典型的 Control-CPS 架构

在本文中，我们仅关注符合以下假设的控制 CPS：

1. Y（t）是连续且可微的，频率分量上限
2. Δ<=

方法：

由此数学基础得到两点启发，最终提出代码跟踪准备方法，我们提出的方法主要服务于软件缺陷定位工具的三个主流系列：程序频谱，统计数据和机器学习。然后对提出的方法进行评估，该评估回答了以下研究问题：1.我们提出的方法如何对软件缺陷定位的质量做出影响的。2.我们提出的方法如何影响原始 Oracle 质量的。我们将在 ArduPilot 和 IP+CV 控制 CPS 测试台上进行评估，这些测试台上有来自真实或人工注入的各种错误，以回答上述研究问题。

经过评估后对研究问题的回答：

Q1：与人工 Oracle 方法相比，我们提出的方法显着提高了 TA 和 CR 软件缺陷定位的质量（在准确性（召回率）和延迟方面），改善幅度为中到大。

Q2：与人工 Oracle 相比，我们提出的方法显着提高了 Oracle 的原始质量（就假阳性/阴性率而言），改善幅度很大。

除了对注入的错误进行评估之外，我们还应用我们的方法来发现新的实际错误。

总结

在本文中，我们提出了基于 AR-SI 的 oracle 和用于控制 CPS 软件缺陷定位（SFL）的相应代码跟踪方法。 我们提出的方法是确定的，并可以自动运行。 我们评估了经典的控制 CPS 测试平台，该测试平台带有注入的真实和人工添加错误。 评估结果表明，我们提出的方法明显优于人工 Oracle 方法，在软件缺陷定位准确性（召回率）和等待时间以及 Oralce 错误率/阴性率方面实现了中到大型的提高。 使用我们的方法，我们还可以在消费者级控件 CPS 中发现了一个新的错误。

致谢

本文由南京大学软件学院 2020 级硕士郭安翻译转述。