組み込みソフトのテスト自動化

組み込みソフトのテスト自動化|結合テスト以降を実機I/Oで自動化する方法

実機I/O・タイミング・異常系を信号レベルで自動化する

組み込みソフトのテスト自動化が止まるのは、実機のI/O・タイミング・異常系が絡む結合テスト以降です。PC上のテストフレームワークでは届かないこの領域を、信号レベルで自動化する方法を整理しました。

こんな方に向けたページです

  • 単体テストはフレームワークで自動化したものの、結合テスト以降は人が実機を操作している
  • 改版のたびの回帰テストが人手では回りきらず、デグレ確認が一部だけになっている
  • テストの入力に実機のボタン・センサ・通信相手が必要で、自動化の手段が見つからない
  • pytestや自作治具で実機テストを組んだが、メンテナンスが特定の担当者に依存している
  • 異常系・組み合わせテストを時間の都合で省いたままリリースしている

組み込みのテスト自動化が「結合テストから先」で止まる3つの理由

Web・PCアプリの自動化ツールの文脈では語られない、組み込み固有の壁です。

入力が実機の外にある

ボタン、センサ、通信相手、電源ON/OFF。テストの入力が物理的な信号のため、ソフトウェアのモックでは代替できません。結果として、人が実機を触り続けることになります。

判定がタイミングと波形で決まる

このパルスから何ms以内に応答するか、このシーケンスで出力が切り替わるか。合否がログの文字列ではなく波形の形とタイミングで決まるため、通常のassertでは書けません。

異常系を作る手段がない

ノイズ、通信データの化け、断線、活線挿抜。異常系のテスト入力を作る設備がなく、網羅すべき組み合わせを時間切れで省略したままリリースしている現場もあります。

結合テスト以降の自動化を始める3ステップ

いま人が実機でやっている手動テストの項目を、そのまま起点にできます。

STEP①
01

手動テスト項目から入出力を抜き出す

与える入力(ボタン・センサ・通信)と、確認する出力(LED・波形・応答)を信号の種類で書き出します。

STEP②
02

テンプレートから作成して1項目だけ動かす

コマンドレスポンス、ハンドシェイク、応答時間測定、状態遷移などのテンプレートから近いものを選び、1項目だけ自動化して合否が出ることを確認します。

STEP③
03

回帰テストに束ねてスケジュール実行

項目を増やしてテストプロジェクトにまとめ、スケジュール実行に登録します。改版のたびに同じテストが無人で回り、テストレポートで結果を確認できます。

テスト自動化の手段を比べる|どこまで自動化できるか

観点 組み込み機器テスト支援システム
(TC-3000シリーズ)
単体テストフレームワーク 自作治具+スクリプト
単体(関数・モジュール)テスト ○ 基板・モジュール単位の機能単体テストを入出力から確認。関数単位は、テスト用コマンドをUARTなどで呼び出す形で実施できる ○ コードレベルで関数・モジュールを検証。ハードに依存する部分はモック・スタブに置き換えて確認する △ 作り込みが必要
実機I/Oを伴う結合テスト ◎ 信号の生成・測定・判定を標準機能で実行 × PC上で完結し実機I/Oに届かない ○ 作り込み次第で対応可
タイミング・波形の判定 ○ 応答時間測定・PWM/PFM計測のテンプレート × 波形とタイミングを扱えない △ 測定器との連携を別途作り込む
異常系 ◎ ノイズエミュレーション機能を標準搭載 △ ソフト上の異常値は注入できる。信号レベルの異常は作れない △ 専用機材が別途必要
通信相手の模擬 ◎ I2C/SPI/UART/Modbusのデバイスエミュレート △ モックでソフトウェア内のみ ○ 作り込み次第で対応可
回帰テストの無人実行 ◎ スケジュール実行・結果通知・テストレポート ◎ CIサーバー上で実行 △ 実行中の監視に人員が必要
属人化のしにくさ ○ GUIとテンプレートでチーム共有しやすい ○ コードとして共有できる △ 作成した担当者に依存しやすい
立ち上げまでの期間 ○ テンプレートを編集して始められる ○ PC上で始められる。ハードに依存する部分はモック・スタブの作成が必要 △ 数週間〜の作り込みが必要

単体テストフレームワークとは置き換えではなく役割分担

Unity/CppUTest/GoogleTestなどはコードの単位を関数レベルで検証する道具です。TC-3000シリーズは実機の外側から信号を与えて応答を検証するブラックボックステストの道具で、結合テスト・システムテスト・回帰テストの自動化を担当します。単体テストはフレームワークで、実機I/Oを伴うテストはTC-3000シリーズで、という分担になります。

結合テスト以降の自動化を担う商品

テスト入力の生成、波形・応答の判定、無人実行とレポート化を1台で行う組み込み機器テスト支援システムです。

組み込み機器テスト支援システム(本体+インターフェースユニット)

組み込み機器テスト支援システム

TC-3000シリーズ

本体TC-3000に、デジタルIO・リレーIO・アナログIO・LAN・RS-485/422・RS-232Cのインターフェースユニットを組み合わせて使います。テストケースはスクリプト(TC Lua)/ブロック/波形チャート/通信テーブルの4方式で作成でき、ブロック・波形チャート・通信テーブルはプログラミング不要です。標準テンプレートや、実機の動作を記録したレコードデータからの編集でも作成でき、スクリプトを書かないメンバーでも同じテストを実行・修正しやすい設計です。

TC-3000シリーズの詳細資料を入手する

テストケースの作成方法、インターフェースユニットの仕様、標準テンプレートの内容をまとめた資料を無料でダウンロードできます。

結合テスト以降を自動化するTC-3000シリーズの機能

テスト入力の自動生成、波形と応答の自動判定、無人実行。この3点が揃って、人が実機を触らないテストになります。

波形生成機能

ボタン操作・センサ値・通信コマンドなどのテスト入力を、波形やパターンとして自動生成します。人の操作では難しいタイミングや、ランダム性を含む操作も再現できます。

波形測定・判定機能

オシロスコープやロジックアナライザのように処理時間の測定やシーケンスの確認ができ、波形測定と合否判定を自動化します。タイミング仕様の確定や、NG時の波形取得に活用できます。

テスト自動実行機能

作成済みのテストケースを自動実行します。予約設定で任意のタイミングに実行でき、担当者が不在の夜間・休日でも回帰テストや耐久試験を回せます。

テストケース作成機能

スクリプト(TC Lua)/ブロック/波形チャート/通信テーブルの4方式。得意な方法を選び、標準テンプレートやレコードデータから編集ベースで作成できます。

テスト自動化に困っていたお客様の事例

お客様の困りごとから生まれた工数削減事例のうち、本ページのテーマに関係するものを抜粋しました。削減効果は仮の計算条件による計算例であり、効果を保証するものではありません。

回帰テストが定期的に回せない

改版のたびに必要な回帰テストが人手では回りきらず、デグレ確認が一部だけになっていた事例です。テスト資産をスケジュール実行に登録し、夜間・休日に同じ回帰テストが自動で回る運用に変えました(削減効果の計算例:150時間/年、仮の計算条件による)。

ボタン押し・目視判定の手動テスト

ボタンの連打、可変抵抗での温度模擬、LEDの目視判定など、テストが人手頼みで担当者が1日拘束されていた事例です。入力は波形・パターンで自動生成し、判定も自動化して、人は結果確認に専念できるようにしました(削減効果の計算例:96時間/年、仮の計算条件による)。

時間がなくテストを省いてリリースしている

限られた時間でできる範囲だけをテストし、本来やるべき異常系や組み合わせを省いて出荷していた事例です。入力パターンを自動生成し、省略していた組み合わせ・異常系まで夜間に自動で網羅する運用にしました(削減効果の計算例:50時間/リリース、仮の計算条件による)。

テスト自動化に関わる主要スペック

本体TC-3000(専用I/Fスロット×4)にインターフェースユニットを組み合わせます。5個以上必要な場合は拡張ボックスTC-BOX(スロット×4)を追加します。

区分 型式 主な仕様
テストコントローラ(本体) TC-3000 11.6型Full-HD(1920×1080)タッチパネル一体型、約2.4kg、専用I/Fスロット×4、HDMI出力(最大3840×2160)、USB Type-A×4、Ethernet 1000BASE-T×1
拡張ボックス(スロット増設) TC-BOX 専用I/Fスロット×4。インターフェースユニットが5個以上必要なときに追加
デジタルIOユニット(GPIO・UART・I2C・SPI) TC-IFDIO デジタル入出力16ch(In/Out切替)、動作電圧DC5V/3.3V/1.8V、入力サンプリング・出力更新周期 最短1µs、波形生成GPIO/PWM/PFM、UART×4ch(300〜921,600bps)、I2C×6ch(100kHz/400kHz/1MHz、マスタ/スレーブ/モニタ)、SPI×4ch(100kHz〜10MHz、マスタ/スレーブ/モニタ)、異常模擬:デジタルノイズ・伝送路ノイズ・活線挿抜
リレーIOユニット(絶縁・DC24V) TC-IFRIO 絶縁デジタル入力16ch/出力16ch、外部電源DC24V/DC5V切替、PNP/NPN出力切替、定格電流0.1A/ch、入力サンプリング・出力更新周期 最短100µs、波形生成GPIO/PWM/PFM、異常模擬:デジタルノイズ・活線挿抜
アナログIOユニット(電圧・電流) TC-IFAIO アナログ入力4ch/出力4ch(電圧専用3+電圧/電流切替1)、電圧レンジ±10V/0-10V/±5V/0-5V、分解能0.5mV(±10V/0-10V)・0.25mV(±5V/0-5V)、電流0-20mA/4-20mA・分解能1µA、入力サンプリング・出力更新周期 最短1µs(電流時は50µs以上)、波形生成:正弦波・台形波・三角波・任意波形、異常模擬:アナログノイズ・活線挿抜
LAN通信ユニット(Ethernet) TC-IFLAN Ethernet×2ch(100BASE-TX/10BASE-T、TCP/IP)、通常/モニタ接続、最大使用可能数1
RS-485/422通信ユニット(産業用シリアル) TC-IFDIF RS-485(2線式)/RS-422(4線式)×2ch、絶縁あり、300〜921,600bps、終端抵抗120Ω ON/OFF切替、通常/モニタ接続、異常模擬:伝送路ノイズ・活線挿抜
RS-232C通信ユニット(シリアル) TC-IFCOM RS-232C×4ch、300〜921,600bps、通常/モニタ接続、異常模擬:伝送路ノイズ・活線挿抜
PC側ソフトウェア(テストケース作成・実行) TC-H1 Windows 11 Pro/Enterprise/Home、メモリ16GB以上、1920×1080以上。テストケース作成(スクリプト/ブロック/波形チャート/通信テーブル)、レコードベース作成、トライアル実行・スケジュール実行、テスト実行モニタ・記録、テストレポート作成・結果通知

組み込みソフトのテスト自動化に関するよくあるご質問

単体テストフレームワーク(Unity/CppUTest/GoogleTest)は不要になりますか?
不要にはなりません。単体テストフレームワークは関数・モジュールの単位をコードレベルで検証する道具で、TC-3000シリーズは実機の外側から信号を与えて応答を検証する道具です。単体テストはフレームワークで、実機I/Oを伴う結合テスト・システムテスト・回帰テストはTC-3000シリーズで、という役割分担になります。
どんなテストテンプレートがありますか?
汎用IO通信テスト(入力競合、入力タイミングスイープ、コマンドレスポンス、レジスタアクセス、ハンドシェイク)、計測テスト(電圧・電流測定、応答時間測定、PWM/PFM計測、パルスカウント)、制御テスト(キースキャン、ダイナミック点灯、2相エンコーダ出力)、異常系テスト(ノイズ印加・重畳、ランダム入力、モンキーテスト、活線挿抜)、デバイスエミュレート(I2C/SPIスレーブ、UARTデバイス)、通信プロトコル(Modbus RTU/TCPのマスター・スレーブ)、状態遷移、Pythonスクリプト連携です。
CI(Jenkinsなど)と連携できますか?
TC-3000シリーズ自体はスケジュール実行で夜間・休日の無人実行ができ、テスト結果の通知・レポートで確認できます。PC上の外部プログラムとの連携は、テストケースからWindowsプログラムを起動して標準入出力で連携するプロセス実行機能があり、Pythonスクリプト連携のテンプレートが実例です。CIサーバーとの連携方法は構成によって異なるため、個別にご相談ください。
テスト結果はどのように残りますか?
テスト実行記録(実行日時・結果・NG項目)が自動で蓄積され、テストレポートとして出力できます。NG発生時は前後の波形・通信ログが保存され、テスト記録・再現機能で実行状況をドライブレコーダーのように再生できます。結果通知にも対応します。
既存の手動テスト手順やExcelのテスト仕様書は活かせますか?
活かせます。通信手順は通信テーブルに並べるだけでテストケースになります。実機で正しく動いている動作は、レコード機能で記録してテストケースの元にできます。テンプレートの設定変数に期待値を入れる形であれば、Excelの仕様値をそのまま転記できます。
複数機種・複数プロジェクトでテスト資産を共有できますか?
できます。テストプロジェクト管理機能で機種ごとにプロジェクトを切り替え、テスト資産を流用できます。ブロック・波形チャート・通信テーブルとテンプレートで作成するため、スクリプトが書けないメンバーでも同じテストを実行・修正しやすい設計です。

用語の整理

本ページで使っているTC-3000シリーズ固有の用語です。

TC Suite(TC-H1)
TC-3000シリーズのPC側ソフトウェアです。テストケースの作成(スクリプト/ブロック/波形チャート/通信テーブル)、レコードベース作成、スケジュール実行、テスト実行モニタ・記録、テストレポート作成・結果通知を担います。
テストテンプレート
TC Suiteの「テンプレートから作成」で選べる定型テストです。(レコード/汎用IO通信/計測/制御/異常系/デバイスエミュレート/通信プロトコル/状態遷移/Pythonスクリプト連携)を標準搭載しています。
TC Lua
TC-3000シリーズのテストスクリプトに使う独自のLua(Lua 5.5.0ベース、並列実行対応)です。ユニットIO関数・判定関数・チャート関数・プロセス実行関数を備えます。

いまの手動テスト項目を、どこまで自動化できるか

手動テストの項目一覧(入力・確認項目)をお見せいただければ、どの項目がどのテンプレートで自動化できるかを整理してご提案します。実機デモ、資料送付も承ります。