マシンビジョンについて知っておくべきこと

マシンビジョンは急速に発展している人工知能の分野です。簡単に言えば、マシンビジョンとは、測定と判断のために人間の目の代わりに機械を使用することです。マシンビジョンシステムは、マシンビジョン製品（CMOSとCCDに分けられる画像キャプチャデバイス）を使用して、キャプチャされた対象を画像信号に変換し、専用の画像処理システムに送信して、キャプチャされた対象の形態情報を取得し、ピクセル分布、明るさ、色などの情報に基づいてデジタル信号に変換します。画像システムは、これらの信号に対してさまざまな操作を実行して対象の特徴を抽出し、判断結果に基づいて現場の機器の動作を制御します。

開発する

現在、中国はマシンビジョンの開発において世界で最も活発な地域の一つとなりつつあり、その応用分野は産業、農業、医療、軍事、航空宇宙、気象学、天文学、公共の安全、輸送、セキュリティ、科学研究など、国民経済のあらゆる分野に及んでいます。その重要な理由は、中国が世界の製造業の加工センターになったことです。需要の高い部品加工とそれに伴う先進的な生産ラインにより、多くの国際的に先進的なマシンビジョンシステムとアプリケーション経験が中国に導入されました。

中国のマシンビジョン市場は長い休眠期間を経て、2010 年に爆発的な成長を遂げました。データによると、その年、中国のマシンビジョン市場規模は8.3億元に達し、前年比48.2％増加しました。そのうち、スマートカメラ、ソフトウェア、光源、ボードの成長率はいずれも50％に達し、産業用カメラとレンズも40％以上の増加を維持し、いずれも2007年以来の最高水準でした。

仕組み

マシンビジョン検査システムは、CCDカメラを使用して検査対象を画像信号に変換し、専用の画像処理システムに転送します。ピクセル分布、明るさ、色などの情報に基づいて、デジタル信号に変換されます。画像処理システムは、これらの信号に対してさまざまな操作を実行して、面積、数量、位置、長さなどの対象の特徴を抽出し、事前に設定された許容値とサイズ、角度、数、適格/不適格、有無などの条件に基づいて結果を出力し、自動認識を実現します。

概要

マシンビジョンシステムの特徴は、生産の柔軟性と自動化を向上させることです。マシンビジョンは、手動操作に適さない危険な作業環境や、人間の視覚が要件を満たせない状況で、人間の視覚を置き換えるためによく使用されます。同時に、大規模な工業生産プロセスでは、人間の視覚を使用して製品の品質を検査することは非効率的で、あまり正確ではありません。マシンビジョン検査方法を使用すると、生産効率と生産の自動化の程度を大幅に向上できます。さらに、マシンビジョンは情報統合を容易に実現することができ、コンピュータ統合生産を実現するための基礎技術です。

典型的な構造

一般的なマシンビジョンシステムは、次の 5 つの部分で構成されます。

照明

照明はマシンビジョンシステムの入力に影響を与える重要な要素であり、入力データの品質とアプリケーション効果に直接影響します。汎用的なマシンビジョン照明機器は存在しないため、最良の効果を得るには、特定のアプリケーションインスタンスごとに対応する照明デバイスを選択する必要があります。光源は可視光と不可視光に分けられます。一般的に使用される可視光源としては、白熱灯、蛍光灯、水銀灯、ナトリウム灯などがあります。可視光の欠点は、光エネルギーが安定したままにならないことです。光エネルギーをある程度安定に保つ方法は、実用化の過程で解決する必要がある緊急の課題です。一方、周囲光は画像の品質に影響を与える可能性があるため、保護スクリーンを使用して周囲光の影響を軽減することができます。照明方法に応じて、照明システムは、バックライト、前方照明、構造化ライト、ストロボ照明に分けられます。なかでも、バックライト方式は、計測対象物を光源とカメラの間に配置することで、コントラストの高い画像が得られるのが利点です。前方照明とは、光源とカメラが測定対象物の同じ側にあることを意味し、設置に便利です。構造化光照明は、測定対象物に格子または線光源を投影し、それらが生成する歪みに基づいて測定対象物の 3 次元情報を復調します。ストロボ照明は、高周波の光パルスを物体に照射する照明であり、カメラの撮影は光源と同期する必要があります。

レンズ

FOV（視野）=必要な解像度*サブピクセル*カメラサイズ/PRTM（部品測定許容比）

レンズを選ぶときは、次の点に注意する必要があります。

①焦点距離 ②対象物の高さ ③像の高さ ④倍率 ⑤像から対象物までの距離 ⑥中心点・結節点 ⑦歪み

目視検査でレンズの焦点距離を決定する方法

特定の用途に適した産業用レンズを選択する際には、次の要素を考慮する必要があります。

• 視野 - 画像化される領域のサイズ。
• 作動距離 (WD) - カメラのレンズと観察対象の物体または領域の間の距離。
• CCD - カメラの画像センサーデバイスのサイズ。
• これらの要素は一貫した方法で扱う必要があります。物体の幅を測定する場合は、水平 CCD 仕様などを使用する必要があります。インチで測定する場合は、フィートで計算してからミリメートルに変換します。

次の例を考えてみましょう。1/3 インチ C マウント CCD カメラ (水平 4.8 mm) があります。物体からレンズの前面までの距離は 12 インチ (305 mm) です。視野または物体のサイズは 2.5 インチ (64 mm) です。変換係数は 1 インチ = 25.4 mm (四捨五入) です。

FL = 4.8 mm x 305 mm / 64 mm

FL = 1464mm / 64mm

FL = 23 mmレンズの要件どおり

FL = 0.19” x 12” / 2.5”

FL = 2.28” / 2.5”

FL = 0.912” x 25.4 mm/インチ

FL = 23 mmレンズの要件どおり

注意: 作動距離と物体から像までの距離を混同しないでください。作動距離とは、工業用レンズの前面から観察対象物までの距離です。物体から画像までの距離は、CCD センサーと物体の間の距離です。工業用レンズの必要な焦点距離を計算するときは、作動距離を使用する必要があります。

高速度カメラ

さまざまな規格に応じて、標準解像度のデジタルカメラやアナログカメラなどに分けられます。さまざまな実際の用途に応じて、さまざまなカメラと高解像度カメラを選択します。

撮影色によってカラーカメラと白黒カメラに分けられます。

解像度に応じて、380,000ピクセル未満のピクセルは通常タイプ、380,000を超えるピクセルは高解像度タイプです。

感光面の大きさによって、1/4、1/3、1/2、1インチのカメラに分けられます。

スキャン方式によって、ラインスキャンカメラ（リニアアレイカメラ）とエリアスキャンカメラ（エリアアレイカメラ）の2種類に分けられます。（エリアスキャンカメラは、インターレーススキャンカメラとプログレッシブスキャンカメラに分けられます。）

同期方式により、通常のカメラ（内部同期）と外部同期機能付きカメラに分けられます。

フレームグラバー

フレームグラバーは完全なマシンビジョンシステムの 1 つのコンポーネントにすぎませんが、非常に重要な役割を果たします。画像取得カードは、白黒、カラー、アナログ、デジタルなどのカメラ インターフェイスを直接決定します。

通常、PCI または AGP 互換のキャプチャ カードを使用して、画像をコンピュータのメモリにすばやく転送し、処理します。一部のキャプチャ カードにはマルチプレクサが組み込まれています。たとえば、8 台の異なるカメラを接続し、どのカメラを使用して情報をキャプチャするかをキャプチャ カードに指示できます。一部のキャプチャ カードには、キャプチャ カードのキャプチャをトリガーするデジタル入力が組み込まれており、キャプチャ カードが画像をキャプチャするときにデジタル出力がゲートをトリガーします。

ビジョンプロセッサ

ビジュアル プロセッサは、取得カードとプロセッサを 1 つに統合します。昔、コンピューターが遅かった頃は、ビジョン処理タスクを高速化するためにビジョン プロセッサが使用されていました。取得カードは、さらなる計算と分析のために画像をメモリに送信します。現在主流のPLC構成は比較的高く、ビジュアルプロセッサは市場からほぼ撤退しています。

応用事例

布地の生産工程では、布地の品質検査など、反復性が高く知能化が求められる作業は、手作業による検査でしか完了できません。現代の組立ラインの裏では、多くの検査員がこの工程に携わっているのがよく見られます。これにより、企業に多大な人件費と管理費が​​加わりますが、それでも100%の検査合格率（つまり「欠陥ゼロ」）を保証することはできません。生地の品質をテストすることは、エラーが発生しやすく非効率的な反復作業です。

組立ラインは自動化されており、高速、リアルタイム、正確かつ効率的なものとなっています。組立ラインでは、すべての布地の色と数量を自動的に確認する必要があります（以下、「布地検出」といいます）。マシンビジョンの自動認識技術を使用して、以前は手作業で行っていた作業を完了します。大規模な布地検査では、製品の品質を手動で検査するのは非効率で精度も低いですが、マシンビジョン検査方法を使用すると、生産効率と生産自動化の度合いを大幅に向上できます。

特徴抽出と識別

一般的に、布地検査（自動識別）は、まず高解像度の高速カメラレンズを使用して基準画像を撮影し、これに基づいて一定の基準を設定し、次に検査対象の画像を撮影して、両者を比較します。しかし、生地の品質検査プロジェクトではさらに複雑になります。

1. 画像の内容は単一の画像ではなく、各測定領域内の不純物の量、大きさ、色、位置が一定でない場合があります。

2. 不純物の形状を事前に判定することが困難である。

3. 布地の急速な動きによる光の反射により、画像にノイズが多く発生する場合があります。

4. 組立ラインでは、布地をリアルタイムでテストする必要があります。

上記の理由により、不純物の特性を抽出し、パターン認識を実行し、インテリジェントな分析を実現するために、画像認識処理では対応するアルゴリズムを採用する必要があります。

色検出

一般的に、カラー CCD カメラから取得される画像は RGB 画像です。つまり、各ピクセルは、RGB カラー スペース内の点を表す、赤 (R)、緑 (G)、青 (B) の 3 つの要素で構成されます。問題は、これらの色の違いが人間の目が認識するものと異なることです。わずかなノイズでも色空間内の位置が変わります。したがって、人間の目がどれだけ似ていると認識したとしても、色空間ではまったく同じではありません。上記の理由に基づいて、RGB ピクセルを別の色空間 CIELAB に変換する必要があります。その目的は、人間の目の知覚を色空間内の色の違いにできるだけ近づけることです。

ブロブ検出

上記で得られた処理画像に基づいて、純色の背景に対して不純物スポットを要件に従って検出し、スポットの面積を計算して検出範囲内にあるかどうかを判断します。そのため、画像処理ソフトウェアには、対象物を分離したり、対象物を検出したり、その面積を計算したりする機能が必要です。

ブロブ解析とは、画像内の同じピクセルの連結領域を解析することであり、この連結領域はブロブと呼ばれます。バイナリしきい値処理後の画像内の色の斑点は、ブロブと見なすことができます。ブロブ分析ツールは、ターゲットを背景から分離し、ターゲットの数、位置、形状、方向、サイズを計算し、関連するブロブ間のトポロジ構造を提供することもできます。処理中は、個々のピクセルを 1 つずつ分析するのではなく、グラフィックスの行に対して操作が実行されます。画像の各行は、隣接するオブジェクトの範囲を表すためにランレングスエンコード (RLE) されます。このアルゴリズムは、ピクセルベースのアルゴリズムと比較して処理速度を大幅に向上させます。

結果の処理と制御

アプリケーションは返された結果をデータベースまたはユーザーが指定した場所に保存し、その結果に基づいて機械部品を制御して対応する動作を実行します。

認識結果に応じて、情報をデータベースに保存し、情報管理を行います。将来的には、いつでも情報を取得して照会できるようになります。管理者は、一定期間の組立ラインの忙しさを把握し、次の作業手順を手配したり、内側の生地の品質などを把握したりできるようになります。

申請状況

海外では、マシンビジョンの応用は主に半導体および電子産業に反映されており、そのうち約 40% ～ 50% が半導体産業に集中しています。具体的な例としては、PCBプリント回路、各種プリント回路基板組立技術および装置、片面・両面・多層回路基板、銅張積層板および必要な材料および付属品、補助設備、消耗品、インク、薬剤および付属品、電子パッケージング技術および装置、スクリーン印刷装置およびスクリーン関連材料などが挙げられます。 SMT表面実装：SMT技術と設備、溶接設備、試験機器、リワーク設備と各種補助工具と付属品、SMT材料、パッチタブレット、接着剤、フラックス、はんだと酸化防止油、はんだペースト、洗浄剤など、リフローはんだ付け機、ウェーブはんだ付け機、自動化生産ライン設備。電子機器製造・加工設備：電子部品製造設備、半導体・集積回路製造設備、部品成形設備、電子金型。マシンビジョンシステムは品質検査のさまざまな側面でも広く使用されており、その製品はアプリケーションにおいて極めて重要な位置を占めています。これ以外にも、マシンビジョンはさまざまな分野で使用されています。

中国では、ビジョン技術の応用は1990年代に始まりました。業界自体が新興分野であり、マシンビジョン製品技術の普及が不十分であるため、上記の業界でのビジョン技術の応用はほとんど空白状態です。現在、国内のマシンビジョン製品のほとんどは海外ブランドです。国内のマシンビジョン企業の多くは、さまざまな海外マシンビジョンブランドの代理店としてスタートしましたが、マシンビジョンの継続的な応用により、会社の規模は徐々に拡大し、その技術は徐々に成熟してきました。

経済レベルの向上に伴い、3Dマシンビジョンが人々の視野に入り始めています。 3D マシン ビジョンは主に、果物や野菜、木材、化粧品、焼き菓子、電子部品、医薬品の等級分けに使用されます。良品の生産能力を向上させ、生産プロセスの早い段階で不良品を廃棄することで、無駄を減らし、コストを節約できます。この機能は、高さ、形状、数量、さらには色などの製品属性を画像化するのに最適です。

産業用途では、主な産業として、医薬品、包装、電子機器、自動車製造、半導体、繊維、タバコ、運輸、物流などが挙げられます。手作業をマシンビジョン技術に置き換えることで、生産効率と製品品質を向上させることができます。例えば、物流業界では、マシンビジョン技術を使用して速達品の仕分けや分類を行うことができます。ほとんどの速達会社で標準となっている手作業による仕分けが不要になり、品物の破損率が低下し、仕分け効率が向上し、手作業の負担が軽減されます。