機器視覺系統的組成
機器視覺系統是指用計算機來實現人的視覺功能，也就是用計算機(ji)來實現對客觀的(de)三維世界的识別。按現在(zai)的理解，人類視覺系統的感受部分(fen)是視網膜，它是(shi)一個三維采樣系(xi)統。三維物體的可见部分投影到網膜(mo)上，人們(men)按照投影到視網膜上的二維的像來對该物體進行三維(wei)理解。所谓三維理解是指對被觀察對象的形状、尺寸、离開觀察點的距离、質地和(he)運動特征（方向和速度(du)）等(deng)的理解。
機器(qi)視覺系統的輸入裝置可以是摄像機、轉(zhuan)鼓等，它們都把三維的影(ying)像作(zuo)為輸入源，即輸入計算機的就是三維(wei)管觀世界(jie)的二維投影。如果把(ba)三維客觀世界到二維投影像看作是一種(zhong)正變换的話，則機器視覺系統(tong)所要做的是从这種二維投影圖像到三維(wei)客觀世界的逆變换，也就是根據这種二維投影圖像(xiang)去重建三維的客觀世界。
機器視(shi)覺系(xi)統主要由三部分組成：圖(tu)像的获取、圖像的(de)處理和(he)分析、輸出或顯示。
將(jiang)近80%的工業視(shi)覺系統主(zhu)要用在檢測方面，包括用(yong)於提高生產(chan)效率、控製生產過程中的產品質(zhi)量、采集產(chan)品数據等。產品的分類和(he)選擇也集成於檢測功能(neng)中。下面通過一個用於生產線上的單摄像(xiang)機(ji)視覺系統，說明系統的組成及功能(neng)。
視覺系統檢測生(sheng)產線上的產(chan)品，決定產品是否符合質量要求，並根(gen)據結果，產生相應(ying)的信號(hao)輸入上位機。圖(tu)像获取設備包括光源、摄像機(ji)等；圖像(xiang)處理設備包括相應的软件和(he)硬件系統；輸出設備是與製造(zao)過程相连(lian)的有關系統，包括過程控製器和報警裝置等。数據傳(chuan)輸到計算機，進行分(fen)析(xi)和產品控製，若(ruo)发現不合格品，則(ze)報警器告(gao)警，並將其排(pai)除出生產(chan)線。機器視覺的結果是CAQ系統的質量信息來源(yuan)，也可以和(he)CIMS其它系統集成(cheng)。
圖像的获取
圖像的获取實际(ji)上是將被測物體的可視化圖像和内在特征轉换成能被計(ji)算機處理的一系列数據，它(ta)主要由三部分(fen)組成：
＊ 照明
＊ 圖像聚焦形成
＊ 圖像(xiang)確定(ding)和形成摄像機輸出信號
1、照明
照明和影響機器視覺系統輸入的重(zhong)要因素，因為(wei)它直接影響(xiang)輸入数據的質量和至少30%的應用效(xiao)果。由(you)於没(mei)有通用的機器視覺照明設備，所以针對每個特(te)定(ding)的應用實例，要選擇相應的照明裝(zhuang)置，以達(da)到最佳(jia)效果。
過去，許多工業用的機器視覺系統用可见光作為光(guang)源(yuan)，这(zhe)主要是(shi)因為可见光容易获得，价格低，並且便於操(cao)作。常用(yong)的(de)几種可见光源是白帜燈、日光(guang)燈、水銀燈(deng)和钠光燈。但是，这些光源的(de)一個最大缺點是光能不能(neng)保持稳定。以日光燈為(wei)例，在使用的第一個100小時内，光能將下降15%，随着使用時間的增加，光能將不断下降。因此，如何使光能在(zai)一定的程度上保持稳定(ding)，是實用化過程中急需要解決的問題。
另一(yi)個(ge)方面，環境光將(jiang)改變这(zhe)些光源照射到物體上的总光能，使輸出的圖像数據(ju)存在噪(zao)聲，一般采(cai)用加(jia)防護屏的方法，减少環(huan)境光的影響(xiang)。
由於存(cun)在上述問題，在現(xian)今(jin)的工業應用中，對於(yu)某些要求高的檢測任務(wu)，常采用X射(she)線、超聲波等不可见光作(zuo)為(wei)光源。但是不可见光不利於檢測(ce)系統的操作(zuo)，且价格较高，所以，目前在實际應用中，仍多用可见光作為光源。
照明系統(tong)按其照射方法可分為：背向照明(ming)、前向(xiang)照(zhao)明、結構光和頻(pin)闪光(guang)照明等。其(qi)中，背向照明是被(bei)測(ce)物放在光源和摄像機之間，它的優點(dian)是能获得高對比度的圖像。前向照明是(shi)光源和摄像機位於被測物的同侧，这(zhe)種方式便於安(an)裝。結構光照明(ming)是將光栅或線光源等投射到被測(ce)物上，根據它們產生的畸(ji)變，解調出被測物的(de)三維(wei)信息。頻闪光照明(ming)是將高頻率的光脉冲照射到物體上，照像機拍摄(she)要求與光源同步(bu)。
2、圖像聚焦形成
被測物的圖像通過一個透镜聚焦在敏(min)感元件(jian)上，如同照像機拍照一樣。所(suo)不同的(de)是照像機使用胶卷，而機器視覺系統使(shi)用傳感器來(lai)捕捉圖像，傳感器將可(ke)視圖像轉化為電信號(hao)，便於計(ji)算機處理。
選取(qu)機器視覺系統中的摄像機應根據實际應用(yong)的要求，其(qi)中摄像機的透镜參数是一項重(zhong)要指標。透镜參数分為四個部分：放大倍率、焦距、景深和透(tou)镜安裝。
3、圖像(xiang)確定(ding)和形成摄像機輸出信號
機器視覺系統實际上是一(yi)個(ge)光電轉换裝置，即將傳感器(qi)所接收到的透镜成像(xiang)，轉化為計(ji)算機能處理的電信號、摄像機可以是電子管的(de)，也(ye)可是固體(ti)状態傳感單元。
電子管摄(she)像機发展较(jiao)早，20世紀30年代就已應用於商業(ye)電視，它采用包含光感元件的真空管進行(xing)圖像(xiang)傳感，將所接(jie)收到的圖像轉换成模(mo)擬電壓信號輸出。具有RS-170輸出製式的摄像機可直接與商用電(dian)視(shi)顯示器相连。
固(gu)體状態摄像機是在20世紀60年代后期，美國貝爾電話實驗室(shi)发明了電荷耦合裝置（CCD），而发展起來的。它上分布於各個像元的光敏二極管的(de)線性阵列或矩形阵列構成(cheng)，通過(guo)按一定順序輸出每個二(er)極管的電壓脉冲，實現將(jiang)圖像光(guang)信號轉换成電信號的目的。輸出的電壓脉冲序(xu)列可以直接以RS-170製式輸入(ru)標準電視顯示器，或者輸(shu)入計(ji)算機的内存，進行数值化處理(li)。CCD是現在最常用(yong)的機器視覺傳(chuan)感器。
圖像處理技術
機器視覺系統中，視覺信息的處理技術主要依赖於(yu)圖像處(chu)理方法，它包括圖像增強、数據编碼(ma)和傳(chuan)輸、平滑、边缘銳化、分割、特征抽取、圖像(xiang)识別與理解等内容。經過这些處理后，輸出圖像的質量(liang)得到相当程度的改善，既改(gai)善了圖(tu)像的視覺效果，又便於計算(suan)機(ji)對圖像進行分析、處理和识(shi)別。
1、圖像的增強
圖像的增強用(yong)於調整圖像的對比度，突出圖像中的重要細節(jie)，改善視覺質量。通常采用灰度(du)直方圖修改技術進行圖(tu)像增強。
圖像的灰度直方圖是表示一幅圖像(xiang)灰度分(fen)布情况的統計特性圖表，與對比(bi)度(du)紧密相连。
通常，在計算機(ji)中表示的一幅二(er)維数字圖像可表示為一個矩阵，其矩阵中的元素是位於相應坐標位置的圖像灰度(du)值(zhi)，是离散化的整数(shu)，一般取0，1，……，255。这主要是因為(wei)計算(suan)機中的一個字節所表示的数值範围是0~255。另(ling)外(wai)，人眼也只能分(fen)辨32個左右的灰度級。所以，用一個字節(jie)表示灰度(du)即可。
但是，直方(fang)圖仅能統計某(mou)級灰度像素出現的概率，反(fan)映不出该像素在圖像中的二維坐標。因此，不(bu)同的圖像有可能具有相同的直(zhi)方圖。通過灰(hui)度直方圖(tu)的形状，能判断该圖像的清晰(xi)度和黑白對比度。
如果获得一幅圖像的直方圖效果不理想，可以(yi)通過直方(fang)圖均衡化處理技術作適当修改，即把一幅已知灰度概率分布圖像中(zhong)的像素灰度作某種映射變(bian)换，使它變成一(yi)幅具有(you)均匀灰度概率分布的新圖像，實現使圖象清晰的目的。
2、圖像的平滑
圖像的平滑處理(li)技(ji)術即圖像的去噪聲處理，主要是為了去除實(shi)际成像過程中，因成像設(she)備和環境所造成的圖(tu)像失真，提取(qu)有用信息。衆所(suo)周知，實际获得的(de)圖像在(zai)形成、傳(chuan)輸、接收(shou)和處理的過(guo)程中，不可避免地存在着外部(bu)干扰和内部(bu)干扰，如光電轉换過程敏感元件灵(ling)敏度的不均匀性、数字化過程(cheng)的量化噪(zao)聲、傳輸過程中的误差以(yi)及人為因素等，均會使圖像變質。因此，去除(chu)噪聲，恢复原始圖像是圖像處理中的一個重要内(nei)容(rong)。
3、圖像的数據编(bian)碼和(he)傳輸
数字圖像的数據量是相当庞大的，一幅512*512個像(xiang)素的数(shu)字圖像的数據量為256 K字節，若假設每秒傳輸25帧圖(tu)像，則傳輸的信道(dao)速率為52.4M比特/秒。高信道速率意(yi)味着高投资，也意味着普(pu)及难度的增加。因此，傳輸過程中，對圖像数據進(jin)行壓縮顯得非常重(zhong)要。数據的壓縮主要通(tong)過圖像数據的编碼和變换壓縮完成。
圖像数據编碼一般(ban)采用预測编碼(ma)，即將(jiang)圖像数據的空間變化規律和序列變化規律用一個预測公式表示(shi)，如果知道了某一(yi)像素的(de)前面各相鄰像素值之后，可(ke)以用公(gong)式预測该像素值。采(cai)用预(yu)測编碼，一般只需傳輸圖像数據的起始值和预測误差，因此可將8比特/像素壓縮到(dao)2比特/像(xiang)素。
變换(huan)壓縮方法是將整幅圖像分成一(yi)個個小的（一秀取8*8或16*16）数據块，再將这些数據块分類(lei)、變换、量化，从而(er)構(gou)成自適應的變换壓縮系統。该方法可將一幅圖像(xiang)的数據壓縮到為数不多的几(ji)十個特傳輸，在(zai)接(jie)收端再變换回去即可。
4、边缘銳化
圖像(xiang)边缘(yuan)銳化處理主要是加強圖像中的轮廓边缘和細節，形成完整的(de)物體边界，達到將物體从圖像中分离出來或將表示(shi)同一物體表面的區域檢測出(chu)來的目的。它是(shi)早期視覺理论(lun)和算法中的基本問題，也(ye)是中期(qi)和后期視覺成败的重要因素之一。
5、圖像的分割
圖像(xiang)分割是將圖像分成(cheng)若干部分，每一部分對應於某一物體表面，在(zai)進行分割時，每一部分的灰度或(huo)纹理符合某一種(zhong)均匀測度度量。某本(ben)質是將像素進行分類。分類的依據是像素的灰(hui)度值(zhi)、顏色、頻谱特性、空間特性或纹理特性等。圖像分割是圖像處理技術的基本(ben)方法之一(yi)，應用於诸如染色(se)體分類、景物理解系(xi)統、機器視覺等方面。
圖像分割主要有兩種方法：一是鉴於度量(liang)空間的灰度阈值(zhi)分割法。它是根(gen)據圖像灰度直方圖來決定圖像空間域(yu)像素聚類。但它只利用了圖(tu)像灰度特征，並没有利用(yong)圖像中的其它有用信息，使(shi)得分割結果(guo)對噪聲十分敏感；二是空間域區域增(zeng)长分割方法。它是對在某種(zhong)意義上（如灰度級(ji)、組織、梯度(du)等）具有相似性質的(de)像素连通(tong)集構成分割區域，该方法有很好的分割效(xiao)果(guo)，但缺點是運算复雜(za)，處理速度(du)慢。其它的方法(fa)如边缘追蹤法，主要着眼於保(bao)持边缘性質，跟蹤边缘並形成闭合(he)轮廓(kuo)，將目標分割出來；錐(zhui)體圖像数據結構法和標記松弛迭代法同樣是利用像素空間分布關(guan)系，將(jiang)边鄰的像素作合理的归並。而基於知识的分割方法則是利用(yong)景物的先(xian)驗信息和統計特性，首先對圖像進行初始(shi)分割(ge)，抽取區域特征，然后(hou)利(li)用领域知识推导區域的解释，最后根據解释對區域進行合並。
6、圖像的识別
圖像的识別過程實际(ji)上可以看作是一個標記過程，即利用识別算法來辨別景(jing)物中(zhong)已分割好的各個物體，給这些物(wu)體賦(fu)予特定的標記，它是機器視覺(jue)系統必(bi)须完成的一個任務。
按照圖像识別从易到难，可分為(wei)三類問題。第(di)一類识別(bie)問題中，圖像中的像素(su)表達了某(mou)一物體的某種特定信息。如遥感圖像中的某(mou)一像素代表地面某一位置地物的一定光谱波段的(de)反射特性，通過它即可判別出该地物的種(zhong)類。第二類(lei)問題中，待识別物是有形的整體，二維圖像信息(xi)已經足够识別该(gai)物體，如文字识別(bie)、某些具(ju)有(you)稳定可視表面的三維體识別等。但这類問題不像第(di)一類問題容易表示成(cheng)特征矢量，在识別(bie)過程中，應先將待识別(bie)物體正確(que)地从圖像的背景中分割出來，再設法將建立起來(lai)的圖像中物體的屬性圖與假定模型库的屬性圖之間匹(pi)配。第三類問題是由輸(shu)入的二維圖、要素圖、2·5維圖等，得出被測物體的三維表示。这里存着如何將隐含的三維信息(xi)提取(qu)出來的問題，当是今研究的熱點。
目前用於圖像识別(bie)的方法主要分為(wei)決策理论和結構方法。決策理论方(fang)法的基礎是(shi)決策函数，利用它對模(mo)式向量進行分類(lei)识別，是以定時描述（如統計纹(wen)理(li)）為基礎的；結構(gou)方法的(de)核心是將物體分解成了模式或模式基元，而(er)不同(tong)的物體結構有不同的基元串（或称字符(fu)串），通過(guo)對(dui)未知物體利用給定的模式基元求出编碼边界，得到字符串，再根據字符串判断它的屬類。这是一種依赖於符號描述被測物體之間關系的方法(fa)。
那麼，機器視覺系統設計的难點都有哪些？本文主要总(zong)結了一(yi)下五點：
第一：打光的稳定性
工業機器視覺系統應用(yong)一般分(fen)成四大類：定位、測量、檢測和识(shi)別，其中測量對光(guang)照(zhao)的稳定性要求最高，因為光照只要发生10-20%的變化，測量結果將(jiang)可能偏差出(chu)1-2個像素，这(zhe)不是软件的問題，这(zhe)是光照變(bian)化，导(dao)致了圖像上边缘位置发生了變化，即使再厲害的软件也解決不了問題(ti)，必须从系(xi)統設計(ji)的角度，排除環境光(guang)的(de)干扰，同時要保證主動照明光源的发光稳(wen)定(ding)性。当然(ran)通過硬件相機分辨率的提升也是提(ti)高精度，抗(kang)環境干扰的一種辦法(fa)了。比如之前的相機(ji)對應物空間尺寸是1個像素10um，而通過提升分辨率后變(bian)成 1個像素5um，精度近似可以(yi)認為提(ti)升1倍，對環境的干扰自然增強了。
第二：工件位置的不一致(zhi)性
一般做測(ce)量的項目，无论(lun)是离線檢測，還是(shi)在線檢測，只要是全自動化的檢測設備，首先做的第一步工作都是(shi)要能找到(dao)待測目標物。每(mei)次待測目(mu)標物出現在拍摄視場中時，要能精確知道(dao)待測目標物在哪里(li)，即使你使用一些機械夹具等，也不能特(te)別高精度保證待(dai)測目標物每次都出現在同一位置的，这就需要用(yong)到定位功能(neng)，如果定(ding)位不準確，可能測量(liang)工具出現的位置就不(bu)準確，測(ce)量結果(guo)有時會有较大偏差
第三：標定
一般在高精度(du)測量時需要做以下几個(ge)標定，一(yi)光學畸變標定（如果您不是用的软件镜头，一般都必须(xu)標定），二投影畸變(bian)的標定，也就是因為您安裝位置误(wu)差代表的(de)圖像畸變校正，三(san)物(wu)像空間的標定，也就是具體算出(chu)每個像素對應物空(kong)間的尺寸。
不過目前的(de)標定算法(fa)都是基於平面的標定，如(ru)果待測(ce)量的物理不是平面的，標定就(jiu)會需要作一些(xie)特種算法來處理，通常(chang)的標(biao)定算法是解決不了的。
此外有些標定，因為不方面使用標定板(ban)，也必须設計特殊的標定方法，因此標定不一定能通過软件中已有的標定算法(fa)全部解決。
第四：物體的運動速度
如果被測量的物體不是静(jing)止的，而是在運動状態，那麼一定要考虑運動模糊對(dui)圖像精度（模糊像素=物體運動速度*相機曝(pu)光(guang)時間），这也不是软件能(neng)够解決的。
第五：软件的測量精度
在測量應用中软件的精度(du)只(zhi)能按照1/2—1/4個像素(su)考虑，最好按(an)照(zhao)1/2，而(er)不能向定位應用(yong)一樣達到1/10-1/30個像素(su)精度，因(yin)為測量應用中软件能够从圖像(xiang)上提取的特征點非常少
