FPGA用於數位影像處理?

brosnan

各位前輩.小弟目前手上有一個xillinx的FPGA版子! 目前想要建構一個如下的環境:
3 m2 C8 ^9 ~3 Z+ C  l+ S: K讀取一張影像,經過一個簡單的運算(ex.把一張影像的每個pixel值作一些運算) 輸出到VGA的螢幕上!
: s! l/ @* D& g5 c& o6 G- K/ W想請教各位幾個問題(之前無FPGA的學習經驗)
1.verilog 有讀取一張影像的指令嗎?我的想法是寫一個verilog code 把要處理的影像就直接寫在code上.
' P# {# x$ z! a+ a/ h  燒錄到版子上,直接秀在螢幕上.
2.如果是要把處理好的影像輸出到VGA螢幕上(FPGA板上有VGA Port),還需要寫什麼程式嗎?
; }7 `) d7 _  k" Z! s5 J
% S* Y: N- n& \<ps>如果有相關的參考資料(網站,書),可提參考的話,也非常感激!

walltsou

有幾件事你必須先決定。
1.影像儲存的地方及大小
2.影像如何和PC之間傳輸及驗證
, i( p8 y/ Y5 O8 s7 A4 J我規劃的方法
  A0 Q' h! o* w6 b4 a* t1.使用SDRAM存，所以要使用SDRAM控制器的IP
; @; y; I2 T& m% X2.使用PCI界面，確保資料流量
0 n1 h; u/ }- W! V至於VGA，暫不考量，因為要是資料處理錯誤，從VGA是看不出來的。
7 l0 v3 r0 |) F2 ^6 H2 s- C7 U! Z我是從PC的記憶體傳到PCI卡上的FPGA處理完再回傳PC。至少可以比對處理狀況，或是單格處理再比對。
6 U: I0 j( s" m  z9 S* S, M要是你用獨立板子，那又要處理攝影問題。至少PC不用，可以使用錄好的檔案。
做即時攝影處理，我做過，完全看不出資料處理錯誤時的狀況。只能知道處理錯誤，然後猜。

jason_lin

Altera有一塊板子他提供NTSC/PA IN,VGA out的參考設計,而且全部都是source code,你可以參考這個設計^_^
$ `. [4 I6 T3 t+ l0 f4 ]網址如下:
2 E5 n! l) j7 o3 B3 O& o  k5 ghttp://www.terasic.com.tw/cgi-bi ... goryNo=38&No=56
想design TV的人可以參考,板子規格如下:
Altera Cyclone II 2C35 FPGA with 35000 LEs
Altera Serial Configuration deivices (EPCS16) for Cyclone II 2C35
USB Blaster built in on board for programming and user API controlling
JTAG Mode and AS Mode are supported
8Mbyte (1M x 4 x 16) SDRAM
/ P, Z; G5 n4 W/ z# o512K byte(256K X16) SRAM
4Mbyte Flash Memory (upgradeable to 4Mbyte)
SD Card Socket
( L1 E8 |7 V  l4 a/ D  f: |& c& l0 x4 Push-button switches
18 DPDT switches
. {6 n1 c( Z0 c  [% r9 Green User LEDs
18 Red User LEDs
16 x 2 LCD Module
50MHz Oscillator and 27MHz Oscillator for external clock sources
1 R# M8 f1 p8 `- @% @2 x% R24-bit CD-Quality Audio CODEC with line-in, line-out, and microphone-in jacks
$ D$ H! |6 a  N9 WVGA DAC (10-bit high-speed triple DACs) with VGA out connector
TV Decoder (NTSC/PAL) and TV in connector
10/100 Ethernet Controller with socket.
7 l+ Q! v8 R4 Y2 `$ A4 iUSB Host/Slave Controller with USB type A and type B connectors.
" Z/ a5 ], N; H2 R( cRS-232 Transceiver and 9-pin connector
- C4 B' x, ~) [3 SPS/2 mouse/keyboard connector
. R7 ~7 v: g; v7 N2 W  y+ }: kIrDA transceiver
Two 40-pin Expansion Headers with diode protection
' c* N4 t3 B+ L2 L/ _DE2 Lab CD-ROM which contains many examples with source code to exercise the boards, including: SDRAM and Flash Controller, CD-Quality Music Player, VGA and TV Labs, SD Card reader, RS-232/PS-2 Communication Labs, NIOSII, and Control Panel API
: |# k/ e4 P4 l4 ZSize：153*203 mm

walltsou

DE2這個發展板，是基於NIOS-II的Soft-CPU上。也有CCD模組可以選購。
& g  o  l$ g( {; [不過，影像處理需要很高的效能，不可以在Soft-CPU上執行，必須自行建立處理模組以裝置的方式掛上。
; K- o1 _+ u) \' `* l$ x可以我覺得因為影像處理使用很多FPGA的資料，再加上一個Soft-CPU，真的不知是否可以擠進去。
# s& F3 d5 B% ]4 h! c. K至於和PC端的傳輸，大概只能使用USB。可能要做出單格的方式來驗證演算法。
  B. ^8 V/ d; T3 N8 A使用這板子做VGA顯示，已有台大研究生做出來，也是用在影像處理上，用Google找找吧。

kosenmagic

你能確定你的資料輸入的模式嗎?
/ X0 R! r! W3 i$ w就是說資料進入FPGA的方式是哪一種?
實務上的作法就是 你要先確定你的版子是哪一種資料輸入
以及是哪一種訊號模式進入FPGA?
5 l$ R6 Z0 j( n6 L' e$ E3 _然後妳才能有辦法寫code去判斷一張FRAME的起始
判斷起始以後再去判斷每一條LINE的起始
* Z# X: O% Z8 l8 o0 @+ B& N有辦法判斷起始以後再去對pixdata進行演算法運算
影像處理最主要是演算法的驗證，可以實現的演算法不一定能用
因為gate會太多以致COST大增，以你的想法是想要把資料寫在CODE裡面
或是把影像從RAM拉出來一次，然後運算以後儲存，在輸出運算一次的結果到螢幕
/ Q8 U$ @/ U( E% O+ s6 B! L+ U這只能確認演算法的展現成果，但是對於實際影像運作就不行
) N" v* h/ i& |' P0 |因為影像是連續的，實際的運作流程會是判斷影像的資料型態，
8 E; d' c$ z0 c8 J將演算法實現成VERILOG，判斷影像的起始與資料位置進行演算法運算，再依照輸出與輸入的介面需求
將資料讀入與輸出
實務作法
9 `8 G% l" t: I1.確認進入與輸出實驗版的資料型態RGB?CCIR?
+ I* e2 z# E3 U  \: ?7 u2.確認進入與輸出FPGA的資料型態RGB?CCIR?或是SD?
! u* F8 p. }6 a5 X' t' I8 l& |3.進行FPGA資料介面編寫
) O  Z% V. Y. r# `! U3 u7 t4.進行演算法編寫
5.整合介面與演算法
6.燒入FPGA
1 l! h+ W0 \& ?7 l% W這樣才是整各流程

[ 本帖最後由 kosenmagic 於 2008-12-16 11:31 AM 編輯 ]

jason_lin

DE2板子參考設計的輸入是使用ADI的chip,出來是CCIR656,source code是把656轉601,之後存到sdram,然後再抓出來做影像處理,最後丟到VGA或LCD,
block Digram如下圖:
0 w2 V/ m& h6 O! y0 `有任何問題,我們再來討論討論^__^

kka

挖...
3 i: [& H9 L1 M6 Y4 H4 h各位大大的回答都很詳細...
" q- h+ F1 E) l: G3 {3 u1 I讓我們這些新手很受用...
8 s/ o" @) S# e4 e' c& A; w5 J不知道哪邊還可以找到更多DE2的介紹呢?