《基于NIOSⅡ的红外图像处理系统设计.pdf》由会员分享,可在线阅读,更多相关《基于NIOSⅡ的红外图像处理系统设计.pdf(4页珍藏版)》请在三一文库上搜索。
1、第 3 6 卷第 2 期微 电 子 学Vo l . 3 6 , N o 2 2 0 0 6 年 4 月A p r . 2 0 0 6 基于 N i o s I I 的红外图像处理系统设计 邱翰, 桑农, 李立 ( 华中科技大学 图像识别与人工智能研究所; 图像信息处理与智能控制国家教育部重点实验室, 湖北 武汉4 3 0 0 7 4 ) 摘要: 介绍了基于F P G A内嵌 N i o s I I 处理器的红外图像处理系统的实现方法; 具体阐述了该 红外图像处理系统的总体结构、 基于N i o s I I 的多C P U工作原理、 红外图像处理算法的处理流程和 实现方法。通过与传统 D S P
2、系统的比较分析, 指出该系统的优.点与缺点。 关键词: N i o s I I ; F P G A; S O P C ;多处理器; 红外图像处理 中图分类号: T N 4 9 2文献标识码: A文章编号: 1 0 0 4 - 3 3 6 5 ( 2 0 0 6 ) 0 2 - 0 2 4 1 - 0 4 D e s i g n o f a N i o s I I - B a s e d I n f r a r e d I ma g e P r o c e s s i n g S y s t e m Q I U Ha n , S A N G N o n g , L I L i ( I n s t
3、 i t u t e f o r P a t t e rn R e c o g n i t i o n a n d A r t i f i c a l I n t e l l i g e n c e , Hu a x h o n g U n i v . o f S c i . a n d T e c h . ; I m a g e I n f o r m a t i o n P r o c e s s i n g a n d I n t e l l i g e n t C o n t r o l L a b o f t h e Mi n i s t r y o f E d u c a t i
4、o n , Wu h a n,Hu b e i 4 3 0 0 7 4 , P. R. C h i n a ) A b s t r a c t : A n i n f r a r e d i m a g e p r o c e s s i n g s y s t e m im p l e m e n t e d in N io s I I e m b e d d e d i n F P G A i s p r e s e n t e d . T h e g l o b a l s t r u c t u r e o f t h e s y s t e m, t h e w o r k i n
5、g t h e o r y o f m u l t i - p r o c e s s o r s a n d t h e p r o c e s s f l o w o f t h e i n f r a r e d i m a g e p r o c e s s i n g a l g o r i t h m a r e d e s c r i b e d i n d e t a i l . A c o m p a r i s o n a n d a n a l y s i s o f t h e s y s t e m t o t h e t r a d i t i o n a l D
6、S P - b a s e d s y s t e m h a s b e e n m a d e , a n d t h e a d v a n t a g e s a n d d i s a d v a n t a g e s o f t h e n e w s y s t e m a r e p o i n t e d o u t . K e y w o r d s ; N io s I I ; F P G A ; S O P C ; Mu l t i- C P U; I n f r a r e d im a g e p r o c e s s i n g E E AC C: 1 2 8
7、 5 1 引言 传统的红外图像处理系统为了满足实时性和灵 活的实际接口 需要, 多采用 D S P +F P G A的硬件架 构。 其中, D S P负责实现图像处理算法, 而F P G A 主要实现各种接口电路, 以及一些辅助性工作, 二者 分工明确。然而, 随着大规模集成电路设计技术的 进步和制造工艺水平的提高, 单个芯片上的逻辑门 数的增加, F P G A的功能和处理能力越来越强, 因 此, 通过一个半导体芯片完成系统级的集成已成为 可能。目 前, 可编程片上系统S O P C ( S y s t e m O n a P r o g r a m m a b l e C h i p )
8、作为一种基于F P G A的可重 构S O C ( S y s t e m O n a C h i p ) , 将处理器、 存储器、 1 / O 口等系统需要的模块集成到一起, 完成整个系统的 逻辑功能, 具有设计灵活、 可裁减、 可扩充、 可升级, 并且软硬件在系统可编程, 是一种灵活高效的S O C 解决方案。 本文着重讨论了基于A l t e r a 公司F P G A的嵌 人式处理器N i o s I I 内核及 S O P C软硬件设计技术。 在此基础上, 设计并实现了基于N i o s I I 的多C P U 红外图像处理系统。 2 系统的总体架构 本系统要实现的功能是接收焦平面产
9、生的 1 6 位灰度级的数字图像, 进行图像增强及归一化处理, 然后输出到 1 0 位视频 D / A转换器芯片, 转换成 P a l / D全电视信号输出。 系统的总体结构分为三个层次: 硬件平台, 驱动 收稿日 期: 2 0 0 5 - 0 8 - 2 2 ; 定稿日 期: 2 0 0 5 - 1 1 - 0 2 墓金项目: 国家自 然科学基金重点项目( 6 0 1 3 5 0 2 0 ) ; 国家重点预研项目( 4 1 3 0 1 0 7 0 2 ) 资助 邱翰等:基于 N i o s l l 的红外图像处理系统设计2 0 0 6年 程序和处理算法。 系统层次结构如图1 所示。 核。N
10、i o s l l 处理器支持2 5 6 个具有固定或可变时钟 周期操作的定制指令; 允许 N i o s I l 设计人员利用扩 展C P U指令集, 通过提升那些对时间敏感的应用 软件的运行速度, 来提高系统性能。 3 . 2 软核设计 系统硬件结构如图2 所示。 图1 系统层次结构 硬件平台: 系统的物理基础, 提供软件的运行平 台和通讯基础, 包括整个硬件电路及软核。硬件部 分在自 行设计的红外图像处理板上实现, 其中, F P - G A采用 A l t e r a 公司的 S t r a t i x E P l S 1 0 F 6 7 2 , 视频 D A C芯片采用A D公司的A
11、 D V 7 1 2 3 ; 另外, 选用了 一块S R A M I D T 7 1 V 0 1 6 S A, 6 4 k X 1 6 位, 用两片拼 成 3 2 位的接口。焦平面采用法国I S G公司的非制 冷型红外焦平面, 原始图像大小为3 2 0 X 2 4 0 像素 1 6 位。软核部分为系统的核心部分, 通过 S P O C B u i l d e r 配置实现, 使用两个 C P U以及其他 I P核。 测试后, 发现系统稳定工作时, C P U最高频率为 1 0 0 MHz , 驱动部分: 配置硬件, 提供应用程序接口A P I . 核心部分使用 自行编写的驱动, 部分调用 N
12、i o s l l I D E ( I n t e g r a t e d D e v e l o p m e n t E n v i r o n m e n t ) 提供的 H A L ( H a r d w a r e A b s t r a c t i o n L a y e r ) 库实现。 处理算法: 采用改进的最值归一化增强算法, 在 N i o s I I I D E 环境下以C语言实现。该算法能够有 效地增强原始图像, 在各种变化的场景下都能正确 地显示, 并且达到了5 0 帧/ s 的实时要求。 图2 系统硬件结构 系统硬件的设计与实现 N i os H嵌入式软核处理器简介
13、N i o s I I 嵌人式处理器是A l t e r a 公司于2 0 0 4 年 nj3. 6 月推出的第二代用于可编程逻辑器件的可配置的 软核处理器, 性能超过 1 0 0 D MI P S , N i o s I I 是基于 哈佛结构的R I S C通用嵌人式处理器软核, 能与用 户逻辑相结合, 编程至A l t e r a 的F P G A中。 处理器 具有 3 2 位指令集, 3 2 位数据通道和可配置的指令 以及数据缓冲。它特别为可编程逻辑进行了优化设 计, 也为可编程单芯片系统( S O P C ) 设计了一套综 合解决方案。N i o s I l 处理器系列包括三种内核:
14、一 种是高性能的内核( N i o s I I / f ) ; 一种是低成本内核 ( N i o s I I / e ) ; 一种是性能/ 成本折中的标准内核( N i - o s I I / s ) , 它是前两种的平衡。本系统采用高性能内 系统设计中, 采用 S O P C B u i l d e r , 配置生成片 上系统。 S O P C B u i l d e r 是功能强大的基于图形界 面的片上系统定义和定制工具。S O P C B u i l d e r 库 包括处理器和大量的I P核及外设。根据应用的需 要, 本 系 统 选 用 N i o s I I / f P r o c
15、e s s o r * 2 , J T A G U A R T , O n - C h i p - Me m o r y x 3 、 D MA , I n t e r v a l t i m - e r , L E D P I O, P a r a l l e l P I O, A v a l o n T r i - S t a t e B r i d g e , S R A M, M U T E X , M A I L B O X , 以及自己定 义的接口和显示模块。对这些模块配置完成后, 使 用 S O P C B u i l d e r 进行系统生成。S O P C B u i l d
16、e r自 动产生每个模块的 H D L文件, 同时自动产生一些 必要的仲裁逻辑, 协调系统中各部件的工作。 针对红外图像的特点, 系统设计时, 采取了以下 方案: 1 ) 分行处理。本系统采用国外 I S G公司的红 外焦平面, 产生的原始图像为3 2 0 X 2 4 0 像素, 1 6 位。一副图像大小约为 1 5 0 k B , 已经超过 了 E P I S 1 0 的R A M位数总量( 约 1 0 9 k B ) , 因此存不 下一幅整图, 只能采用逐行或分块处理。根据实际 情况, 接口和显示部分使用了自 行编写的模块, 均采 用逐行处理的模式。 2 ) 多C P U并行工作。根据焦平
17、面成像器的特 性, 每行的处理时间( 包括接收和发送) 不能超过6 4 K s , 否则将丢失数据。 采用D M A方式, 每行收图和 发图 耗费1 0 K s 时间。 每 行3 2 0 个点做归一化需耗 时9 0 p us 左右。因此, C P U剩下的5 4 p .s 处理时间 第 2 期 邱翰等: 基于N i o s I I 的红外图像处理系统设计 是不够的, 必须采用多C P U并行处理结构。 3 ) 常见的C P U互联有两种结构: a . 主从工作方式。如图3 所示, 一个 C P U作 主控, 负责收发数据及任务分配, 其余 C P U作协处 理。主控C P U将部分数据发送给从
18、 C P U处理, 完 成后, 从C P U传回数据, 再一起送出显示。这种结 构将数据块分细, 减少单个 C P U处理的数据量, 具 有系统延迟短的优点。但是, 由于主从控制关系, 数 据交换频繁, 并且交换耗费占用系统处理时间; 同 时, D M A建立耗时是固定的, 增加数据块必然导致 数据传输耗时的增加。这种结构在算法分配和多 C P U扩展方面也不方便。 4 系统软件的设计与实现 本系统的灰度归一化算法采用 C语言实现, 在 N i o s I I 的I D E 环境下编译。 灰度归一化的实现原理为: H( x , 必= h ( x, , ) 一mi n * 1 0 2 3 ( 1
19、 ) 图3 C P U主从工作方式 b . 流水工作方式。如图4 所示, 将整个处理任 务按处理顺序平均分配到多个C P U, 其间通过双口 R A M中转, 最末端C P U处理完后, 以消息或中断 方式通知首端C P U, 实现同步机制。这种结构的系 统延迟会随着流水线长度的增加而增大。但是, 流 水方式不会增加整体处理时间, 并且一旦任务量增 大, 只需对当前 C P U进一步流水就能实现, 方便 C P U扩展。由于算法按处理顺序分配, 因此, 分配 起来十分方便, 并且适合优化。 式中, H( x , 必为归一化后 1 0 位( 视频D / A转 换器决定) 的字节型图像灰度数据,
20、h ( x , y ) 为归一 化前 1 6 位宽的字型图像灰度数据。m a x 为原始 1 6 位图像灰度数据的最大值, m i n 为原始1 6 位图像灰 度数据的最小值。经过灰度归一化之后, 图像灰度 数据分布在。 - 1 0 2 3 的范围内, 可以正常地在监视 器上显示。 在实际应用中, 发现焦平面图像边缘存在较多 的噪声数据, 严重干扰了灰度线性变换处理中对图 像数据灰度最值的选取, 从而造成处理后的图像显 示为很亮或很暗。 此外, 基于灰度线性变换处理时, 如果背景快速变化, 将造成显示图像闪烁, 即不利于 观察和后续处理。 针对上述问题, 对基于F P G A实 现的灰度线性变
21、换算法进行了扩展处理: 1 ) 对算法中图像最值的选取采用多帧最值平 均的方法进行。 a . 多帧累加求平均, 设计中采用连 续四帧累加平均, 减小噪声的影响; b . 最值加权, 即 取当前帧最值与后上一帧最值的加权和, 这样可减 缓图像闪烁的剧烈程度, 达到渐变的效果。 鑫、 M u t e x 汾rv i au oo x 洲 , 里 粉 哭彩 孽 _I 洲 Du a l - RA M C PU I 一 图4 C P U流水工作方式 ( a ) 原始图像 通过以上比较, 系统最终采用了两个 C P U。通 过流水方式运行, 这样相当于每行数据提供了1 0 0 /i s 左右的 处理时间,
22、理论上满足了归一化算法的处 理要求。C P U之间通过N i o s I I 提供的Mu t e x ( 互斥 体) 和Ma i l B o x ( 邮箱) 进行通讯和仲裁。Mu t e x ( 互 斥体) 保证临界资源使用时被一个C P U独享, Ma i l - B o x ( 邮箱) 通过F I F O结构实现, 完成C P U之间消 息的收发。 ( b ) 处理后 图5 处理前后红外云图的对比 邱翰等: 基于N i o s I I 的红外图像处理系统设计2 0 0 6 年 2 ) N i o s I I 是定点型处理器, 为了提高处理速 度, 将归一化中的除法转换为移位操作, 即将系数
23、 1 0 2 3 / ( m a x -m i n ) 先扩大5 1 2 倍( 由焦平面的数据 有效范围测试得到) , 然后将计算结果右移 9 位。 图5 是经过该算法处理后系统输出的实时图。 V I L W( 超长指令字) , 单周期最多并行8 条指令, 处 理能力达到 2 0 0 0 MI P s 以上。 6 结论 5 N i o s I I 处理器与传统D S P的比较 本文提出了一种基于 N i o s I I 嵌人式处理器软 核的红外图像处理系统实现方法。通过在 A l t e r a 的S t r a t i x F P G A中集成两个 1 0 0 MH z 软核, 实现 了图像
24、归一化算法, 突破了传统F P G A 十D S P的图 像处理系统模式, 真正实现了S O P C 。当中使用的 算法虽然很基础, 但从其工作量来看很有代表意义。 它证明许多处理算法, 比如跟踪检测识别, 都有可能 移植到 N i o s I I 实现。这为 S O P C的实现奠定了基 础。 当然, N i o s I I 也存在一些不足, 比如, 其处理能 力的欠缺仍然是实现图像处理的阻碍。为此, 还有 许多方面需要改进: 1 ) 使用更先进的 F P G A, 提高 N i o s I I C P U的频率; 2 ) 利用硬件处理快的优势, 采 用N i o s I I 的定制指令来优
25、化算法, 提高系统性能。 参 考 文 献: 彭澄廉.挑战 S o C - 基于 N i o s 的 S O P C设计与实践 M . 北京: 清华大学出版社, 2 0 0 3 . 1 - 3 0 0 . 任骊平, 陈王赛.多D S P系统互连方案分析 J .电 子技术应用, 2 0 0 2 , 2 8 ( 4 ) : 5 0 - 5 2 . T L T M S 3 2 0 C 6 0 0 0 P e r i p h e r a l s R e f e r e n c e G u id e E B / O 叼. w w w . t i . c o m, 2 0 0 1 . A l t e r a
26、 . N i o s I I C u s t o m I n s t r u c t i o n U s e r G u i d e E B / O 叨. w w w . a l t e r s . c o m, 2 0 0 5 . A l t e r a . N io s I I P r o c e s s o r H a r d w a r e H a n d b o o k E B / 0 日. w w w . a l t e r s . c o m, 2 0 0 5 . |引|十一iJ 119曰OdJ4一0 厂LFLFL厂!一1七 本系统的实现旨在以N i o s I I 处理器取代传
27、统 D S P 。为了检验两者的优劣, 在处理能力、 稳定性、 系统功耗, 及开发周期等方面进行了对比试验, 并根 据其内部结构, 从理论上证明了它们之间的差距。 作为传统 D S P的挑战者, N i o s I I 具有以下优 势: 1 ) 实现单芯片系统解决方案, 更可靠、 更廉价、 更简洁; 2 ) 通过使用I P 核, 能够灵活快速地搭建系统; 3 ) 内嵌于F P G A内部, 能灵活方便地实现多处 理器并行处理结构; 4 ) 能够通过定制指令, 利用F P G A多个并行处 理单元, 使得在某些方面的处理能力大大超过 DS P o 当然, 与当今飞速发展的高性能 D S P相比,
28、 N i - o s I I 在许多方面还有劣势: 1 ) 内存容量小, 一般在 1 0 0 k B数量级, 而主流 D S P 能达到1 MB以上, 故应用于图像处理等领域 仍然较难胜任; 2 ) N i o s I I 处理器频率目 前最高只能稳定在3 0 0 MH z 以内, 并且缓存较小; 而D S P 拥有大容量的高 速缓存, 再加上 6 0 0 MH z , 甚至 G H z 的频率, 在大 部分应用中, 其处理能力还相差甚远; 3 ) 通常应用下, N i o s I I 只能单周期单指令, 1 0 0 MHz 处理能力约 1 0 0 MI P s ; 而 T i C 6 0 0
29、 0 D S P采用 作者简介: 邱翰( 1 9 7 9 -) , 男( 汉族) , 湖 北武汉人, 硕士研究生, 研究方向为图像分 析和嵌入式系统等。 关于参考文献著录的重要注意事项 根据当前论文投稿中参考文献著录存在的诸多问题, 微电子学 编辑部特别提请论文作者在投稿前一定要认真、 仔细地核实所列参考文献的准确性和完整性。 请仔细阅读以下注意事项: 1 . 文后参考文献书写格式为( 注意标点符号、 顺序, 并不得缺 项) : 专著 : 序号 作者姓名. 书名【 M . 版次( 第一版略) , 出版地: 出版单位, 出版年. 起止页. 期刊 : 序号 作者姓名. 题名【 J . 期刊名. 年. 卷( 期) : 起止页. 会议录、 论文集中的文献 : 序号作者姓名. 文献名 A . 整本文献的编辑者. 文集名【 C . 会议名, 会议 地点, 开会年: 起止页. 2 . 关于作者姓名, 姓在前, 名在后( 拉丁文只用缩写) , 作者 3 人以下应全部列出, 4 人以上只列出前 3 人, 其后 加“ 等, 外文加“ e t a l “ ) , 3 . 若是专著和会议文献, 一定要有出版地、 出版者。 参考文献著录不规范的有可能影响文章的录用。
链接地址:https://www.31doc.com/p-3704204.html