本项目采用同源连续性、高维仿生信息学中的三角形拓扑变形方法、条件生成对抗网络、语义分割、属性分类等关键技术实现基于计算机视觉的人脸变换与行为分析，主要包括：（1）基于同源连续性的人脸老化模拟技术：针对人脸老化过程中的缓慢、连续特性问题，实现人脸老化变形；（2）肖像艺术的机器创作系统：面向人脸肖像的采集、生成、艺术处理、自动绘制的机器人系统等；（3）智能相册管理系统：支持时间排序、照片去重、模糊图像去除、人脸大姿态图像去除、属性分类、年龄分类、人脸审美以及人脸聚类等功能；（4）车辆辅助驾驶系统：在车辆行驶的过程中，通过内外双摄分别监控驾驶员状态与道路情况。

本项目利用人脸、指静脉等生物特征进行身份识别，或通过相关个人信息匹配可靠的身份证明材料，主要包括：（1）指静脉识别技术：指静脉识别是利用静脉血液中的血红蛋白对近红外光的吸收特性获取图像进而进行身份判定的生物特征识别技术。（2）OCR身份证识别：对身份证图像进行分析处理，识别出图像中文字信息。这些文字信息包括姓名、性别、民族、出生、地址和身份证号等。（3）基于人脸识别的人证合一系统：持证人与证件信息的一致性核验，通过比对持证人的面部信息与证件存储的人脸数据来验证持证人的身份。

新媒体时代，网络视频呈爆炸式增长,已经成为人们工作、生活、娱乐必不可少的媒体资源，在带来丰富信息的同时，也引发了检索难、识别难、自动分析程度低等问题，导致视频所携带的大量信息难以高效利用，视频监管更因视频内容中的不良信息难以判断而陷入困局。鉴于此，本项目面向视频中特定事件的识别与理解，从事件语义定义、视频流特征空间描述入手，利用基于视频帧变化过程中的同源连续性原理，开展了视觉感知特性的仿生图像处理方法、融合数据驱动和知识驱动的联合学习以及典型事件的多样性与小样本学习等关键技术研究，通过模拟视觉皮层感受和量化同源连续性规律，建立了结合视觉感知特性的卷积神经网络模型和面向视频流的拓扑积神经网络模型。

动态人脸识别技术是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部特征处理的一系列相关技术。

通过深度人工神经网络提取对表情、年龄变化鲁棒的人脸特征，基于高维形象几何仿生信息学的基本原理，可用欧氏距离来度量人脸相似性。人证比对系统模型参数少，计算量低，可在嵌入式平台上运行。人证比对可广泛应用于机场安检、安防监控、互联网金融及政务办理人证合一等场合。人脸识别被广泛应用于考勤、身份认证、安防监控等领域。

课题组研发的基于近红外图像的人脸识别技术，使用先进人脸检测与关键点定位算法，并使用传统特征提取算法提取检测出的人脸特征，并用模式分类算法将人脸特征与人脸库中其他人脸图像特征进行比对，在错误识别率为0.1%时，正确识别率能达到91%。除了受环境光影响小之外，可实现红外活体检测，有效防止造假认证，可在智能安防、金融安全、人脸考勤机、人脸锁等产品上应用。

通过机器人来绘制人脸肖像画是人工智能的研究方向之一，人脸肖像绘制机器人是可以自动绘制人脸肖像轮廓图的智能机械系统，由图像采集模块、图像处理模块、人脸处理技术模块、机械控制绘图模块组成。通过图像采集模块采集包含人脸的图像，结合人脸检测、关键点定位技术截取人脸图像，通过图像处理模块生成截取出人脸的肖像画，并控制机器人完成对肖像画的绘制。机器人艺术前期能够实现简单的人脸肖像绘制，后期逐步进行功能扩展，以实现机器人审美、机器人自动漫画生成、机器人表情识别等。该项技术可以应用到科普展览，激发青少年对科技的求知渴望，除此之外，技术成熟之后，可以在娱乐文化产业甚至人们的日常生活中发挥其巨大作用。

​实现海量数据下的基于内容图片检索系统，一直是图像检索领域研究的热点问题。基于内容的图像检索系统是根据图像的内容，在已有图像集中找到最『相近』的图片，而这类系统的效果(精准度和速度)和两个因素直接相关：图片特征的表达能力，近似最近邻的查找。其基本背景和原理是基于深度学习的关于二值检索向量的实现快速图像检索的方法。本技术利用深度学习框架产出的特征来替代传统图像特征，希望能对图像有更精准的描绘程度，一般分为两个部分：首先采用二值检索向量分桶查找近似最近邻分类，然后利用图像特征表征桶内图像检索，在兼顾实时性的同时保证较高的识别率。海量数据下的基于内容的图像检索系统，在250w的图像容量中，对于给定图片，检索top 1000相似的时间耗时约为1s，在GPU上的耗时更是毫秒级，而准确率依然能够保持在>90%水平上。利用本技术可实现在本技术可以应用于图像搜索、网页搜索、涂书笔记、街景等互联网产品以及自动驾驶等创新性研究领域。

图像作为视觉信息的来源，蕴含了大量有价值的信息，在图像的获取、存储、传输、显示等过程中不可避免的会引入一些干扰因素，如噪声、模糊、数据丢失等，这些都会造成图像质量的下降，图像质量的好坏直接影响到信息量的获取。课题组有两套图像模糊质量判定技术：分别基于红外图像和可见光图像的模糊质量判定，目前技术主要应用在人脸识别项目的前期人脸图像的质量判定中，其作用为在特征提取前判定人脸图像的模糊程度，将清晰图像保留、模糊图像滤除，以在一定程度上提高人脸识别的准确性。在实验室自有的红外图像数据集（5000张运动模糊图像、8300张清晰图像）上能够达到滤除超过90%的模糊图像同时能够保留超过75%的清晰图像的效果。

与人脸图像的其他变化如姿态、表情、环境光照等相比，年龄老化更难提取，这种变化常常淹没在其他变化中，这增加了年龄特征提取和年龄估计的难度。在研究人脸识别中的年龄问题时，通常都伴随着其他影响因素，比如姿态、光照、表情都有可能对用于识别的图像产生影响。因此人脸老化是人脸识别中 最具挑战性的课题与人脸图像的其他变化如姿态、表情、环境光照等相比，年龄老化更难提取，这种变化常常淹没在其他变化中，这增加了年龄特征提取和年龄估计的难度。在研究人脸识别中的年龄问题时，通常都伴随着其他影响因素，比如姿态、光照、表情都有可能对用于识别的图像产生影响。因此人脸老化是人脸识别中最具挑战性的课题。

随着时间的日积月累，相机、手机所拍摄的照片越来越多，整理照片成为用户的一大难题。利用计算机视觉技术，我们开发实现了一套智能相册管理系统 ，可实现根据照片拍摄时间排序、照片去重、模糊图像去除、人脸大姿态图像去除、属性分类、年龄分类、人脸审美以及人脸聚类等功能。

车牌识别系统是指能够检测到受监控路面的车辆并自动提取车辆牌照信息（含汉字字符、英文字母、阿拉伯数字及号牌颜色）进行处理的技术。车牌识别是现代智能交通系统中的重要组成部分之一，应用十分广泛。它以数字图像处理、模式识别、计算机视觉等技术为基础，对摄像机所拍摄的车辆图像或者视频序列进行分析，得到每一辆汽车唯一的车牌号码，从而完成识别过程。本技术利用传统方法（颜色定位、字符定位）定位“车牌”，利用SVM判定“车牌”是背景干扰还是实际车牌。对判定后车牌进行字符分割预处理，对分割后的车牌字符利用训练的神经元网络模型进行分类识别，具有较高的识别率。

随着网络技术的发展，互联网已经成为我们获取信息的主要途径。诸如图片的多媒体内容在网页中所占的比重在近几年中程爆发式增长 ，因为图片相对于纯文本而言有着更强更灵活的表现形式。由于网页图片中的文字部分能够在很大程度上体现网页的内容，所以有效的识别出图片中的内容对网页高层语义的理解、检索和索引是相当有价值的。图片文字识别技术一般分为三个部分：文字定位、文字分割和文字识别。本技术针对复杂多变的网页图像，设计了新的文字定位与分割算法，在兼顾实时性的同时保证了较高的识别率。本技术可以应用于多媒体搜索引擎、网络内容分析、精准广告、舆情分析等多个领域。

传统的三维重建技术是利用建模软件构造物体的三维形状或者利用三维扫描仪来恢复物体的表面形状，而这些传统方法需要大量专业技术人才和昂贵的设备。双目视觉是一种非接触式的测量技术，具有结构简单、容易操作、成本较低等优势。课题组目前有两套基于双目视觉的三维重建技术体系。其一为基于双目视觉的人脸三维重建，通过双目视觉技术获取左右视角的人脸图像，结合人脸关键点定位技术，恢复人脸稀疏的视察估计，运用线性插值方法初步估计脸部的稠密视差值，并结合局部立体匹配算法对得到的视差结果进行平滑处理，重建人脸的三维点云信息。该方法既不需要昂贵的设备，也不需要通用的人脸三维模型，而是结合了人脸的拓扑结构信息以及立体视觉局部优化算法。该算法能够还原出光滑的稠密人脸三维点云信息，在人脸Bosphorus数据库上取得了更加准确的人脸重建结果。其二为基于深度学习的场景三维重建技术，利用左右视角图像结合深度学习框架，能够较为精准的进行场景重建。该技术的应用领域包括工业自动化生产线、各类检验和监视、视觉导航、图像自动解释、人机交互、虚拟现实等。

对于人脸认证系统，一旦虚假人脸攻击成功，极有可能对用户造成重大损失，因此势必需要为现有的人脸识别系统开发可靠、高效的人脸活体检测技术。人脸活体检测目前已经成为了生物特征识别领域的一个热门课题，得到了各国研究人员的广泛关注。课题组将双目立体视觉技术用到活体检测中，通过在双目图像中进行人脸检测、关键点定位从而能够在经过校正的图像对上获取关键点的深度信息，并用分类器来判断该深度信息是否为活体，具有成本低、速度快、不需要用户配合、无需固定场景且精度高等特点。通过该技术对真实活体的接受率为96.7%，对平面照片、横向弯折照片和竖直弯折照片的拒绝率分别为100%、96.5%和97.5%。活体检测技术在身份认证、金融安全、公安司法和刑侦、信息安全等领域有着广泛应用。

视觉跟踪和行人检测是计算机视觉领域内较早开始的研究方向。经过几十年的积累，这两个方向已经取得了显著的发展。然而，很多方法只是在相对较好地程度上解决了一些关键问题。并且仍旧有不少一般性的关键问题未得到有效的解决。国内外很多研究机构都在致力于研究和发展这两个方面。行人检测与跟踪技术广泛应用于智能监控、车辆辅助系统、高级人机接口等领域。

人脸检测是人脸分析的首要环节，其处理的问题是确认图像（或影像）中是否存在人脸，如果存在则对人脸进行定位。人脸检测的应用领域相当广泛，是实现机器智能化的重要步骤之一。基于归一化像素差的人脸检测方法主要的特点是速度快、检测率高、误检率与错检率低。每个人都有一张脸，而且是一个人最重要的外貌特征。人脸检测技术最热门的应用领域有三个方面：身份认证与安全防护、媒体与娱乐、图像搜索。

人脸识别作为一项成熟的生物识别技术，目前已被广泛应用于金融、公安、社会服务、电子商务等领域。然而人脸很容易用视频或者照片等进行复制，从而达到攻击的目的，活体检测是人脸识别能否有效应用的前提，基于随机交互的人脸活体检测方法，通过对视频中的人脸进行检测、对齐，要求用户随机的做砖头、摇头、眨眼或者张嘴动作，从而分析用户所做的动作是否按要求完成，从而实现活体检测。通过随机化的序列方式可以有效的抵抗照片和视频的攻击。

人脸关键点定位就是利用计算机在一副人脸图像中自动定位出人脸各个器官的准确位置，比如眼睛、鼻子、嘴巴的位置、形状以及整个人脸的外轮廓等信息。人脸特征点定位可以为人脸识别、姿态表情分析、人脸跟踪等研究工作提供相应的基础数据，因而具有举足轻重的地位。人脸具有复杂的三维表面结构，因而对其形成的三维图像，其变化是非常之大的，尤其姿态、表情、不同的光照，所以人脸特征点定位仍是一个具有挑战的关键课题。现在的人脸特征点定位方法主要有：基于级联回归的方法，基于三维人脸的方法，基于统计的方法，基于灰度信息的方法等。

近红外光谱农作物种子鉴别研究采用近红外光谱技术，针对农作物样本，分别利用传统的线性特征提取与非线性特征提取方法对数据进行特征分析，并使用SVM、仿生模式识别、神经网络等方法分别建立品种真实性、单倍体鉴别、油份分析、水分分析等模型。

近红外光谱分析过程研究采用近红外光谱漫反射和漫透射测量的方法，采集建模样品的光谱，再通过光谱数据预处理、特征提取、结合机器学习的方法建立模型；利用建立的模型对所采集的未知样品的光谱进行预测，从而达到将机器学习与近红外光谱技术相结合实现定性定量分析的目的。

在世界各个地区，糖尿病的患病人数都在不断增加，据统计，2014年全球约有4.22亿糖尿病人（我国约1.3亿，占我国人口约10%）。世界卫生组织将糖尿病列为全球第七大死亡原因，并指出：“许多糖尿病病例是可以预防的，采取检测和管理身体状况的措施，可增加糖尿病患者长久和健康生活的可能性”。治疗糖尿病需要频繁检测血糖水平，常规血糖测量需要采血，给病人带来痛苦的同时还存在感染的风险，并且需要试剂或试纸等消耗品，不少人因此常年不检查,贻误病情。近红外光谱主要反映的是样品中含氢基团振动的倍频和组合频吸收，具有丰富的结构和组成信息，非常适合葡萄糖等有机物含量的检测。近红外光谱分析具有无需破坏样品、不使用化学试剂、在秒级时间内即可分析出多种物质的组分含量的优点，是无创血糖检测技术的研究热点。本项目研究近红外光谱无创血糖检测的理论、方法、算法和软硬件实现，研究准确高效的光谱测量技术、光谱信息提取技术和基于机器学习的血糖检测建模技术等关键技术。该技术成熟后可用在医院、社区或家庭等多种使用场地，为医院提供快速血糖检测，方便社区的医疗、保健、养老等服务、或作为智能微型医疗装备提供老年社区及家庭医疗保健服务。

单倍体育种技术可大大缩短育种年限，加快育种进程，降低育种成本，为现代植物育种提供了快速、高效的途径，已成为玉米商业化育种的关键性技术之一。单倍体鉴别是该技术的前提条件。目前玉米单倍体的诱导率仅5~15%，单倍体籽粒的鉴别靠人工挑选，其分选速度慢、准确性低，已不能满足我国玉米单倍体育种技术发展的需要。本项目基于近红外光谱分析与机器学习，研究单倍体种子自动快速鉴别技术，包括单粒种子（活体、多组分、不规则、不均匀的复杂固体样品）高质量光谱无损采集技术、研究同类不同籽粒近红外光谱中蕴含的区别于其它类的本质的、不变特征的特征表示及特征提取技术，以及稳健、可靠、适应性强的定量定性模型等关键技术。采用上述技术，本项目建立的郑单985单倍体种子鉴别模型，单倍体正确识别率>99%，杂合体正确拒识率>95%，鉴别速度为4粒/秒。该技术对带色素标记的种子和带油分标记的种子均可鉴别。

农作物种子的品种真实性问题攸关粮食安全与国计民生，市场上经常出现以劣充优、以未审定品种充当已审定品种等现象，假冒伪劣种子严重损害种植者的利益，也阻碍了我国种业的健康发展。种子监管部门已经大力加强了对种子市场的监管，但现有的种子质量检验技术还无法满足市场监管的需求。研究准确、快速的种子品种真实性鉴别技术，对保护农民利益、促进种业健康发展等具有重要的经济意义和社会意义。针对现有种子品种真实性鉴别技术的诸多不足，本项目将传统近红外光谱分析技术与自主创新的核心技术—高维形象几何分析方法相结合，建立了种子品种真实性鉴别模型、开发出近红外光谱分析软件，并研制出近红外光谱定性分析系统，并该系统易操作、低成本、适用范围广，可提供种子品种真实性现场、实时初筛手段，与现有精细鉴定方法互为有益补充。

手指静脉识别技术是一种新的生物识别技术。手指静脉识别技术利用静脉血液中的血红蛋白对近红外光(690~980nm)的吸收特性来采集静脉图像进而进行身份识别。医学研究表明，不同人的静脉纹路唯一且不变。而且其与其他生物特征识别相比，具有非接触性、活体检测、不易伪造、抗干扰能力强、安全级别更高等优势。实验室自主研发采集设备，增加控制电路，自适应调整LED光照强度，保证图像质量。目前，采用的手指静脉识别技术分为基于传统算法和基于深度学习两类，并在类别数为178类时EER分别达到0.2898%和0.18%。未来，手指静脉识别技术可应用于金融系统、身份认证、公安司法和刑侦、信息安全等领域。

物联网、工业、农业、家庭等场合中的电气设备都离不开处理器。有些应用场合由于是电池供电，对功耗要求高，需要低功耗处理器。本项目“物联网低功耗处理器”是面向物联网应用的低功耗处理器。2018年1月MPW流片，验收合格, 可以全光罩量产。

本项目设计的具有温度感知功能植入式RFID芯片，植入动物体内，可以实时感知、自动采集动物体温，及时发现问题，可成为强化畜牧疫情防控的重要手段，也为食品溯源提供了硬件支撑。芯片结构包含射频模拟前端、数字基带、温度传感器和存储器。其中，射频模拟前端用于将天线接收到的交流电压转换为供电电源，解调其中包含的数字命令并提供给数字基带信号，同时提供上电复位信号和时钟信号；数字基带处理来自读写器的命令，并返回相应的数字信号；温度传感器检测温度，并产生对应的数字信号输入数字基带；存储器用于储存芯片的身份信息，必要时存储温度信息。

便携化实时性快速检测对机器学习算法的性能提出更高要求，通过分析机器学习主流算法，考察使用硬件实现算法时数据流并行处理的关键事务和技术能力，结合算法的时间序列特性和性能要求，研究机器学习算法的FPGA实现方法。

针对农业物联网的特殊需求，以及芯片主要依赖进口且缺乏农业专用芯片的问题，联合中国农业大学信息与电气工程学院在2015年启动农业专用芯片项目研发计划，致力于自主可控农业专用芯片关键技术攻关和系列产品研发。

远程监测控制系统由现场监测控制网络、远程监控中心和移动监控终端三大部分构成。现场监测控制网络由传感器和网关构成，采集现场的数据传输给远程监控中心，或者接收远程监控中心的命令。现场也可以是单个的智能单品，如智能Wi-Fi插座、智能空气净化器、智能制氧机等，这些智能单品直接和远程监控中心通信。远程监控中心完成对现场监测控制网络的数据分析、显示和处理。移动监控终端可以通过远程监控中心完成对现场的监测和控制。该套系统可以应用于智慧城市、智慧家庭、智慧农业、油田和矿山等领域的监测和控制。