人脸识别系统主要包括图像获取、人脸检测和定位、图像预处理、人脸特征提取、以及人脸识别（身份确认或者身份查找），如下图所示。系统输入一般是一张或者一系列含有未确定身份的人脸图像，以及人脸数据库中的若干已知身份的人脸图像或者相应的人脸特征编码，而其输出则是一系列相似度分数，表明待识别人脸的身份。
人脸检测主要用于定位图像中的人脸，通过改进Boosting 的训练框架并基于大量人脸图像训练了一个通用人脸检测模型，目前已经可以处理多角度和有部分遮挡的人脸。检测的效果如下图所示：
关键点定位主要用于在已知人脸所在位置的基础上，自动标注人脸的五官位置，如（眼睛、鼻子、嘴巴）等位置。我们选取人眼和嘴角以及鼻尖等特征明显的关键点建立点分布模型，通过Cascade Regression的方法训练和预测关键点位置，解决了以上问题，如下图所示：
除了人脸识别技术，同时研发了人脸属性分析技术，旨在提取人脸的各种语义属性信息，包括姿态估计、性别估计、年龄估计、表情识别、人种分类、美颜指数等。目前我们可以从图片中分析出人脸的性别、年龄、种族、微笑，其中性别准确率大于97%，年龄误差小于4岁，达到了业界主流水平，示意图如下图所示：
当抽取得到人脸的特征以后，可以通过聚类的方法将这些特征按一定的粒度聚合成不同的类，相同类里面的人脸会相同或者相似，这样可以把图片中相同模特的商品聚合在一起，可以产生一些新的玩法，同模聚合的效果如下图所示：
人脸搜索/敏感人物监控：主要用于对图片中重要人物，如政治敏感人物，明星进行监控，或者一些传统的安全监控行业的可疑分子的视频监控。首先通过人脸识别算法提取出人脸图像特征信息，在数据库进行特征比对找到对应的人物信息。这类产品可以布置在服务器端，离线调用和在线调用均可，目前主要应用在阿里妈妈直通车和钻展业务，对商品广告图片的明星脸进行监控，使得大规模商品图像的明星资质监控成为可能。
互动产品/安全领域：人脸识别系统中的每个模块都可以单独组成一个产品功能，人脸检测和关键点定位可以用于手机拍照的人脸检测和跟踪，在其上开发出一些人脸美化、表情大咖、自黑动画等，最近在苹果appstore上排名第一的app Faceu就是基于人脸技术做的；而人脸识别可以用于手机的人脸解锁，账户的登录验证，明星脸搜索等。
精准广告投放：人脸属性分析技术，可以应用于商业领域和广告领域，包括广告效果评估，人群分析，精准广告投放等应用，目前已经应用在“拍立淘”图像搜索。