Local Binary Patterns

Matti Pietikauml;inen (2010), Scholarpedia, 5(3):9775.

doi:10.4249/scholarpedia.9775

revision #137418 [link to/cite this article]

Post-publication activity

Curator: Matti Pietikauml;inen

• Matti Pietikauml;inen, Machine Vision Group, Department of Electrical and Information Engineering, University of Oulu, Finland

Figure 1: Description of facial expressions with local binary patterns.

Local Binary Pattern (LBP) is a simple yet very efficient texture operator which labels the pixels of an image by thresholding the neighborhood of each pixel and considers the result as a binary number. Due to its discriminative power and computational simplicity, LBP texture operator has become a popular approach in various applications. It can be seen as a unifying approach to the traditionally divergent statistical and structural models of texture analysis. Perhaps the most important property of the LBP operator in real-world applications is its robustness to monotonic gray-scale changes caused, for example, by illumination variations. Another important property is its computational simplicity, which makes it possible to analyze images in challenging real-time settings.

Contents [hide] 1 LBP in the spatial domain 2 Spatiotemporal LBP 3 Face description using LBP 4 Extensions and applications 5 References 6 Further reading 7 External links 8 See also

LBP in the spatial domain

The basic idea for developing the LBP operator was that two-dimensional surface textures can be described by two complementary measures: local spatial patterns and gray scale contrast. The original LBP operator (Ojala et al. 1996) forms labels for the image pixels by thresholding the 3 x 3 neighborhood of each pixel with the center value and considering the result as a binary number. The histogram of these 2⁸ = 256 different labels can then be used as a texture descriptor. This operator used jointly with a simple local contrast measure provided very good performance in unsupervised texture segmentation (Ojala and Pietikauml;inen 1999). After this, many related approaches have been developed for texture and color texture segmentation.

The LBP operator was extended to use neighborhoods of different sizes (Ojala et al. 2002). Using a circular neighborhood and bilinearly interpolating values at non-integer pixel coordinates allow any radius and number of pixels in the neighborhood. The gray scale variance of the local neighborhood can be used as the complementary contrast measure. In the following, the notation (P,R) will be used for pixel neighborhoods which means P sampling points on a circle of radius of R. See Fig. 2 for an example of LBP computation.

Figure 2: An example of LBP computation.

Another extension to the original operator is the definition of so-called uniform patterns, which can be used to reduce the length of the feature vector and implement a simple rotation-invariant descriptor. This extension was inspired by the fact that some binary patterns occur more commonly in texture images than others. A local binary pattern is called uniform if the binary pattern contains at most two bitwise transitions from 0 to 1 or vice versa when the bit pattern is traversed circularly. For example, the patterns 00000000 (0 transitions), 01110000 (2 transitions) and 11001111 (2 transitions) are uniform whereas the patterns 11001001 (4 transitions) and 01010010 (6 transitions) are not. In the computation of the LBP labels, uniform patterns are used so that there is a separate label for each uniform pattern and all the non-uniform patterns are labeled with a single label. For example, when using (8,R) neighborhood, there are a total of 256 patterns, 58 of which are uniform, which yields in 59 different labels.

Ojala et al. (2002) noticed in their experiments with texture images that uniform patterns account for a little less than 90% of all patterns when using the (8,1) neighborhood and for around 70% in the (16,2) neighborhood. Each bin (LBP code) can be regarded as a micro-texton. Local primitives which are codified by these bins include different types of curved edges, spots, flat areas etc.

The following notation is used for the LBP operator: LBP_P,R^u2. The subscript represents using the operator in a (P,R) neighborhood. Superscript u2 stands for using only uniform patterns and labeling all remaining patterns with a single label. After the LBP labeled image f_l(x,y) has been obtained, the LBP histogram can be defined as

全文共12644字，剩余内容已隐藏，支付完成后下载完整资料

---

局部二值模式

Matti Pietikauml;inen (2010), Scholarpedia, 5(3):9775.

doi:10.4249/scholarpedia.9775

改版#137418 [link to/cite this article]

Curator: Matti Pietikauml;inen

• Matti Pietikauml;inen, 机器视觉组, 电气与信息工程系工程师, 奥卢大学, 芬兰

图 1: LBP算法对面部表情进行描述

局部二值模式 (LBP) 是一种非常有效的纹理算子，它的阈值由每个像素与领域的像素的比较得到，得到的结果是一个二进制数字。由于它的辨识率高，计算简单，LBP在各个领域具有非常广泛的应用。他可以被看作是一个统一的方法来进行纹理分析的传统发散统计和结构模型。也许LBP在现实当中应用最大的优势是它的鲁棒性。例如，它对光照变化较强的鲁棒性。另一个重要的特性是它计算起来非常简单，这使得它可以应对富有挑战性的实时图像分析。

内容 [隐藏] 1 LBP在空间域中的使用 2 时空LBP 3 使用LBP人脸描述 4 扩展和应用 5 参考资料 6 延伸阅读 7 外部链接 8 参见

LBP 在空间域中

用于开发LBP算法的基本想法是，二维表面纹理的描述可以通过两个互补的度量：局部空间模式和灰度的对比度。原始LBP算法由Ojala等人在1996年提出，计算图像中每个像素作为中心点与周围3x3的邻域进行比较，得到的结果是一个二进制数，这个二进制数作为图像像素的标签。这个直方图有2⁸ = 256种不同的值用来描述表明纹理。在这之后，许多相关的改进已经被实施，用来提高纹理和颜色的分类。

Ojala等人在2002年提出，将LBP算法拓展到使用不同大小的邻域中。在非整数像素坐标处使用了一个圆形的领域和双线性插值，这样就允许任何半径和任意数量的像素数量了。附件的灰度方差可以用来补充对比测量。下面的符号(P,R)将用于像素领域，这表示P采样点在半径为R的一个圆上。图2是的一个LBP计算的例子。

图2: LBP计算的一个例子

另一个对原始操作的拓展就是所谓的统一模式的定义，它可以用来降低特征向量的长度并且实现一个简单的旋转不变描述符。这个拓展的灵感来自于一些二进制模式会更多的应用到纹理模式中，相比于其他的图像而言。局部二进制模式被视作统一，如果二进制模式之多包含多位0到1之间的转换，反之亦然，循环遍历模式。例如，模式00000000(0过渡)，01110000(2转换)，和11001111(2转换)是均匀的，模式11001001(4过渡)和01010010(6过渡)则不是。计算LBP标签，使用同一的模式，以便有一个单独的标签为每一个统一的模式和非均匀的模式都贴上一个标签。例如，当使用(8,r)附近时，总共有256种模式，而其中的58是均匀的，这将产生59个不同的标签。

Ojala等发现在他们的实验中与该均匀形态使用在(16,2)附近的(8,1)附近，为70%左右时，占所有图案的不到90%的纹理图像。每个二进制(LBP码)可以被视为一个微纹元。由这些二进制引入的原生像素包括了不同类型的弯曲的边缘，斑点，平坦区域等。

以下的式子用于进行LBP运算： LBP_P,R^u2.下标表示使用操作与一个(P,R)附近。标U2表示只用统一的模式和标签与单个标签的所有剩余的模式。该LBP标记图像后f_l(x,y)就得到结果了，LBP直方图可以被定义为

Hi=sum;x,yI{fl(x,y)=i},i=0,hellip;,nminus;1,(1)

其中n是由LBP算法产生的不同的标签数量，如果A是真I{A}值为1，如果A是A是假，那么A就是0。

当图像拼接起来的直方图进行比较具有不同的尺寸，直方图必须标准化来获得相关的描述。

Ni=Hisum;nminus;1j=0Hj.(2)

时空 LBP

最初的LBP算子被定义成只是进行空间信息的处理。后来，它被拓展到动态纹理分析的空间表示中。为了这个目的，所谓的卷局部二元模式(VLBP)运算被Zhao和Pietikainen在2007年提出。在VLBP思想的背后包括动态纹理寻找，比如在(X,Y,T)的空间，其中X和Y表示的空间坐标，并且T表示帧索引(时间)的一组容量。每个像素的领域在三维空间中被这样定义。然后，同样的在LBP的空间域中，体积纹理基元可以被定义并表现在直方图中。因此VLBP结合运动和外观一起描述动态纹理。

为了使VLBP计算起来简单点，并且容易拓展，一个基于对三个正交平面(LBP-TOP)局部二进制模式的操作被引入。LBP-TOP考虑三个正交平面：XY,X和YT，和并置在这三个方向局部二元模式共现统计如图1。圆形领域推算成椭圆形取样以适应时空的统计数据。

图3显示了三个平面的例子的图像。XY平面代表外观的信息，而对XT平面给出了一列中的时间变化的一个视觉印象和YT描述空间的一系列运动。该LBP码提取了从XY,XT和YT平面，表示为XY-LBP,XT-LBP和YT-LBP所有像素，并从这些面直方图计算和连接成一个直方图。在这样的一个表示中，一个动态纹理由外观(XY-LBP)和两个时空(XT-LBP和YT-LBP)共同出现的统计编码。

图 3: 从三个正交平面的LBP。

在时间轴设置半径为等于在空间轴的半径的不规则的动态纹理。因此，我们在空间和时间上设置了不同的半径的参数。在XT和YT平面，不同的半径可以被分配给在空间和时间采样的临近点。更通常的说，在X,Y和T轴，邻近点的数量和半径也可以是不同的。

使用LBP进行人脸描述

在纹理分类LBP方法中，图像中的LBP码的出现被表现在直方图中。但是，考虑到空间信息丢失的面部图像表示结果的类似的方法，因此应该改写纹理信息，同时还保留它们的位置。实现这一目标的一种方式是使用LBP纹理描述建立面部的几个局部描述并结合成一个全局的描述。这样的在一定限制下可以理解整体表现的局部性的描述已经在最近引起了关注。这些以局部特征为基础的方法是针对一些姿势和不同的照明条件下优于整理特征的方法。

基于LBP面描述的基本方法是阿霍宁等人提出的。(2006年)如下：面部图像被分成局部区域和LBP纹理描述，独立地从每个区域中提取。这种描述被组合，形成了表面的全局描述，如图4所示。

图4：人脸描述和局部二进制模式

该直方图实际上有针对三个不同的层次的局部性描述：对于直方图中的LBP标签包含一个像素级的模式的信息，标签被加在一个小区域，以产生在区域级别和信息直方图被练级构建的全局描述。

应当注意的是，使用基于直方图的方法时，该区域不必是矩形的。他们也不需要相同的尺寸或者形状，并且他们不必要覆盖整个图像。它也可以具有部分重叠的区域。

二维人脸描述方法一直延续到空域(Zhao和Pietikainen 20070)，图1描述了如何使用LBP-TOP面部表情描述。已经存在优秀的人脸识别已经在使用这种方式了。

自从基于LBP的的人脸识别方法的面世，这个方法已经被广泛的运用到人脸分析研究和应用的场景中。一个非常经典的例子就是由李等人提出的避免照明环境变化造成影响的人脸识别系统(2007)。将近红外成像LBP特征和Adabootst的学习相结合。张等在2005年提出了将LBP功能运用到不同的尺度和方向，从40个Gabor滤波器滤波面图图像获得的图像中提取，取得了杰出的效果。哈迪德和Pietikainen在2009年将它运用到从视频序列中识别出脸和性别的LBPS方法。而赵等在2009年所采用的LBP-TOP方法来通过监控嘴唇的变化进行可视化的语音识别。

拓展和应用

LBP方法引导了纹理分析的显著进步。它被广泛地应用到世界范围内各个方面额研究和应用当中。由于其鉴别能力强并且计算起来非常简单，这个方法被非常成功地应用到早期计算机视觉中的那些需要进行纹理处理的问题当中。比如人脸识别和运动分析等(Pietikanen等人2011)。对于LBP相关的研究和链接涉及到许多的参考文件，详细请参见http://www.cse.oulu.fi/MVG/LBP_Bibliography。

为了增加LBP的实用性，它的各种拓展和变形已经被提出来了。例如，Liao等在2009年提出的主导的本地二进制模式，它总结了LBP最频繁发生的模式，提高了识别的准确性。对关注的区域进行描述，例如SIFT来应用到各种计算机视觉问题已经引起了很多的关注。为了实现这个目的，Heikkila等在2009年提出了一个将SIFT和LBP相结合的新的描述。其中中心对称局部二进制模式(CS-LBP)被用来代替由SIFT操作者所使用的梯度算子。Maenpaa和Pietikainen在2004年提出了一个对立的彩色LBP，并研究在分类色彩和质感如何联合和单独使用。Tan等人在2007年，Wang等人在2009年对LBPS和Gabor特征的组合进行了研究。

第一个应用于背景移除的基于纹理的方法是由Heikkila和Pietikainen在2006年提出的。每个像素被建模为一组都通过这个像素周围的圆形区域自适应计算局部二元模式直方图。这个方式被证明是可以适应不同的光照变化，多种情况下的背景的，从而从背景中引入和移除对象。另外，这个方法能够进行实时的处理。Wang等人已经在2009年将一个基于LBPS描述的预处理算法已经被应用到人脸识别的认证系统中的照明变化中。很多针对这些问题的其他基于LBP在算法在最近几年也被提了出来。

除了人脸和人脸表情的识别，LBP也在生物识别技术中有许多其他的应用。包括眼睛定位，虹膜识别，指纹识别， 掌纹识别，步态识别和面部年龄的识别分类等。引用的这些作品可以在LBP参考书目中找到。

参考

• 阿霍宁，T.，哈迪德，A和Pietikauml;inen，M.（2006），脸部与说明局部二元模式：人脸识别。硕士论文。模式分析与机器智能28（12）：2037至41年。
• 哈迪德，A和Pietikauml;inen，M.（2009年），结合从影片外观和运动的人脸和性别识别。模式识别42（11）：2818年至2827年。
• Heikkilauml;，M和Pietikauml;inen，M.（2006），A基于纹理的方

  全文共5756字，剩余内容已隐藏，支付完成后下载完整资料

  ---

  资料编号：[154372]，资料为PDF文档或Word文档，PDF文档可免费转换为Word