淘先锋技术网

首页 1 2 3 4 5 6 7

OpenCV 信用卡数字识别

学完OpenCV图像处理的基本知识后，就可以用这些基本知识进行综合运用，信用卡数字识别就是用模板匹配、轮廓检测、阈值处理、边缘检测等进行综合运用的。

案例来源于傅老师。

概念：

阈值处理：

ret, dst = cv2.threshold(src, thresh, maxval, type)

ret：表示返回的阈值。

dst：表示输出图片。

src：表示输入图片。

thresh：表示阈值。

maxval：当像素值超过了阈值（或者小于阈值，这里需要根据type参数决定），所将像素值替换为maxval。

type：二值化操作类型。

cv2.THRESH_BINARY：超过阈值部分取maxval（最大值），否则取0。 cv2.THRESH_BINARY_INV：THRESH_BINARY的反转。

cv2.THRESH_TRUNC：大于阈值部分设为阈值，否则不变。

cv2.THRESH_TOZERO：大于阈值部分不改变，否则设为0。

cv2.THRESH_TOZERO_INV：THRESH_TOZERO的反转。

轮廓检测：

包围轮廓：

x,y,w,h = cv2.boundingRect(cnt)

用一个最小的矩形，把找到的形状包起来。

cnt：为findContours中得到的轮廓坐标中的一组。

返回值为矩形框的左上角的坐标(x,y)，宽w，高h。

正文：

1.对模板图片进行处理，得到每个数字的模板。

import cv2
import numpy as np
def cv_show(name, img):
    cv2.imshow(name, img)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

def sort_contours(cnts, method="left-to-right"):
    reverse = False
    i = 0

    if method == "right-to-left" or method == "bottom-to-top":
        reverse = True

    if method == "top-to-bottom" or method == "bottom-to-top":
        i = 1
    boundingBoxes = [cv2.boundingRect(c) for c in cnts] #用一个最小的矩形，把找到的形状包起来x,y,h,w
    (cnts, boundingBoxes) = zip(*sorted(zip(cnts, boundingBoxes),
                                        key=lambda b: b[1][i], reverse=reverse))

    return cnts, boundingBoxes

# 读取模板图片
template = cv2.imread('ocr_a_reference.png')
cv_show('template', template)
# 模板图片灰度化。这里的模板图片本身就是二值化的因此没有明显区别。
template_gray = cv2.cvtColor(template, cv2.COLOR_BGR2GRAY)
cv_show('templage_gray', template_gray)
# 二值化，转化为数字为白色，背景为黑色的图片。
template_binary = cv2.threshold(template_gray, 127, 255, cv2.THRESH_BINARY_INV)[1]
cv_show('template_binary', template_binary)

这里threshold后面的[1]表示取threshold函数返回值的第二个。threshold函数返回值为阈值和二值化后的图片，即这里仅保存返回后的图片。

# 根据二值化的模板图，进行轮廓检测
cnts, hierarchy = cv2.findContours(template_binary,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
# 画出每个数字的轮廓
template_rect = cv2.drawContours(template.copy(), cnts, -1, (0,0,255), 2)
cv_show('template_rect', template_rect)
# 对十个数字根据左上角的位置进行排序，这样数字按照从小到大的顺序排列出来。
cnts = sort_contours(cnts, method="left-to-right")[0]
number = {}
# 根据排列的结果，将每个数字截取出来。将每个数字图片所对应的数字对应起来。
# 这里要注意，对像素值进行取值时，数组的行对应的是图片的y轴，列对应的图片的x轴。
for (i, cnt) in enumerate(cnts):
    (x,y,w,h) = cv2.boundingRect(cnt)
    roi = template_binary[y:y+h, x:x+w]
    roi = cv2.resize(roi, (57,88))
    number[i] = roi

2.对信用卡信息进行处理，去除多余的背景信息。

# 读取信用卡图片
cardImg = cv2.imread('credit_card_01.png')
cardImg = cv2.resize(cardImg,(300, int(float(300 / cardImg.shape[1]) * cardImg.shape[0])) , interpolation=cv2.INTER_AREA)
cv_show('cardImg', cardImg)
cardImg_gray = cv2.cvtColor(cardImg, cv2.COLOR_BGR2GRAY)
cv_show('cardImg_gray', cardImg_gray)
# 指定卷积核大小
rectKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (7, 7))
sqKernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 3))
# 进行礼帽操作
cardImg_tophat = cv2.morphologyEx(cardImg_gray, cv2.MORPH_TOPHAT, rectKernel)
cv_show('cardImg_open', cardImg_tophat)

3.对信用卡上的数字进行选取，对于非卡号数字进行剔除。

# 使用sobel算子进行边缘检测，这里仅适用x方向的梯度。因为经过实验，使用x,y混合的梯度，效果并不理想。
sobelx = cv2.Sobel(cardImg_tophat, cv2.CV_64F, 1, 0, ksize=3)
sobelx = cv2.convertScaleAbs(sobelx)
(minX, maxX) = (np.min(sobelx), np.max(sobelx))
sobelx = (255 * ((sobelx - minX) / (maxX - minX)))
sobelx = sobelx.astype('uint8')
cv_show('sobelx', sobelx)
#进行闭运算，使相邻的数字连接起来，这样便于筛选。
cardImg_close = cv2.morphologyEx(sobelx, cv2.MORPH_CLOSE, rectKernel)
cv_show('cardImg_close', cardImg_close)

cardImg_binary = cv2.threshold(cardImg_close, 0, 255, cv2.THRESH_OTSU | cv2.THRESH_BINARY)[1]
cv_show('cardImg_binary', cardImg_binary)

cardImg_close = cv2.morphologyEx(cardImg_binary, cv2.MORPH_CLOSE, sqKernel)
cv_show('cardImg_close', cardImg_close)
# 轮廓检测，检测出每一个数字区块
cnts, hierarchy = cv2.findContours(cardImg_close, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cardImg_cnts = cv2.drawContours(cardImg.copy(), cnts, -1, (0,0,255), 2)
cv_show('cardImg_cnts', cardImg_cnts)

# 对轮廓进行筛选， 根据边框的尺寸仅保留卡号区域
locs = []
for (i, c) in enumerate(cnts):
    (x, y, w, h) = cv2.boundingRect(c)
    ar = w / float(h)

    if ar > 2.5 and ar < 4.0:
        if (w > 40 and w < 55) and (h > 10 and h < 20):
            locs.append((x, y, w, h))

locs = sorted(locs, key=lambda x: x[0])
for (x, y, w, h) in locs:
    cv2.rectangle(cardImg_cnts, (x,y),(x+w,y+h),(0,0,255),3)
cv_show('cardImg_cnts', cardImg_cnts)

4.得到卡号区域后，对卡号进行数字划分。进行模板匹配，得到每个数字图像所对应的数字。

output = []
# 对每个4数字块进行处理
for (i, (x, y, w, h)) in enumerate(locs):
    group_output = []
    group = cardImg_gray[y-5:y + h + 5, x-5:x + w + 5]
    group = cv2.threshold(group, 0, 255, cv2.THRESH_OTSU|cv2.THRESH_BINARY)[1]
    cv_show('group', group)
    group_cnts, group_hierarchy = cv2.findContours(group
                                                           , cv2.RETR_EXTERNAL
                                                           , cv2.CHAIN_APPROX_SIMPLE)
    group_cnts = sort_contours(group_cnts, method="left-to-right")[0]
    # 分割每个数字
    for cnt in group_cnts:
        (nx,ny,nw,nh) = cv2.boundingRect(cnt)
        roi = group[ny:ny+nh, nx:nx+nw]
        roi = cv2.resize(roi, (57, 88))
        cv_show('roi', roi)

        score = []
        # 对每个数字进行模板匹配
        for (number_i, number_roi) in number.items():
            result = cv2.matchTemplate(roi, number_roi, cv2.TM_CCOEFF)
            score_ = cv2.minMaxLoc(result)[1]

            score.append(score_)

        group_output.append(str(np.argmax(score)))
# 绘制每个数字
    cv2.rectangle(cardImg, (x - 5, y - 5),
                  (x + w + 5, y + h + 5), (0, 0, 255), 1)
    cv2.putText(cardImg, "".join(group_output), (x, y - 15),
                cv2.FONT_HERSHEY_SIMPLEX, 0.65, (0, 0, 255), 2)
    output.append(group_output)

cv_show('cardImg', cardImg)