相关资料
广州大学计算机视觉实验一：图像处理入门
广州大学计算机视觉实验二：摄像机几何
广州大学计算机视觉实验三：图像滤波
广州大学计算机视觉实验四：图像分割
广州大学计算机视觉实验五：简易数字识别
广州大学计算机视觉实验六：车牌识别
六份实验报告下载链接Click me🔗
实验六 车牌识别
一、实验目的
本实验课程是计算机、智能、物联网等专业学生的一门专业课程，通过实验，帮助学生更好地掌握计算机视觉相关概念、技术、原理、应用等；通过实验提高学生编写实验报告、总结实验结果的能力；使学生对计算机视觉、模式识别实现等有比较深入的认识。
1.掌握模式识别中涉及的相关概念、算法。
2.熟悉计算机视觉中的具体编程方法；
3.掌握问题表示、求解及编程实现。
二、基本要求
1.实验前，复习《计算机视觉与模式识别》课程中的有关内容。
2.准备好实验数据。
3.编程要独立完成，程序应加适当的注释。
4.完成实验报告。
三、实验软件
使用Python实现。
四、实验内容
任选车牌检测与识别数据集，如SSIG、UFPR，参考文献
https://openaccess.thecvf.com/content_ECCV_2018/papers/Zhenbo_Xu_Towards_End-to-End_License_ECCV_2018_paper.pdf
•任选模型进行车牌检测
•任选机器学习模型进行车牌识别
五、实验过程
1、寻找一个合适的数据集。
想采用深度学习进行完成，因此数据量得保证上千，并且不想耗费太多计算资源，在Colab上实验需要反复上传数据比较麻烦。
在Kaggle上找到了一个合适的印度车牌数据集，数据集包含1万张印度汽车牌照的图片。
展示数据集部分图片：
2、处理数据
Json文件预处理:数据集呈现在一个Json文件中，指定内容、标签、图像宽度、图像高度以及右下和左上边界框的x和y坐标。我们必须将所有字段分开，并以csv格式存储它们。为此，我使用了python中的pandas库。运行seperate.py。
在YOLO中，我们必须为每个图像创建一个.txt文件，并且应该与图像同名。对于每个图像，txt文件将包含5个值—类标签，在我们的例子中是0，绝对中心坐标，x_center和y_center，以及包围框相对于整个图像形状的绝对宽度和高度。运行generating_annotations_test.py 。
3、选择检测模型
用于对象检测:对象检测的主要部分是决定使用哪个模型。有一个广泛的池模型可供我们，每个模型的变化。广义或广泛使用的类型可以分为YOLO，RetinaNet和SSD5模型。
从下图可以看出，最好的模型是YOLOv3和RetinaNet。YOLOv3具有与RetinaNet相当的平均精度(MAP)性能。然而，该算法的推理时间比RetinaNet要短。因为YOLOv3模型需要较多的计算资源，而谷歌Colab服务器的资源不够，因此，我使用YOLOv3模型来进行对象检测。
YOLO的工作原理:将单个图像划分为预先确定大小(N X N)的单元格，利用计算机视觉和定位对每个单元格或网格进行分类。每个单元格由一组5个值表示——类标签、单元格中心(x和y)、每个单元格的宽度和高度。
Ground truth和预测box之间的交集称为交并比(IOU)。我们将每个网格的置信度定义为p(object)*IOU。
4、训练检测模型
首先划分train和test集
选择darknet框架需要YOLO模型，darknet是一个较为轻型的完全基于C与CUDA的开源深度学习框架，其主要特点就是容易安装，移植性非常好，支持CPU与GPU两种计算方式。
安装指令如下：
git clone https://github.com/AlexeyAB/darknet.git
训练检测模型命令如下：
./darknet detector train data/obj.data yolo-obj.cfg yolo-obj_last.weights
5、对验证集图片进行检测
python predict.py --image ./data/obj/image.jpg --config yolo-obj.cfg --weights yolo-obj.weights --classes data/obj.names
6、字符识别
对于光学字符识别：在获得车牌上所需的边界框后，我们需要生成包含字符和数字的字符串。这些任务是使用pytesseract库完成的。
Tesseract 4增加了一个新的基于神经网络(LSTM)的OCR引擎，它专注于行识别，但也仍然支持Tesseract 3的遗留的Tesseract OCR引擎，它通过识别字符模式工作。
Tesseract需要一些处理来改善OCR结果，图像需要被放缩，图像有非常多的差异，另外还有水平排布的文字。并且，可以支持中文字体的识别。
我们将检测到的车牌号码框，导入检测即可
输出：HR 26DG6 167
这个车牌比较正，所以非常好识别，如果出现倾斜较多的情况，则需要通过图像预处理进行修正。
识别代码如下：
import cv2
import pytesseract
img = cv2.imread('plate.jpg')
print(pytesseract.image_to_string(img))
7、全部代码
seperate.py
import pandas as pd
file_open=open('Indian_Number_Plates.json','r+',encoding='utf-8')
file_read=file_open.read()
seperate=file_read.split('"{""')
seperate=seperate[1:]
import re
seperate_by_des=[]
for i in seperate:
seperate_by_des.append(re.split(',',i))
for i in range(0,len(seperate_by_des)):
for j in range(0,len(seperate_by_des[i])):
seperate_by_des[i][j]=seperate_by_des[i][j].replace('"','')
content=[]
label=[]
x_1=[]
y_1=[]
x_2=[]
y_2=[]
h=[]
w=[]
x_11=[]
y_11=[]
x_22=[]
y_22=[]
notes=[]
extras=[]
for i in range(0,len(seperate_by_des)):
if(len(seperate_by_des[i])==10):
x_11.append('')
x_22.append('')
y_11.append('')
y_22.append('')
for j in range(0,len(seperate_by_des[i])):
if(j==0):
content.append(seperate_by_des[i][j].replace('content: ',''))
if(j==1):
s=seperate_by_des[i][j].replace('annotation:[{label:[','')
label.append(s.replace(']',''))
if(j==2):
notes.append(seperate_by_des[i][j].replace('notes:',''))
if(j==3):
x_1.append(seperate_by_des[i][j].replace('points:[{x:',''))
if(j==4):
top_left=seperate_by_des[i][j].replace('y:','')
y_1.append(top_left.replace('}',''))
if(j==5):
x_2.append(seperate_by_des[i][j].replace('{x:',''))
if(j==6):
right_bottom=seperate_by_des[i][j].replace('y:','')
y_2.append(right_bottom.replace('}]',''))
if(j==7):
w.append(seperate_by_des[i][j].replace('imageWidth:',''))
if(j==8):
height=seperate_by_des[i][j].replace('imageHeight:','')
h.append(height.replace('}]',''))
if(j==9):
ex=seperate_by_des[i][j].replace('extras:','')
extras.append(seperate_by_des[i][j].replace('}',''))
else:
for j in range(0,len(seperate_by_des[i])):
if(j==0):
content.append(seperate_by_des[i][j].replace('content: ',''))
if(j==1):
s=seperate_by_des[i][j].replace('annotation:[{label:[','')
label.append(s.replace(']',''))
if(j==2):
notes.append(seperate_by_des[i][j].replace('notes:',''))
if(j==3):
x_1.append(seperate_by_des[i][j].replace('points:[{x:',''))
if(j==4):
top_left=seperate_by_des[i][j].replace('y:','')
y_1.append(top_left.replace('}',''))
if(j==5):
x_2.append(seperate_by_des[i][j].replace('{x:',''))
if(j==6):
right_bottom=seperate_by_des[i][j].replace('y:','')
y_2.append(right_bottom.replace('}]',''))
if(j==7):
w.append(seperate_by_des[i][j].replace('imageWidth:',''))
if(j==8):
height=seperate_by_des[i][j].replace('imageHeight:','')
h.append(height.replace('}',''))
if(j==11):
x_11.append(seperate_by_des[i][j].replace('points:[{x:',''))
if(j==12):
top_left=seperate_by_des[i][j].replace('y:','')
y_11.append(top_left.replace('}',''))
if(j==13):
x_22.append(seperate_by_des[i][j].replace('{x:',''))
if(j==14):
bottom_right=seperate_by_des[i][j].replace('y:','')
y_22.append(bottom_right.replace('}]',''))
if(j==17):
ex==seperate_by_des[i][j].replace('extras:','')
extras.append(ex.replace('}',''))
content=pd.DataFrame(content)
label=pd.DataFrame(label)
x_1=pd.DataFrame(x_1)
y_1=pd.DataFrame(y_1)
x_2=pd.DataFrame(x_2)
y_2=pd.DataFrame(y_2)
h=pd.DataFrame(h)
w=pd.DataFrame(w)
x_11=pd.DataFrame(x_11)
y_11=pd.DataFrame(y_11)
x_22=pd.DataFrame(x_22)
y_22=pd.DataFrame(y_22)
notes=pd.DataFrame(notes)
extras=pd.DataFrame(extras)
dt=pd.concat((content,label,w,h,x_1,y_1,x_2,y_2,x_11,y_11,x_22,y_22,notes,extras),axis=1)
dt.columns=(['content','label','width','height','x_1','y_1','x_2','y_2','x_11','y_11','x_22','y_22','notes','extras'])
dt.to_csv('indian_license_plate_csv.csv',index=False)
generating_annotations_test.py
import pandas as pd
data=pd.read_csv('bounding_box_values.csv')
def convert(width,height,x1,x2,y1,y2):
dw=1./width
dh=1./height
x=(x1+x2)/2.0
y=(y1+y2)/2.0
w=x2-x1
h=y2-y1
x=x*dw
w=w*dw
y=y*dh
h=h*dh
return (x,y,h,w)
for i in range(0,len(data)):
file=open('text/image('+str(i)+').txt','w')
file.close()
for i in range(0,len(data)):
x,y,h,w=convert(data.iloc[i]['width'],data.iloc[i]['height'],data.iloc[i]['x_top_left'],data.iloc[i]['x_bottom_right'],data.iloc[i]['y_top_left'],data.iloc[i]['y_bottom_right'])
file=open('text/image('+str(i)+').txt','r+')
file.write('0'+' ')
file.write(str(x)+' ')
file.write(str(y)+' ')
file.write(str(w)+' ')
file.write(str(h)+' ')
file.close()
for i in range(0,len(data)):
if(data.iloc[i]['x1_top_left']!=0):
print(i)
x,y,h,w=convert(data.iloc[i]['width'],data.iloc[i]['height'],data.iloc[i]['x1_top_left'],data.iloc[i]['x1_bottom_right'],data.iloc[i]['y1_top_left'],data.iloc[i]['y1_bottom_right'])
file=open('text/image('+str(i)+').txt','a+')
file.write('\n0'+' ')
file.write(str(x)+' ')
file.write(str(y)+' ')
file.write(str(w)+' ')
file.write(str(h)+' ')
file.close()
predict.py
import cv2
import argparse
import numpy as np
ap = argparse.ArgumentParser()
ap.add_argument('-i', '--image', required=True,
help = 'path to input image')
ap.add_argument('-c', '--config', required=True,
help = 'path to yolo config file')
ap.add_argument('-w', '--weights', required=True,
help = 'path to yolo pre-trained weights')
ap.add_argument('-cl', '--classes', required=True,
help = 'path to text file containing class names')
args = ap.parse_args()
def get_output_layers(net):
layer_names = net.getLayerNames()
output_layers = [layer_names[i[0] - 1] for i in net.getUnconnectedOutLayers()]
return output_layers
def draw_prediction(img, class_id, confidence, x, y, x_plus_w, y_plus_h):
label = str(classes[class_id])
color = COLORS[class_id]
cv2.rectangle(img, (x,y), (x_plus_w,y_plus_h), color, 2)
cv2.putText(img, label, (x-10,y-10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, color, 2)
image=img[y:y_plus_h,x:x_plus_w]
cv2.imshow('cropped',image)
cv2.imwrite("trying.jpg",image)
image = cv2.imread(args.image)
Width = image.shape[1]
Height = image.shape[0]
scale = 0.00392
classes = None
with open(args.classes, 'r') as f:
classes = [line.strip() for line in f.readlines()]
COLORS = np.random.uniform(0, 255, size=(len(classes), 3))
net = cv2.dnn.readNet(args.weights, args.config)
blob = cv2.dnn.blobFromImage(image, scale, (416,416), (0,0,0), True, crop=False)
net.setInput(blob)
outs = net.forward(get_output_layers(net))
class_ids = []
confidences = []
boxes = []
conf_threshold = 0.5
nms_threshold = 0.4
#only consider predictions grater than 0.5
for out in outs:
for detection in out:
scores = detection[5:]
class_id = np.argmax(scores)
confidence = scores[class_id]
if confidence > 0.5:
center_x = int(detection[0] * Width)
center_y = int(detection[1] * Height)
w = int(detection[2] * Width)
h = int(detection[3] * Height)
x = center_x - w / 2
y = center_y - h / 2
class_ids.append(class_id)
confidences.append(float(confidence))
boxes.append([x, y, w, h])
indices = cv2.dnn.NMSBoxes(boxes, confidences, conf_threshold, nms_threshold)
for i in indices:
i = i[0]
box = boxes[i]
x = box[0]
y = box[1]
w = box[2]
h = box[3]
draw_prediction(image, class_ids[i], confidences[i], round(x), round(y), round(x+w), round(y+h))
cv2.imshow("object detection", image)
cv2.waitKey()
cv2.imwrite("object-detection.jpg", image)
cv2.destroyAllWindows()