先前已经完成过YOLO系列目标检测算法的调试过程,今天主要是将所有的调试加以总结
这里的conda环境就不再赘述了,直接使用requirement.txt文件的即可,也可以参考YOLOX的配置过程5
数据集处理
YOLOv5有自己的数据集格式,博主的数据集为COCO格式,需要自己转换为YOLO格式。
下面代码需要修改的地方:
COCO标注文件:JSON文件地址
生成的YOLO格式标注文件地址:TXT文件地址
保存的数据集对应地址:train2017.txt
写入数据集图片地址:
完整代码如下:
import os
import json
from tqdm import tqdm
import argparse
parser = argparse.ArgumentParser()
# 这里根据自己的json文件位置,换成自己的就行
parser.add_argument('--json_path',
default='/data/datasets/coco/annotations/instances_train2017.json', type=str,
help="input: coco format(json)")
# 这里设置.txt文件保存位置
parser.add_argument('--save_path', default='/home/ubuntu/outputs/yolov5/yolov5/train', type=str,
help="specify where to save the output dir of labels")
arg = parser.parse_args()
def convert(size, box):
dw = 1. / (size[0])
dh = 1. / (size[1])
x = box[0] + box[2] / 2.0
y = box[1] + box[3] / 2.0
w = box[2]
h = box[3]
# round函数确定(xmin, ymin, xmax, ymax)的小数位数
x = round(x * dw, 6)
w = round(w * dw, 6)
y = round(y * dh, 6)
h = round(h * dh, 6)
return (x, y, w, h)
if __name__ == '__main__':
json_file = arg.json_path # COCO Object Instance 类型的标注
ana_txt_save_path = arg.save_path # 保存的路径
data = json.load(open(json_file, 'r'))
if not os.path.exists(ana_txt_save_path):
os.makedirs(ana_txt_save_path)
id_map = {} # coco数据集的id不连续!重新映射一下再输出!
with open(os.path.join(ana_txt_save_path, 'classes.txt'), 'w') as f:
# 写入classes.txt
for i, category in enumerate(data['categories']):
f.write(f"{category['name']}\n")
id_map[category['id']] = i
# print(id_map)
# 这里需要根据自己的需要,更改写入图像相对路径的文件位置。
list_file = open(os.path.join(ana_txt_save_path, 'train2017.txt'), 'w')
for img in tqdm(data['images']):
filename = img["file_name"]
img_width = img["width"]
img_height = img["height"]
img_id = img["id"]
head, tail = os.path.splitext(filename)
ana_txt_name = head + ".txt" # 对应的txt名字,与jpg一致
f_txt = open(os.path.join(ana_txt_save_path, ana_txt_name), 'w')
for ann in data['annotations']:
if ann['image_id'] == img_id:
box = convert((img_width, img_height), ann["bbox"])
f_txt.write("%s %s %s %s %s\n" % (id_map[ann["category_id"]], box[0], box[1], box[2], box[3]))
f_txt.close()
# 将图片的相对路径写入train2017或val2017的路径
list_file.write('/data/datasets/coco/images/train2017/%s.jpg\n' % (head))
list_file.close()
生产的数据集标注文件格式如下:
在该文件夹下还有数据对应文件val2017.txt,内容如下:
即数据集结构如下:
images
train2017
XXX.jpg
val2017
XXX.jpg
labels
train2017
XXX.txt
train2017.txt
val2017
XXX.txt
val2017.txt
至此,数据集处理完成
YOLOv5调试
数据集处理完成后,训练过程只需要修改对应的参数与文件配置即可。
首先修改coco128.yaml文件,改为下面的样子:
随后设置我们要用的模型,YOLOv5分为YOLOv5s,YOLOv5m,YOLOv5l,YOLOvx四个版本,性能依次升高,博主选择的是YOLOv5l版本,同时下载YOLOv5l的权重文件。
parser = argparse.ArgumentParser()
parser.add_argument('--weights', type=str, default='/data/programs/yolov5/yolov5l.pt', help='initial weights path')
parser.add_argument('--cfg', type=str, default='/home/ubuntu/outputs/yolov5/yolov5/models/yolov5l.yaml', help='model.yaml path')
parser.add_argument('--data', type=str, default=ROOT / 'data/coco128.yaml', help='dataset.yaml path')
随后修改yolov5l.yaml文件中的类别数:
随后便可以运行了,这里设置epoch=100,batch-size=16,这里再次吐槽,YOLOX真的耗显存,完事便可以运行了。
YOLOv7调试
由于先前的数据集配置已经完成,有了yolov5的基础,YOLOv7的调试便顺利许多,首先是修改配置文件,找到train.py,看看其需要哪些文件,修改一下即可:
这里可以选择是否使用权重文件,即weights,如果使用的话训练会明显加快,起始值较高,可能最后也不会有太大变化,若是不使用的话代表从头开始训练,训练可能会慢些,训练时间较长,,此外,YOLOv7还给提供了迁移学习版本,我们使用这个较好。即使用权重yolov7_training.pt
parser.add_argument('--weights', type=str, default='', help='initial weights path')
parser.add_argument('--cfg', type=str, default='/home/ubuntu/outputs/yolov5/yolov7/yolov7/cfg/training/yolov7.yaml', help='model.yaml path')
parser.add_argument('--data', type=str, default='data/coco.yaml', help='data.yaml path')
parser.add_argument('--hyp', type=str, default='data/hyp.scratch.p5.yaml', help='hyperparameters path')
parser.add_argument('--epochs', type=int, default=100)
随后修改yolov7.yaml
文件,修改num_class=3
即可
修改coco.yaml
文件
train: /data/datasets/coco/labels/train2017/train2017.txt # 118287 images
val: /data/datasets/coco/labels/val2017/val2017.txt # 5000 images
# number of classes
nc: 3
# class names
names: [ 'car', 'bus', 'truck' ]
随后便可以运行了。
断点训练
在训练过程中,时常会由于各种原因造成训练中断,针对该问题,YOLO系列算法通过断点训练的方式来恢复训练,以YOLOv5为例,在train.py
文件中指定resume参数为True,将weights参数设置为训练终止前的权重文件路径。
parser.add_argument('--weights', type=str, default='/home/ubuntu/outputs/yolov5/yolov5/runs/train/exp9/weights/last.pt', help='initial weights path')
parser.add_argument('--resume', nargs='?', const=True, default=True, help='resume most recent training')