一文教你使用HSV颜色模型和openCV构建昼夜分类器

Opencv 是一个计算机视觉包,我们将使用它来处理图像和操作它。numpy用于数值计算,matplotlib用于图像显示。

1． 导入用于测试的库和图像

我们将使用的是用于训练和测试的室外图像

该图像已被标注,即分类为白天和夜间图像。

from util import daynight_helper
import matplotlib．pyplot as plt
import cv2
import numpy as np 
#path to the folder where the images are
training_data_path = 'data/day_night_images/training'

我们已经指定了训练图像的路径,但原始图像有噪声并且没有很好地优化分析。

例如,图像可能具有不同的大小,或者标签可能是我们的文字。这是设计模型的第一步。数据清洗。所以我们会写一个助手来帮助我们。

这是我们的图像文件夹结构的样子

data / 
  day_night_images /
    training /
      day /
        img001．jpg
        img002．jpg
      night / 
        img100．jpg
        img101．jpg
    test /
      day /
        img001．jpg
        img002．jpg
      night / 
        img100．jpg
        img101．jpg

因此,我们希望我们的助手读取这个目录并输出带有相应标签的图像,以便img001．jpg有一个日期标签。

我们还将使用数字对标签进行编码。1代表白天,0代表夜晚。

这是代码:

import os
import glob 
import matplotlib．image as mpimg
import cv2
def load_dataset(image_dir):
    img_list = []
    img_types = ['day', 'night']
    
    for img_type in img_types:
        
        for file in glob．glob(os．path．join(image_dir, img_type, '*')):
            img = mpimg．imread(file)
            
            if not img is None:
                img_list．append((img, img_type))
                
    
    return img_list
def standardize_image(image):
    std_img=  cv2．resize(image, (1110, 600))   
    return std_img
def encode_label(label):
    if label== 'day':
        return 1
    else:
        return 0
def standardize_inputs(img_list):
    std_list = []
    
    for img in img_list:
        std_img = standardize_image(img[0])
        std_label = encode_label(img[1])
        
        std_list．append((std_img, std_label))
    
    return std_list       

第 8-18 行负责检查文件夹中的所有图像,如果是图像,则将其添加到列表img_list中

第 24 行是我们标准化图像的地方,在这种特殊情况下,我们将其大小调整为 1110 x 600

第 28 -32 行是我们将标签从文本编码为数字的地方。如果是白天,则为1,否则 0

第 34-43 行是我们从第 8 行创建的列表,对图像进行标准化并对标签进行编码。

让我们在我们的项目中导入它并运行以下代码以查看是否设置了助手程序。

training_data_path = 'data/day_night_images/training'
training_data = daynight_helper．load_dataset(training_data_path)
std_training_data = daynight_helper．standardize_inputs(training_data)
img = std_training_data[0][0]
label = std_training_data[0][1]
plt．imshow(img)
print('Shape ', img．shape)
print('label: ', label)

这应该为你提供Shape (600, 1110, 3) 标签的输出:1

3．获取图片的平均亮度

接下来,我们将编写一个函数(基于 HSV 颜色模型)来获取图像的平均亮度。因此,这个分类问题的特征是亮度。我们正在提取并使用它来解释新图像。

#feature extraction - brightness using hsv
def brightness_value(img):
    hsv_img = cv2．cvtColor(img, cv2．COLOR_RGB2HSV)
    v_values = np．sum(hsv_img[:, :, 2])
    area = img．shape[0] * img．shape[1]
    avg_brightness = v_values/area
    return avg_brightness

基本上,我们选择 HSV 颜色模型的 V 值并将其除以图像面积。

在示例图像上运行此函数以了解图片的亮度。

4． 使用选定的标记昼夜差异的阈值来估计标签

一旦我们获得了图片的平均亮度,我们就可以标记一个阈值来划分白天和夜晚的图片。

这个标志着昼夜的差异是我们最大的盟友。请记住,阈值是平均亮度的函数。

这是预测标签的代码:

def estimate_label(img, threshold):
    avg_brightness = brightness_value(img)
    predicted_label = 0
    threshold = threshold
    if avg_brightness > threshold:
        predicted_label = 1
    
    return predicted_label, avg_brightness

很简单吧?

但是我们怎么知道阈值呢?

答案:我们在计算了一些白天和黑夜图像的平均亮度后进行选择,然后我们从中做出直观的猜测。

这是我们的出发点。对于这种情况,我们选择 120。

但是 120 是最佳阈值吗?

5． 寻找最优阈值

我们可以在阈值为 120 时结束我们的模型预测,我们的准确率为 86%。但是,我们是否可以通过调整或修改阈值来提高准确度,以接近在白天和黑夜之间划出细线的那个点——比如白天和黑夜本身。

因此看看优化器代码:

def estimate_label(img, threshold):
    avg_brightness = brightness_value(img)
    predicted_label = 0
    threshold = threshold
    if avg_brightness > threshold:
        predicted_label = 1
    
    return predicted_label, avg_brightness

在这里,我们根据阈值估计标签,如果它是正确的,我们就接着下一步。

如果不是,我们计算当前阈值和平均亮度的平均值——因为阈值是基于平均亮度的。

threshold = 120
for i in range(0, len(std_training_data)):
    img_data = std_training_data[i]
    threshold = optimize_threshold(img_data, threshold)
print('threshold ', threshold)
#threshold  116

运行这个会产生一个新的阈值——116。

PS:可以以不同的方式调整阈值,即平均阈值和平均亮度。这是我在这段代码中使用的技术。

我们有我们的阈值和估算器。让我们在测试图像上运行我们的模型,看看表现如何。

import random
test_data_path = 'data/day_night_images/test'
test_data = daynight_helper．load_dataset(test_data_path)
test_data = daynight_helper．standardize_inputs(test_data)
random．shuffle(test_data)
threshold = 116
correctly_classified = []
misclassified = []
for i in range(0, len(test_data)):
    img_data = test_data[i]
    pred, avg_brightness = estimate_label(img_data[0], threshold)
    #print('predicted ', pred)
    label = img_data[1]
    #print('label ', label)
    if pred == label:
        correctly_classified．append(img_data)
    else: 
        misclassified．append(img_data)
        
#total :  160
#Correct predictions:  140
#Misclassified:  20
#Accuracy  0．875

我们从清理我们的测试数据开始,然后对其进行打乱(第 7 行)。因为我们已经有了阈值。我们可以估计标签。然后记录输出——正确分类与否。

与仅选择 120 作为阈值时的 86% 相比,我们对此的准确率为 87．5%。而且还有改进的空间。

思考。还可以做些什么来进一步提高准确性?你能否添加另一个功能来跟踪平均亮度?有没有办法将阈值移动到最佳值?