计算机视觉笔记

计算机视觉是什么

计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和计算机代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图像处理，用计算机处理成为更适合人眼观察或传送给仪器检测的图像（选自维基百科）

计算机视觉的研究对象主要是映射到单幅或多幅图像上的三维场景，例如三维场景的重建。计算机视觉的研究很大程度上针对图像的内容。

应用：

人脸识别： Snapchat 和 Facebook 使用人脸检测算法来识别人脸。

图像检索：Google Images 使用基于内容的查询来搜索相关图片，算法分析查询图像中的内容并根据最佳匹配内容返回结果。

游戏和控制：使用立体视觉较为成功的游戏应用产品是：微软 Kinect。

监测：用于监测可疑行为的监视摄像头遍布于各大公共场所中。

生物识别技术：指纹、虹膜和人脸匹配仍然是生物识别领域的一些常用方法。

智能汽车：计算机视觉仍然是检测交通标志、灯光和其他视觉特征的主要信息来源。

计算机视觉主要应用：

1.图像分类：

给定一组全部用单一类别标记的图像，我们被要求为一组新的测试图像预测这些类别并测量预测的准确性。但是有各种变化，如视点变化，尺度变化，类内变化，图像变形，图像遮挡，光照条件和背景杂波。

分为以下几步：

输入是一个训练数据集，由N个图像组成，每个图像都标有K个不同类别中的一个。

使用此训练集来训练分类器，以了解每个类的特征。

预测一组前所未有的新图像标签来评估分类器的质量。然后，我们将这些图像的真实标签与分类器预测的标签进行比较。

用于图像分类的最流行的架构是卷积神经网络（CNN）。CNN的典型用例是您为网络图像提供信息，网络对数据进行分类。

2.物体检测：

识别图像中的对象这一任务，通常会涉及到为各个对象输出边界框和标签。这不同于分类/定位任务——对很多对象进行分类和定位，而不仅仅是对个主体对象进行分类和定位。在对象检测中，你只有 2 个对象分类类别，即对象边界框和非对象边界框。例如，在汽车检测中，你必须使用边界框检测所给定图像中的所有汽车。

3.对象跟踪

对象跟踪是指在给定场景中跟踪特定感兴趣对象或多个对象的过程。它传统上具有视频和现实世界交互中的应用，其中在初始对象检测之后进行观察。现在，它对自动驾驶系统至关重要，例如优步和特斯拉等公司的自动驾驶车辆。

物体跟踪方法可以根据观察模型分为两类：生成方法和判别方法。

0.000……….生成方法使用生成模型来描述表观特征并最小化重建误差以搜索对象，例如PCA。

判别方法可用于区分对象和背景，其性能更加稳健，逐渐成为跟踪的主要方法。判别方法也称为检测跟踪，深度学习属于这一类。为了实现检测跟踪，我们检测所有帧的候选对象，并使用深度学习从候选中识别想要的对象。可以使用两种基本网络模型：堆叠自动编码器（SAE）和卷积神经网络（CNN）。

4.语义分割

计算机视觉的核心是分割过程，它将整个图像分成像素分组，然后可以对其进行标记和分类。

特别是，语义分割尝试在语义上理解图像中每个像素的作用（例如，它是汽车，摩托车还是其他类型的类？）。例如，在上图中，除了识别人，道路，汽车，树木等之外，我们还必须描绘每个物体的边界。因此，与分类不同，我们需要从模型中进行密集的逐像素预测。

5.实例分割

除了语义分段之外，实例分段将不同的类实例分段，例如用5种不同颜色标记5辆汽车。在分类中，通常有一个图像，其中单个对象作为焦点，任务是说明图像是什么。但是为了分割实例，我们需要执行更复杂的任务。我们看到复杂的景点有多个重叠的物体和不同的背景，我们不仅要对这些不同的物体进行分类，还要确定它们之间的界限，差异和关系！

参考文章：https://heartbeat.fritz.ai/the-5-computer-vision-techniques-that-will-change-how-you-see-the-world-1ee19334354b