集智专栏
资源加载中,请稍后...
集智专栏

如何用TensorFlow追踪《星战》里的千年隼飞船?

先看最终实现的效果视频(不然你可能看一半儿就没动力了)

(视频本来就没声音,别急着摔耳机)

现在很多科技巨头如 IBM、谷歌、微软和亚马逊都推出了简便易用的视觉识别 API,甚至一些小型公司如 Clarifai 等也推出的相似的 API。此外,Facebook今年年初宣布开源其物体检测平台 Detectron,用于推动计算机视觉领域的研究。

下面两幅照片都用 IBM 的 Watson Visual Recognition 中的默认分类器打上了标签,但第一幅图在此之前首先被一个物体检测模型标注过。

物体检测技术自身远比视觉识别先进,但如果你想使用这项技术,得自己下一番功夫。

根据自己的实际用途,你可能并不需要一个自定义的物体检测模型。TensorFlow 的物体检测 API 提供了几个模型,可以调整速度和准确率,都是基于 COCO 数据集

为了让大家方便一些,我(作者 Nick Bourdakos——译者注)做了一个列表,将用 COCO 模型可以检测出的物体放在了一起:

如果你想检测上述列表中没有的物体,比如 logo 什么的,你只能创建一个自定义物体检测器。我自己很喜欢看《星球大战》,尤其喜欢里面的千年隼飞船,所以我想搭建一个模型,识别电影里的千年隼飞船和一些钛战机。可能你觉得这算什么点子,但你不知道这对一个《星球大战》死忠粉来说,究竟有多重要······

某不知名的星战粉丝古先生某不知名的星战粉丝古先生

注释你的照片

训练你的模型需要做很多工作。看到这,你可能会想“哎,哎,哎!我最不想听的就是要干很多活!”如果你真的很不像自己搭建和训练模型,你可以找找相关教程,使用一些平台上提供的已经封装好的模型。

回归正题,谈谈怎么用 TensorFlow 追踪《星球大战》中的千年隼。

首先你需要收集很多照片,将它们全部注释,包括标记出对象坐标和相应的标签等。对于照片中有两架钛战机的情况,可以这样注释:

<annotation>
   <folder>images</folder>
   <filename>image1.jpg</filename>
   <size>
       <width>1000</width>
       <height>563</height>
   </size>
   <segmented>0</segmented>
   <object>
       <name>Tie Fighter</name>
       <bndbox>
           <xmin>112</xmin>
           <ymin>281</ymin>
           <xmax>122</xmax>
           <ymax>291</ymax>
       </bndbox>
   </object>
   <object>
       <name>Tie Fighter</name>
       <bndbox>
           <xmin>87</xmin>
           <ymin>260</ymin>
           <xmax>95</xmax>
           <ymax>268</ymax>
       </bndbox>
   </object>
</annotation>

在搭建我的这个《星球大战》追踪模型的时候,我收集了 308 张图像,每张图像中都有 2 个或 3 个对象。我建议你对每个物体试着找到 200-300 个样例。

你可能会想,“天呐,那我岂不要看成百上千张图像,给每张图像写一大堆的 XML?”

当然不用这样了!有很多注释工具可以让我们用,比如 LabelImg 和 RectLabel。我用的是RectLabel,但是它只有 macOS 版。不过 LabelImg 有Windows 版,用 Windows 系统的同学可以研究怎么用这个工具。

虽然有了注释工具,还是有不少的工作要做,将我的整个数据集注释完,前前后后花了 3 个小时。

如果嫌麻烦,土豪同学可以雇个实习生干这个活,也可以在 Mechanical Turk 上花钱请人众包帮你做。但你要是和我一样是个穷学生,那还是自己撸起袖子加油干吧。

在创建注释的时候,如果你不想写你自己的转换脚本,请确保将注释导出为 PASCAL VOC 格式。我和其他不少同学用的也是这个格式,所以你可以直接“偷师”我上面写的脚本(其实我也是从别人那里“偷师”来的)。

在我们运行脚本为 TensorFlow 准备数据之前,我们还需要做一点微小工作。

复制 Repo

首先点击这里,复制我的 repo

目录结构应该是这样:

models
|-- annotations
|   |-- label_map.pbtxt
|   |-- trainval.txt
|   `-- xmls
|       |-- 1.xml
|       |-- 2.xml
|       |-- 3.xml
|       `-- ...
|-- images
|   |-- 1.jpg
|   |-- 2.jpg
|   |-- 3.jpg
|   `-- ...
|-- object_detection
|   `-- ...
`-- ...

我在 Repo 里包含了训练数据,你可以直接拿去用。但是如果你想用自己的训练数据搭建一个模型,你需要将训练图像添加至 images,将 XML 注释添加至 annotations/xmls,更新 trainval.txt 和 label_map.pbtxt。

trainval.txt 是一列文件名,能让我们发现和将 JPG 文件与 XML 文件关联。比如,下面的 trainval.txt 列表会让我们找到 abc.jpg,abc.xml,123.jpg,123.xml,xyz.jpg 和 xyz.xml 文件:

abc
123
Xyz

注意:一定确保你的 JPG 文件和 XML 文件名一致,不包含扩展名。

label_map.pbtxt 是一列我们想要检测的对象,该列应该看起来如下:

item {
 id: 1
 name: 'Millennium Falcon'
}
item {
 id: 2
 name: 'Tie Fighter'
}

运行脚本

首先,使用电脑上已安装的 Python 和 pip 安装脚本要求:

pip install -r requirements.txt

向 PYTHONPATH 中添加 models 和 models/slim:

export PYTHONPATH=$PYTHONPATH:`pwd`:`pwd`/slim

重要提醒:每次打开终端都必须这样运行,或添加至你的 ~/.bashrc 文件。

运行脚本:

python object_detection/create_tf_record.py

一旦脚本完成运行,你会得到一个 train.record 文件和一个 val.record 文件。我们训练模型会用到它们。

下载一个基本模型

从零训练一个物体检测器要花好几天,即便是在使用多个 GPU 的情况下也是如此。为了加快训练速度,我们会用一个由多种不同数据集上训练得来的模型,将该模型的参数重新用于初始化我们的新模型。

你可以从这个动物园模型上下载一个模型。每个模型的准确率和速度都各有不同,我用的是 faster_rcnn_resnet101_coco。

将所有的 model.ckpt 文件提取并转移至我们的 repo 中的根目录。

你会看到一个叫 faster_rcnn_resnet101.config 的文件。它被设定用于处理 faster_rcnn_resnet101_coco 模型。如果你用的是另一种模型,你可以点击这里,获取相应的配置文件

准备训练

运行如下语句,就会开始训练了!

python object_detection/train.py \
       --logtostderr \
       --train_dir=train \
       --pipeline_config_path=faster_rcnn_resnet101.config

注意:用你的配置文件的位置替换 pipeline_config_path。

global step 1:
global step 2:
global step 3:
global step 4:
...

耶!凑效了!

10分钟后:

global step 41:
global step 42:
global step 43:
global step 44:
...

电脑都快冒烟了······

global step 71:
global step 72:
global step 73:
global step 74:
...

这究竟要多久啊?

我用的模型运行了 2 万 2 千步。

等等,你说啥?!

enter_image_description_here

我用的是一台老旧的 MacBook Pro。如果你也是在类似配置的电脑上训练,我估计你的速度也是 15 秒每步,差不多就是这个速度。那么按照这个数据,你得花上 3 到 4 天不停的训练才能得到一个差不多的模型。

好吧,这太让人无语了,我可没时间等这个。

PowerAI 前来救驾!!

PowerAI

PowerAI 能让我们在 IBM P 系列服务器上以 P100 GPU 快速地训练我们的模型!

有了 PowerAI,训练 1 万步只需 1 个小时。但是,这只是用了 1 个GPU。PowerAI 的真正力量源自它能以高达 95% 的效率在数百个 GPU 上进行分布式的深度学习。

速度很快!

因为我不需要训练几百万个图像,所有我也就不需要用几百个 GPU,有1个就够了。

创建 Nimbix 账户

开发者可以在 Nimbix 创建一个账户,每个账户可以在 PowerAI 上免费处理数据10小时。点击这里注册

注意:这个注册过程不是自动的,需要24小时等候审核和批准,所以想免费用这10小时的同学请规划好时间。

一旦申请获批,你会收到一封邮件,确认和创建你的 Nimbix 账户。邮件里会问你要一个优惠码,不用管它,空着就行。

现在你应该可以在这里登录了。

部署 PowerAI Notebooks 应用

首先搜索 PowerAI Notebooks。

点击它,然后选择 TensorFlow。

选择机器类型为 32 thread POWER8, 128GB RAM, 1x P100 GPU w/NVLink (np8g1)。

一旦开始,就会出现下面的控制面板。当服务器的 status 变为 processing 时,就开始访问服务器了。

点击(click to show),获取密码。

然后点击 Click here to connect 启动 Notebook。

使用用户名 nimbix 和刚才获取的密码登录。

开始训练

点击 New 下拉菜单,选择 Terminal,得到一个新的终端窗口:

然后你会看到一个熟悉的模样:

注意:终端可能在 Safari 上不适用。

训练这一步和我们在本地环境下运行的步骤一样。如果你使用的是我用的训练数据,那么你只需运行如下语句复制我的 repo(如果不是用的我的训练数据,那就复制你自己的 repo):

git clone https://github.com/bourdakos1/Custom-Object-Detection.git

然后通过 cd 进入根目录:

cd Custom-Object-Detection

运行下面的代码段,它会下载下来我们之前下载的预训练模型

faster_rcnn_resnet101_coco:

wget 

http://storage.googleapis.com/download.tensorflow.org/models/object_detection/faster_rcnn_resnet101_coco_11_06_2017.tar.gz
tar -xvf faster_rcnn_resnet101_coco_11_06_2017.tar.gz
mv faster_rcnn_resnet101_coco_11_06_2017/model.ckpt.* .

然后我们需要再次更新 PYTHONPATH,因为这是在新的终端中:

export PYTHONPATH=$PYTHONPATH:`pwd`:`pwd`/slim

接着我们终于能再次执行训练命令了:

python object_detection/train.py \
       --logtostderr \
       --train_dir=train \
       --pipeline_config_path=faster_rcnn_resnet101.config

下载你的模型

模型什么时候能准备好呀?这要根据你的训练数据的多少。数据越多,你需要的步骤就越多。我的模型差不过在 4500 步左右时趋于平稳,在 20000 步左右时达到顶峰。我继续训练,一直训练了 20 万步,但是效果没有进一步改善。

我建议你每 5000 步下载一次模型,然后进行评估,以确保你训练的方式是正确的。

点击左上角的 Jupyter 的 logo,然后导航文件树至 Custom-Object-Detection/train。

下载所有数字最高的 model.ckpt 文件:

  • model.ckpt-STEP_NUMBER.data-00000-of-00001
  • model.ckpt-STEP_NUMBER.index
  • model.ckpt-STEP_NUMBER.meta

注:你可以每次只下载一个。

注:一定在训练完成后点击电脑上的那个红色按钮,否则计时器会一直计算时间。

导出推理图

要想用我们的代码使用整个模型,我们需要将检查点文件( model.ckpt-STEP_NUMBER.* )转换成一个冻结的推理图(inference graph)。

将刚才下载到的检查点文件转移至你一直在用的 repo 中的根文件夹里。

然后运行如下命令:

python object_detection/export_inference_graph.py \
       --input_type image_tensor \
       --pipeline_config_path faster_rcnn_resnet101.config \
       --trained_checkpoint_prefix model.ckpt-STEP_NUMBER \
       --output_directory output_inference_graph

记得 export PYTHONPATH=$PYTHONPATH:pwd:pwd/slim。

你应该会看到一个新的 output_inference_graph 目录,包含一个 frozen_inference_graph.pb 文件。这就是我们需要的文件。

测试模型

现在,运行如下命令:

python object_detection/object_detection_runner.py

然后就会在 test_images 目录里的所有图像上运行在 output_inference_graph/frozen_inference_graph.pb 中发现的对象检测模型,并将结果导出在 output/test_images 目录中。

结果

我们把搭建的模型运行于《星球大战:原力觉醒》中的片段,就得到如开头视频的检测结果了。

从视频中可以看到,我们搭建的模型成功地追踪到了影片中的千年隼飞船和钛战机。

enter_image_description_here

当然也欢迎你在其他作品上进行练习,完成以后分享出来并@景略集智 我们一起看看。

您也许喜欢这些文章

[Seaborn入门] 01 distplot与kdeplot

发表至系列教程
Seaborn是一个基于matplotlib的图形可视化的Python库。它提供了一种高度交互式界面,便于用户能够做出各种有吸引力的统计图表,同时使得程序绘图更加容易便捷。本文将介绍Seaborn的简单说明以及使用Seaborn与其他科学计算库如Pandas、Scipy结合来绘制各类科学性图表的一般方法。

深度学习环境搭建手册——安装Nvidia、Cuda、CuDNN、TensorFlow以及Keras

发表至数据科学
本文简要介绍了在Ubuntu系统上搭建基于GPU的深度学习运行环境所需要的各类深度学习驱动、工具以及软件包的安装流程和注意事项。

[Python爬虫] BeautifulSoup4基础问题:如何获取特定标签内的网页元素

发表至趣味项目
问题来自知乎,题主在使用Python的BeautifulSoup4库爬取网页时,在获取特定html标签内容过程中遇到问题:一是爬取文本内容失败,二是从文本中提出特殊符号,如括号。 Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。

文章评论(2)

船长集智 运营 发表于 11天前回复
回复兆延:酷炫啊!!
上手自己弄♂一个~
兆延 发表于 12天前回复
酷炫啊!!