智慧城市是一个生态系统。作为整个生态系统，最关键的就是感知这一块，所谓感知就是通过传感器网或者物联网，把数据收集起来。在这个基础上再做一些分析和存储。存储和分析是这个生态系统中比较重要的环节。

　　视频编码与分析的技术挑战

　　在编码效率方面，大家可能知道，到现在为止，所有视频系统里面用的都是非常常规的，通用的视频编码的算法和芯片。这个用法对不对呢？实际上这是不对的，但是现在已经形成这种习惯了，都是这么用的，你不这么用，人家反倒会质疑你。当然从市场化、从减小成本这个角度来说它是对的。但是从视频监控的目的来看，实际上是不对的。因为那个通用的编码技术，它是为电视服务的，本身它这个出发点就是错的。

　　目前视频的自动分析做得不好。因为它在系统设计的时候，不是为了视频自动分析这个目的，而是为了视频存储和以人为核心的视频跟踪，就是一定要有一个人坐在那里看那个大的显示屏。靠这样的一套指导思想来设计现有的智慧城市里面的视频系统，用这样的一个架构去做自动分析，是根本无法实现的。

　　随着时间的推移，监控视频的数据占整个大数据的比重基本上都在一半或者一半以上这样一个数量级。所以数据的存储和处理做好了，大数据的问题就解决了大部分。现在这些大数据之所以没有有效的利用起来，里面很多知识还没有归纳总结出来，也是和现有的数据积累过程，以及这个系统设计的出发点是有关联的。

　　针对这些问题，我们要找到一个技术上的切入点来处理。这个切入点，要更多的看目前智慧城市里急需的到底是什么。实际上就是急需事件的追踪。例如说，有一个人报案，说某家银行被抢了，劫匪坐了一辆白色的车跑掉了，你有没有办法在比较短的时间内查到这辆车的位置。

　　智慧城市中视频技术面临的挑战，就是我们现在面临的三大问题，一个是监控视频的数据存不下，一个是查不准，一个是挡不住。如果我们把这三个问题梳理一下，从技术上来说就是，一个是编码的问题，一个是视频分析与跟踪的问题，融合起来还有跟GPS、音视频结合起来使用的问题。

　　如果我们把它归纳为技术挑战，那就是两个挑战，一个是高效视频编码的挑战，当然是面向监控视频的。第二个就是如何对分析和检索进行支持。如果大家对视频编码和视频分析稍微熟悉一点的话，你会发现一个很奇特的现象，就是做视频编码的人对视频分析不感兴趣，或者说不太做。反过来，做视频分析的人对编码怎么编，基本上做的也不多。为什么会出现这样的情况？做编码的人处理的对象是像素和块，而做分析的人面对的是特征。这两个一个是踩在地面上，一个是在山头上，所以这两伙人很难交汇。我们现在是希望解决这个问题，因为必须把这两个事一起来做，你才可能做成一个面向智慧城市的技术。

　　高效视频编码标准

　　从标准的历史上来看，实际上前30年中，基本上所有的贡献、所有的技术都是围绕着通信领域的视频编码和广播里面的视频编码做的，前期主要是面向广播的视频编码。当然也有面向通信的视频编码，后来也出现了兼顾通信和广播的视频编码，但是所有这些编码都不是面向监控的。你可能会说，视频通信不就是监控的一种吗？有的专家就说，如果你要看现在的视频监控，实际上它是发展了三代，第一代是模拟，第二代是数字，第三代是IP监控。这个IP监控是在网络上，但是不是和编码有针对性的，所以面向监控的编码，目前国际上没有人做这样的标准，只有中国人在做。

　　目前的编码框架一个是变换编码，一个是预测编码，还有一个是商务编码，把这三块组合起来，称为混合编码框架结构。这种编码技术已经使用了30多年。中国从2002年开始，也组织了一个自己的标准，2006年第一版出来之后被ITUT接受为IPTV的一个格式。再后来被广电和工信部联合接受为我们国家地面数字电视机顶盒和地面数字电视一体机的标准，去年AVS的增强档成了我们国家广电的行业标准。去年我们为了把这个标准国际化，也专门在IEEE的标准化协会下面成立了一个AVS的工作组，目前这个工作组已经把第一版编码所有的流程走完了。