李卢

一旦负责JD智能冰箱硬件产品定义，设计和开发，供应链管理，制造商合作等。

Zeng Xiangyun

JD Smart冰箱业务组和图像识别技术专家的高级产品研发工程师

目前，它主要负责与智能冰箱图像识别有关的产品业务，以及在智能家居设备方案中的创新和创意研发工作。

智能冰箱图像识别技术的行业概述

随着人工智能领域的技术突破以及该行业的快速发展，国内和国外市场目前都在使用传统的制造 +人工智能技术，以使越来越广泛地使用。从今年年初的国际消费电子展览（CES）到中国家用电器和消费电子博览会（AWE），智能冰箱中的图像识别技术无疑已成为两个主要博览会的最大亮点；

从展览中，我们非常直观地了解到，主要的冰箱制造商都将目光投向了。例如，三星使用视图内部相机启动了家庭中心2.0系统，以允许用户查看冰箱内的成分。然后，这些项目的图像将添加到购物清单中，用户可以通过万事达卡轻松地通过应用程序杂货订购成分； LG SmartInstaview冰箱具有20,000个像素全景超视角镜头相机，该镜头可以从各个角度捕获内部图像，并且可以通过智能手机访问；通过图像识别技术，我们可以不断丰富食物的类型并记录用户的日常饮食数据。同时，JD和MIDEA于2016年5月在C​​ESA上共同发布了最新的冰箱智能解决方案，配备了智能身体感知，图像识别和营养建议功能，MIDEA Smart Smart冰箱功能；今年5月22日，在北京举行了的“多端智能智能商业策略发布会和JD Smart冰箱联盟建立仪式”，并且在同一天，具有图像识别功能的智能冰箱可以发射，该功能可以立即捕获冰箱后立即捕获0.02速度。图像识别响应速度在200ms之内，该行业首次实现了非常快速的实时反馈图像识别结果。

智能冰箱图像识别行业解决方案

在硬件方面，为了实现图像识别技术，相机和获得冰箱内部成分的必要传感器已安装在盒子内，并且获得了更好的图片，以供云识别引擎识别。从今年的两个展览会和最新的智能冰箱市场来看，大多数图像识别硬件解决方案都是在冰箱房间的每层楼上安装一个相机。冰箱室的三到四楼有三到四个摄像机。一些智能冰箱甚至在每个楼层安装了两个摄像头（例如Meiling的Chiq具有8个相机）。当然，还可以在整个冰箱中安装两个相机的解决方案。其中，JD Smart冰箱就是这样的模型。 JD Smart冰箱具有全球领先的门盒际技术。通过冰箱的内置双摄像头，您可以准确获取冰箱中的成分。

从软件方面，从识别体系结构的角度来看，冰箱客户端基本上使用冰箱客户端收集图片，将其上传到云中以识别，然后将识别结果返回给客户端（冰箱端和手机端）以显示。从算法框架的角度来看，大多数图像识别技术采用了深度学习方法。据了解，有些人还采用了深度学习 +传统方法的组合来更好地解决数据粒度问题，而JD图像识别技术是其中的应用和实践者。常见的深度学习框架不仅包括Theano，Tensorflow，Torch，Caffe，Mxnet，Neon和CNTK。下图显示了各种深度学习工具的优势和缺点。

这套比较是指各种公共基准评论，我希望这对每个人都会有所帮助。

的突破和冰箱图像识别技术的尝试

众所周知，图像识别技术是数据是王的技术，数据量直接决定了图像识别技术的准确性。在过去三年的智能冰箱研发中，JD在冰箱方案中积累了大量高质量数据。这些数据是从冰箱环境中直接生成的，是在冰箱环境中解决图像识别技术的最关键因素。在过去的三年中，JD组成了一个团队，以从冰箱数据收集和标签开始，并在精确的环境中收集了500,000多张图片，数据标记量超过1000万，可以覆盖每日家庭冰箱中98％的成分，并且识别准确性高达96％。

深度学习技术被广泛用于智能冰箱方案：食物位置检测，食物识别，过期的提醒，图像失真处理，图像美化等；具有100多层的深度检测和识别网络也可以确保识别响应速度在200ms之内。对抗生成的网络技术使智能冰箱能够自适应地删除图像失真，样式迁移技术可以使用户家中的食物呈现广告商图像的效果。无论数据注释和深度学习技术如何，JD冰箱都取得了行业领导。

的企业文化继续根据客户的原则进行创新。目前，正在积极试图在准确识别范围内准确确定品牌认可，以更好地解决企业主的准确建议问题；同时，它还正在积极探索对异常图像的处理，以完全解决用户图像隐私问题，以便每个购买的用户智能冰箱都可以充满信心地使用带相机的智能冰箱。

图像识别对用户和未来应用的价值

在的Smart冰箱具有自己的“眼睛”之后，它了解了“腹部”和“库存”中包含的内容，以帮助用户轻松管理，购买食材并过着更健康的生活。 JD图像识别技术结合了JD大数据技术，以完全解决数据岛的问题。它可以根据用户过去的饮食来准确推荐食谱用户，智能地提醒食物缺货并补充食品健康管理，还可以通过图像共享提供更好的家庭护理，将冷藏区变成温暖而情感的护理区。 JD图像识别技术结合了JD最强大的供应链服务。在完成强大供应链的最后一英里时，冰箱可以解决用户在食品可追溯性，食品安全，食品管理，食品质量控制等各个方面的疼痛点，因此用户不再需要担心他们购买的不健康和不健康的食物。由于JD Smart冰箱可以更好地了解用户的需求，并在冰箱场景中推出更精致的服务，因此使冰箱成为物联网服务的入口，基于厨房环境建立情境购物，并创建一个智能的冰箱生态系统，使食品，购物，娱乐和健康管理不仅使普通用户不仅可以使公司变得有效，而且可以使公司变得有效，而且可以使公司变得有效，并成为常见的业务。

将来，我们将根据厨房环境中的多设备链接和数据共享，做更多有价值的事情，真正帮助用户过上更简单，更健康的生活，并实施多场景多终端智能业务策略，从而积极探索。