#1. 研究背景和介绍

##1.1. 研究背景

  • 由于各种情况导致越来越多人认知下降, 感知下降包括无法识别他人, 位置和对象, 或长或短的记忆缺失等.
  • 可穿戴设备给改善认知下降带来希望, 感知设备集成了第一视角图像, 感觉, 处理和交流能力.
  • 认知辅助系统可以帮助引导认知下降人的生活. 这种系统应该有足够功能, 性能和实用性, 并应该有灵活的可定制能力用于不同认知下降群体.
  • 论文基于Google Glass构建和实现了一个认知辅助系统.

Implement

  • 论文展现了多层次移动系统架构,针对密集型认知操作计算提供了严格的端到端延迟限制, 并解决有限电池容量问题
  • 展现了后端密集处理的构架支持基于虚拟机的可扩展性, 而不会带来延迟问题
  • 探索在面临网络连接失败的时候认知服务性能不会急剧降低

##1.2. 可穿戴设备认知辅助一直未能实现的原因

  1. 一些基础技术,如计算机视觉和速度识别到现在才达到要求的速度和精准
  2. 卸载密集型操作计算设备在移动设备上的缺少
  3. 缺少适当的可穿戴设备

google glass

#2. 设计局限

##2.1. 快速的交互式响应

  1. 正常人的认知任务中性能是非常快速和准确的.时间大概是几百毫秒.
  2. 但对于认知设备会出现比人反映时间更大的延迟, 这会使用户感到烦恼

##2.2. 需要offload

  • 由于可穿戴设备和服务器硬件之间巨大的差距, 导致具体的计算能力的差距.
  • offload对于识别等计算和可穿戴设别上的电量使用有巨大的改善

##2.3. offload服务带来的性能降低可以接受

当网络中断时, 用户可能会在当前环境下找不到外部设备, 这可能导致用户关掉一部分可穿戴设备的功能来获取服务和更长的电池寿命.

##2.4. 上下文敏感的传感器控制

使用环境控制可穿戴设备传感器可以改善电池寿命和可用性.

##2.5. 粗粒度并行

人的认知通过多重感知输入分析然后综合输出.人完成这些通过通过完全不同并行的脑部神经循环. 而软件同样形成了不同的认知引擎(使用各种不同语言)

#3. 设计结构

jiegou

##3.1. Low-Latency Offloading

  • 同时实现快速,低延迟交互和offloading处理较为困难.一个容易实现的解决办法是使用商业云服务(但其RTT时间过长).
  • 论文框架实现低延迟offload使用了Cloudlet云代理),它属于mobile device-cloudlet-cloud中间层

##3.2. Offload Fallback策略

当没有合适的Cloudlet可以获取时,直接低效运行Cloud. 更加低效的机制是使用笔记本电脑或者智能手机作为外部设备, 通过蓝牙或者Wi-Fi热点进行连接, 替代Cloud进行事件处理和回馈

##3.3. 虚拟机和PubSub框架

Cloudlet必须并行的访问各种认知引擎, 认知辅助系统在虚拟机中包含了每个认知引擎.基于虚拟机的方法会有更少的限制, 并且更有普遍性.

1
认知虚拟机, 包含不同的认知引擎, 独立并行的处理从谷歌眼镜传感器发送的数据流. 其中Control VM负责所有交互,接收所有传感器输入流,并进行预处理, PubSub机制发送传感器信息到认知VM中. VM通过UPnP发现机制发现传感器数据流. 然后认知VM将输出发送到User Guidance VM, 最后UserGuidance VM打包数据做更高层次的认知处理.

xuniji

#4. 初步实现

##4.1. 谷歌眼镜前端

前端安卓应用运行在谷歌眼镜中, 发现Cloudlet, 连接系统主体. User Guidance VM获取认知引擎的输出, 然后通过文本或者图片等向用户提供辅助.其中Guidance VM使用Wi-Fi TCP连接.

##4.2. 发现和初始化

  1. 在系统有多个VM工作, 对于如果发现和连接不同的设备有以下方案 : 首先启动control VM向谷歌眼镜提供服务和认知引擎连接. 然后启动认知引擎和User Guidance VM.他们通过OpenStack连接一个私有虚拟网络. 其中Control VM连接私有网络和公用网络,公共网络用于和Google Glass通信
  2. UPnP服务器运行在Control VM提供发现本地服务的标准广播方法.使其他VM启动时可以发现control VM, UPnP也提供简单的机制使google Glass可以发现系统.
  3. Glass设备首先连接cloudlet, 如果未发现cloudelet, 则直接offload到Cloud中的系统, 如果继续连接失败, 则进行连接用户携带的设备

##4.3. 处理认知引擎的多样化

论文框架允许认知引擎使用各种编程框架和操作系统, 为了使他们协同工作, 需要一个通用的交流模式.可以通过一些代码, 对认知引擎输入和输出进行编码, 转换成适应认知引擎或者适应输入流的编码.

##4.4. 有限的队列延迟

  • 在整个框架中, 组件通过网络交流, 每个通信点都有一个网络栈, 过大会造成延迟, 过小要保证数据大小不超出栈的大小.
  • 通过设置应用优先级形式的端到端控制系统来限制数据数量.

##4.5. 支持的认知引擎

  • 人脸识别引擎
  • 对象识别引擎(MOPED&STF)
  • 视觉符号识别引擎(开源&商用)
  • 运动分类引擎
  • 激活预测引擎
  • 增强现实引擎