由 NASA 引领的小型化风潮已经席卷了整个消费电子产品产业。现在,一个领针中即可保留所有贝多芬作品,并可使用耳机聆听。———天体物理学家、科学评论员 Neil deGrasse Tyson
……超低功耗嵌入式装备的普及,以及用于微控制器的 TensorFlow Lite 等嵌入式机械学习框架的推出,意味着人工智能驱动的 IoT 装备将获得大规模普及。———哈佛大学副教授 Vijay Janapa Reddi
,,欢迎进入欧博APP(Allbet Game):www.aLLbetgame.us,欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。
图 1 嵌入装备上的 TinyML 概览图
模子并非越大越好。
本文是 TinyML 系列文章中的第一篇,目的是向读者先容 TinyML 观点及其未来潜力。本系列的后续文章中,将深入先容一些特定的应用、详细实现和教程。
引 言 已往的十年中,由于处置器速率的提高和大数据的泛起,我们见证了机械学习算法的规模呈指数级增进。最初,模子的规模并不大,在内陆盘算机中运行,使用 CPU 的一或多个内核。 今后不久,GPU 盘算使人们可以处置更大规模的数据集,而且通过基于云的服务,例如 Google Colaboratory 等 SaaS 平台,Amazon EC2 Instances 等 IaaS,GPU 手艺变得更易于获取。与此同时,算法仍可在单机上运行。 最近,专用的 ASIC 和 TPU 已可提供约莫 8 个 GPU 的处置能力。这些装备的生长,增强了将学习算法漫衍到多个系统中的能力,知足了规模不停增大的模子需求。 2020 年 5 月公布的 GPT-3 算法,推动模子的规模到达至高无上的水平。在 GPT-3 的网络架构中,包罗了数目惊人的 1750 亿个神经元,是人脑中约 850 亿个神经元的两倍多,也是 Turing-NLG 神经元数目的 10 倍以上。Turing-NLG 公布于 2020 年 2 月,是有史以来的第二大神经网络,其中包罗约 175 亿个参数。有人估量,GPT-3 模子的训练成本约为 1000 万美元,使用约 3GWh 的电力,是三个核电站一小时的输出。
网友评论
最新评论