业界开放式可编程接入网切片解决方案面世或重新定义固定宽带

  软件定义接入网络(SDAN)将改变网络服务提供商构建、运营和经营其高速固定宽带网络的模式。网络划分成虚拟切片后,运营商将通过SDAN来提供新服务,并连接更多的用户、领域和组织。不然,就需要为其提供独立网络来实现连接

  近日,相关企业宣布推出完全开放且可编程的固定接入网切片解决方案,除了交付服务级别的切片,还能够帮助运营商创建不受限的可独立运行、互为隔离的网络切片,例如用于5G移动传输、经营批发业务或提供商业服务。

  据融合网DWRH.net获悉,该全新解决方案基于相关企业的原生云软件平台Altiplano和开放标准打造,允许运营商对其所有切片实现完全控制和自主管理,并确定其所交付网络和服务的性能指标。

  软件定义接入网络(SDAN)将改变网络服务提供商构建、运营和经营其高速固定宽带网络的模式。网络划分成虚拟切片后,运营商将通过SDAN来提供新服务,并连接更多的用户、领域和组织。不然,就需要为其提供独立网络来实现连接。

  该可编程切片解决方案通过开放接口和YANG数据模型来创建虚拟切片,该切片在外观、感受和运行等方面均与物理网络无异。每家运营商都拥有专用控制器,可专门查看其网络切片。这将提供给运营商可控性和灵活性,实现多厂商网络环境中交付差异化宽带服务。

  据融合网DWRH.net获悉,不同厂商的设备可以在不同的切片或同一切片上工作。通过该解决方案,运营商可以自动完成规则制定、北京pk10计划软件!法规遵循和多厂商集成等挑战性流程,使共享物理网络变得更加容易。

  部署完成后,该企业的固定网切片解决方案可帮助运营商构建完全自主运行的“网络即服务(NaaS)”模型,pk10三码必中冠军计划进而运营商便能够

  整合内部组织,吸引共同投资伙伴,赛车pk10开奖直播!以提高资本使用效率并加快上市时间。

  快速制定新策略,并打造可提升其接入网络变现能力的服务产品。

  进入一个新的业务领域,如垂直市场和企业服务。可以通过住宅用户的接入基础设施来为该领域提供服务。

  作为业界先驱,诺基亚一直在向全球运营商展示固定接入网络切片。诺基亚还积极推动宽带论坛发布了关于固定接入网络共享(FANS)的TR-370技术报告,目前正参与YANG模块的规范制定工作,该模块将用来实现FANS。

  2018年10月24日,该企业将在柏林举办的世界宽带论坛上与沃达丰和Diffraction Analysis举行会议,届时,与会者可以获取更多关于固定接入网切片应用的信息。

  尽管如此,海信电器依然对未来怀有憧憬。北京pk10计划软件其在2017年年报中计划,将深入研究自主超多分[详细]

  当前我国正经历新经济发展的重要阶段。以云计算、大数据、移动与物联网为代表的数字技[详细]

  尽管如此,海信电器依然对未来怀有憧憬。其在2017年年报中计划,将深入研究自主超多分[详细]

三期冷知识:参考线、切片、抽出资源博狗pk10官网、选择、移动(拓展功能

  一键创建参考线,就是这么简单~使用方法也是非常简单(我自定义了快捷键,这个功能本身是没有的),在视图中找到通过形状新建参考线. 新建参考线版面(Photoshop CC 2014.2)

  事情是酱紫的,在CC中,Adobe将路径工具的级别变为全局(与AI类似),双击可将目标图层锁定,在未锁定的情况下路径选择不受图层限制,通俗点说就是,无论你有多少个图层,是否上锁,博狗pk10官网只要存在就可以被选中,但是选中了却未必可以操作(比如选中的路径中包含上锁图层),这与我们以往的操作习惯有很大出入,Adobe也发现了这个问题,所以在后续版本中增加了这个切换功能。

  通过这一设置,我们可以控制路径选择的范围,需要选择某一路径而不想被其他图层打扰时使用现用图层,当需要批量操作时选用所有图层,随心控制,就是这么炫酷~

  这个功能其实还是很好用的(除了啥都能选这点),比如你在做一个复杂icon的时候,用了大量的图层,为了达到效果,有的时候同一个形状会复制出多个层,北京pk10计划软件当做完后发现某个形状需要做调整,却只能挨个图层调整,赛车pk10开奖直播这点很不爽~有了自动选择所有图层后便解决了这个问题~真是个令人又爱又恨的功能!

  1. 在勾选了自动选择后,北京pk10计划软件点击图层后按下Ctrl点击画布任何位置都会作用在这个图层上,以此我们可以轻松地移动细小的物件比如1px的细线. 在不勾选自动选择时,默认就是上面的功能,在按下Ctrl后点击其他图层则会直接选择到其他图层上。赛车pk10开奖直播

中国电子政务网

  双层互动决策模型是政策前台的制度环境、政策后台的博弈局面(社会网络)和界面的互动结构(互动过滤系统)共同作用的过程。实践证明,双层互动决策模型是一种在现实条件下行之有效的决策模型,赛车pk10开奖直播,应得到积极的推广和发展。

  十多年来,为推进决策的民主化、科学化,使公共政策更好地反映公众的愿望和需求,政府作出了不懈的努力,形成了反映时代特征、遵循决策规律的双层互动决策模型。双层互动决策模型是政策前台的制度环境、政策后台的博弈局面(社会网络)和界面的互动结构(互动过滤系统)共同作用的过程。这种决策模型在新医改、延迟退休、全面二孩、养老保险以及正在进行的个税改革等重大决策中得到有效运用,并取得了良好效果。深入总结双层互动决策模型的运行规律,对决策理论的不断发展以及公共政策的优化,都具有重要的理论价值和实践价值。

  决策模型离不开它所依存的内部和外部环境。近年来,我国的决策环境发生的变化为双层互动决策模型的形成提供了现实土壤。

  与西方国家的公共决策相比,我国公共决策有着自身鲜明的特色。政府既是决策主体,又是具体负责政策执行和修改的主体。随着政府体制改革的推进,人大作为权力机关的作用开始逐步加强,而政府在公共决策过程中仍然发挥着一定的作用。同时,政府拥有一批高素质的决策队伍,县处级以上官员接受高等教育的比例较高,知识结构更加健全、眼界更加开放。上述特征,为政府主导的互动决策模型奠定了组织基础。

  我国公共决策的一个新特征是利益群体政策影响力逐渐扩大。改革开放以来,随着经济市场化进程的推进,在社会利益分化与重组的过程中,私营企业主、个体户、自由职业人员等新的利益群体逐步形成。不同利益群体利用各自的优势,在公共决策过程中发挥的作用越来越突出。因此,分析公共政策主体不能忽略利益群体的影响。

  此外,互联网技术的不断发展,使决策参与各方能够更加快速、有效地互动。特别是随着自媒体的不断发展,各级政府通过开设官方微博、微信公众号、电子政府栏目等,能够更快、更多地获取决策所需的信息,也能更好地贴近群众。

  作为政策前台的政府部门是政策过程的核心,承担着把有效的利益要求转换为权威性公共政策的功能。比如,政府在统筹考虑城镇居民人均基本消费支出、每个就业者平均负担的人数、居民消费价格指数等因素后,最终将个税起征点确定为5000元。在当前组织体系中,中国的执政理念、基本路线、方针、政策对公共决策走向会产生决定性的影响。政策风格会影响公共政策方案、策略的选择。公共政策价值导向是核心,它决定着政策者的信仰、偏好,对决策活动的全过程也会产生影响。

  双层互动决策模型的主线是政策协商。这一模型不仅鼓励各方充分表达自身或自身群体的政策诉求,而且鼓励社会多元力量就政策问题的界定、政策议程的设置、具体政策方案的拟定等展开政策协商、利益博弈,从而形成政策共识。政策协商主要发生在政策后台的社会网络。在新医改中,政府官员、媒体、学术界、企业界、利益集团、思想库都在政策过程的各个阶段围绕医改目标、医改方案等展开协商。社会网络中行为者的博弈状况和行为选择在一定程度上决定政策的微观走向,而行动者的网络位置、权力对比状况、资源禀赋等则是决定其政策影响力的重要因素。

  推动公众参与是决策者掌握决策信息、把握并满足公众政策需求的手段之一,但是可能产生过度参与或无序参与带来的预算、北京pk10计划软件。时间耗费以及削弱政府权威等问题。双层互动决策模型通过互动过滤解决这一问题,即社会网络的政策诉求能否到达并得到体认,受到互动结构中过滤的影响。其中,过滤因子主要有政府治理过程的开放程度、政府的政策取向、政策参与者的“嵌入性”程度等。

  政策合法性是双层互动决策模型的旨归。政策过程可能会出现缺乏动力、实质合法性不足等问题,而社会网络的政策过程则可能缺失形式合法性。因此,政策过程需要展开两者的有效互动,以完成政策合法性的建构。为了进一步优化政策方案,强化政策的实质合法性,政府常常向社会网络广泛征求意见。中国人大网显示,最近的个人所得税法修正案(草案)向公众征求意见逾13万条。而社会网络的政策诉求需要得到体认才能成为合法性政策。

  双层互动决策模型经过了十多年的探索和实践,为一些社会政策决策提供了有效的解释框架,具有较高的时代价值。

  双层互动决策是在决策层面贯彻以人民为中心的生动实践。在正式决策前,政府机构全方位地听取公众的意见、需求,促进政策辩论,凝聚政策共识。这充分体现了把公众作为决策过程的主体,把满足公众的政策需求作为决策的出发点和落脚点。通过对公众参与的积极引导,在充分发扬民主的基础上形成具有最大公约数的公共政策。同时,通过与社会网络的良性互动,公众参与贯穿于政策活动的全过程,使公众真正成为公共决策的参与者、评判者。

  为有效解释我国公共决策的实践,学者们在研究西方决策理论的基础上提出了不同的决策模型。例如,“上下来去”的政策制定模型、基于中层理论的政策过程分析框架、公共政策议程设置解释模型、共识决策解释框架等。这些理论模型对政府在公共决策层面的决定性作用保持了高度关注,同时也充分注意到了决策参与者的行为对决策的影响。而双层互动决策模型除了关注以上两方面,还把两者的互动关系看作影响公共政策过程的关键变量。这不仅为公共决策过程提供解释框架,也为发展具有中国特色的决策理论提供一个新的理论视角。

  决策民主要求政府在决策过程中鼓励公众参与公共事务,而过度、无效的公众参与又可能损害政府效率、降低政策质量。双层互动决策模型为解决这一问题探寻了一条可行路径。为确保决策科学化,在政策议案进行表决前,政府进行广泛的意见征求、调研讨论和协商,尽可能收集决策所需信息。而在公众参与成熟度不高的情形下,运用互动过滤把那些过度的、无效的公众参与过滤掉。这样,使有效的公众参与及时被吸纳,积极防范多元治理中无序化、碎片化的出现。这种以有限吸纳为特征的决策模型有利于在政府决策和公众参与之间达成有效平衡,实现决策民主化与科学化的统一。

  实践证明,双层互动决策模型是一种在现实条件下行之有效的决策模型,应得到积极的推广和发展。当然,它还存在一些问题,例如,未能有效解决政策参与意愿不强、政策博弈力量不均衡等问题,需要在实践中不断发展完善。

Mobvista发布一站式全链路机器学习平台MindAlpha

  发布一站式全链路机器学习平台MindAlpha。Mobvista是全球领先的技术平台,为全球应用开发者提供移动广告及移动数据分析服务,目前已建立起海外覆盖FB/Google之外超3万个独立媒体的流量矩阵,广告+统计SDK覆盖3.3亿日独立设备;涉及从移动应用安装前到安装后全生命周期用户行为的海量数据覆盖。

  MindAlpha平台功能覆盖了广告、搜索、推荐等互联网核心业务对机器学习平台的各方面需求,包括大规模实时数据流和高效特征工程框架,百亿特征、千亿样本的大规模复杂模型训练框架,以及海量请求的高性能低延迟的在线预测框架。

  MindAlpha平台构建于超大规模分布式计算平台之上,包含了与开源生态兼容的云端部署的分布式集群,通过自主研发的多种计算、服务框架,构建了大数据计算服务、分布式机器学习服务以及在线实时预测、评估以及实时数据服务。整体的计算平台架构如下图所示:

  其中MindAlpha提供的一站式机器学习服务是整个计算平台最为核心的功能,MindAlpha具体的架构如下图所示:

  MindAlpha平台提供的一站式机器学习服务完整覆盖了:数据流接入、特征生成、模型训练、线上预测、在线评估、在线学习的全周期流程。MindAlpha集成了多个大规模离散特征在线学习算法,经历了每天百亿PV、十亿UV量级的实际业务考验,开箱即用。同时也能够支持快速算法原型的开发验证,以及模型生产部署的无缝对接。

  MindAlpha平台采用了Cloud Native设计,通过强大的资源弹性伸缩功能保证了大规模的计算能力和成本的平衡,能够方便企业进行公、私有云的快速弹性部署,充分体现了AI as a Service的强大服务能力。下面分别介绍MindAlpha一站式机器学习平台的核心重点模块。

  数据流和特征工程是算法训练的基础。高效的数据回流能力保证了模型训练样本生成的时效性,百亿规模的特征工程生成能力保证了样本对真实问题空间的匹配程度,从而进一步保证模型的准确度。

  1)在线回流特征和离线特征相结合。MindAlpha平台支持大量不同类型的在线特征,包括用户的各类实时行为统计特征等。这部分特征在离线没有对应数据,通过排序服务将这批特征回流到离线平台。而另一部分是离线特征表,包括DMP平台提供的大量设备维度特征等。

  2)大维度表抽取优化。在线上数据回流后,进行多个维度表特征抽取时,往往容易遇到的问题是离线维度表很大,而回流数据只需要取很小一部分。但是传统的MapReduce方法仍然需要扫描大维度表,导致Shuffle和Join过程非常耗时。我们通过创新地综合运用In Memory Hash和小表Broadcast等方式,使得特征抽取的流程大幅加快,能够在10分钟内完成十亿量级的日志表与百亿量级的特征表的Join操作。

  3)原始特征列式存储。算法模型的调优通常需要频繁实验不同的(原始)特征,但是不同的实验往往只有小部分特征不同。为每组实验都重新生成一份样本,会造成较大的空间浪费,同时生成多份样本也会带来较大的资源开销。我们设计了全新的列式存储方案,使得原始特征分为不同的列来存储,在训练时可以指定所需的特征列。这样所有不同的实验都可以共享同一份样本存储,只需要选择不同的特征列即可。通过这样的优化,使得小时级的样本生成只需要一份,同时回溯多天的历史数据补充特征也只需要增加相关的列即可。

  通过数据流和特征工程之后,接下来进入到模型训练的环节。对于在线广告领域,特征规模、样本规模是算法效果提升的重要基础,对于近期比较领先的Entire Space Multitask Model (ESMM)的学习范式等,模型空间还会大幅膨胀。因此,一个能够支持超大规模特征和样本的分布式机器学习训练框架是AI平台的核心组成部分。我们的分布式机器学习训练框架采用了底层分布式框架和上层算法框架分离的架构,主要原因是不同的算法在优化迭代的模式上有很多区别,同时算法与业务、特征等也有一定的耦合。北京pk10计划软件单纯引入TensorFlow等DL框架并不能满足多样化的算法开发需求。具体来说整体架构可以分为两层:

  1)第一层是一个大规模的Parameter Server框架。从架构上看和经典的PS架构类似。不同点是我们提供了通用的批量KV存取功能,并能够方便上层灵活定制Server端的存储对象格式。PS架构的横向扩展性使得我们能够高效地支撑百亿特征规模和千亿样本规模。

  2)第二层是算法框架和算法组件。在这一层,我们有针对广告业务专门设计的若干个大规模稀疏特征在线算法,也能够无缝对接MXNet、PyTorch等深度学习框架。通过这样的层次切分,不同算法实验也可以共享特征组合、离散化等公共模块,同时又能够深度定制自身的算法逻辑,提高了算法开发迭代的效率。

  在线预测平台提供基于超大规模复杂模型的实时预估服务。在线预测服务对响应延迟、稳定性和模型加载时效性等都有极高的要求。对于在线广告、搜索推荐等场景来说,通常要求每个请求的预测时间控制在10~100毫秒之间。除了极低的延迟要求,在线预测服务还需要能够动态加载模型,并能够根据实验流量的自动感知并调整不同模型的负载能力。总体架构图如下图所示:

  预测框架封装了通信、北京pk10计划软件预测请求的序列化及线程调度等底层细节,并与离线的特征表达、模型描述无缝对接。以便应用算法同学专注于算法开发,避免重复代码引起在线、离线不一致的问题。预测框架和算法分层独立,方便两部分独立迭代演化。下面是MindAlpha的在线预测平台的一些重要特性:

  1)基于协程的异步编程API。通过使用Sharded Stackless Coroutine的设计,预测服务能够充分利用多CPU核心进行线性扩展。预测过程需要从实时模型服务、实时特征服务等多个数据源获取数据,支持异步调用使得我们可以并发地发出请求,减少等待。

  2)横向、纵向自动扩展的模型服务。模型服务是预测平台的一个组件,它也是一个参数服务器(Parameter Server),将每一份模型拆分成多个分片,使得模型规模不会受到单机内存容量的限制。预测算法根据输入样本从模型服务拉取需要的参数取值。通过拆出独立的模型服务,我们降低了单机的内存消耗,并可通过增加机器数量支持更大的模型规模。由于预测框架具有独立的通信和计算线程,并支持异步调用,拆出独立的模型服务并未导致预测请求的处理效率降低。同时,每一份模型还可以进一步同时提供多个replica,通过增加资源的方式线性增加服务能力。模型预测服务充分利用了云端资源动态扩展的功能,通过对各个模型调用频率负载的动态感知进行实时扩缩容,在保证线上预测高性能、低延迟的同时也有效控制了成本。

  3)创新的模型文件格式。模型服务中的参数服务器是只读的,北京pk10计划软件我们设计了高效的模型磁盘数据文件格式,支持矩阵、向量和更复杂的哈希表的编码,并支持用内存映射文件的方式高效地加载模型。使用时,我们先在线下对表和文本格式的模型进行预处理,将其编码为我们自定义的磁盘数据文件格式,在此过程中哈希表中字符串 key 被转为其 uint64 哈希码,北京pk10计划软件数值也从文本格式转为二进制,减小了磁盘空间需求。

  4)基于磁盘映射文件的模型加载机制。加载模型时,我们使用磁盘映射文件,模型可瞬间切换,无须一次性执行全部磁盘 IO,也无数据格式转换的过程,使得模型切换延迟极短。模型中实际用到的部分会根据需要由操作系统负责再实时加载需要的内存页,负载是均摊的,且模型中的低频部分可由系统自动换出物理内存。通过这种技术,我们实现了模型线下预处理、线上一键加载切换,减少了模型加载时间,降低了内存和磁盘空间消耗。

  MindAlpha平台提供了成熟的算法组件,包括经典的FTRL、XNN、RL算法模型等;同时针对搜索、推荐、广告的领域的超大规模离散特征和数据的特点做了针对性优化,做到了开箱即用,直接服务于线上业务。在广告业务领域,MindAlpha能够支持CPM、CPC、CPE、CPI等多种类型的广告业务的个性化排序。以常用FTRL模型为例,MindAlpha平台提供了直接支持特征组合后样本进行训练的功能,对CTR、CVR、IVR等指标进行建模,并与在线预测服务无缝打通,省去特征编码、解码的步骤,直接将特征规模提升到百亿级。

  MindAlpha平台在服务于集团发展的过程中,赛车pk10开奖直播。贴合不同业务场景的特点,借助自身的强大数据处理能力、大规模分布式训练框架和高性能在线预测平台,分阶段自研了多个行业领先的算法模型组件,包括ESSM、DF-ESMM、DF-ESMM-DNN、DRL等。平台总的算法模型组件框架如下图示意:

  Online Learning的求解框架,首先假设在特征空间内,Label分布随时间变化平稳;但在移动展示广告的场景中,经常存在转化数据的滞后性,引起Label在特征空间分布的剧烈波动,严重影响模型效果。应对这个问题,引入转化延迟(DF: Delay Feedback)模型。

  在CTR模型和CVR模型未考虑延迟反馈的部分,分别使用DNN建模,共享Embedding层参数。

  除了传统的深度学习和在线学习体系,我们还尝试使用最新的深度强化学习体系对我们的程序化广告投放引擎进行建模。具体来讲,我们将广告投放引擎看作智能体(Agent),把设备用户看作环境(Environment),则广告的投放问题可以被视为典型的顺序决策问题。Agent每一次排序策略的选择可以看成一次试错(Trial-and-Error),把用户的反馈:点击/安装等作为从环境获得的奖赏。在这种反复不断地试错过程中,Agent将逐步学习到最优的排序策略,最大化累计奖赏。而这种在与环境交互的过程中进行试错的学习,正是强化学习(Reinforcement Learning,RL)的根本思想。通过这种方式,我们的广告投放引擎能逐步进化,实现平台广告收益的累积最大化。类似的方式也可以无缝对接到其他互联网业务如个性化推荐、搜索等的建模优化。

  MindAlpha平台构建了面向大规模互联网核心业务的人工智能一站式服务平台,奠定了企业级AI应用的基础。通过多种云端部署方案快速搭建,开箱即用,高效服务于在线业务。目前基于MindAlpha平台的一站式服务体系,已支持了Mobvista多个在线业务的服务体系,包括:海量中部媒体的程序化投放,头部大媒体的智能化投放,以及传统网盟业务的反作弊算法体系等。

  事实上,我们能清晰地看到各个行业各个维度对AI的诉求都是非常之大的。MindAlpha后续也会考虑对外直接提供AI服务,在科技巨头之外,为行业的中小公司提供一种新的AI服务选择。Mobvista集团算法科学家陈绪(前阿里XPS机器学习平台负责人)表示,MindAlpha是为大规模互联网业务而生,全流程一站式的企业级人工智能平台,其技术架构已经达到甚至领先于一线大型互联网公司,代表着业内领先的一流水准。

  高速发展中的汇量科技,未来会遇到更多挑战性的业务问题,MindAlpha平台也会在伴随上层业务的发展过程中不断地推进和演化。AI as aService会是平台持续发展过程中的坚定理念。

  2018年世界机器人大会8月15日在北京盛大召开,“机器人公共安全行业应用”专题论坛是本届大会开幕式当天在大…

  据中国农科院最新消息,该院农业环境与可持续发展研究所气候变化团队与北京大学现代农学院以共同第一单位名…

  18日,来自世界各国的政治家、文化学者、企业代表、媒体人士等相聚中国北京,共同出席以“文化对话:构建人…

  10月18日,记者从位于两江新区水土的市级重点项目重庆万国半导体科技有限公司(以下简称重庆万国)了解到,…

  随着健身人群增多,因为运动不当造成的伤病也在增加。10月19日,2018中华医学会运动医疗分会暨第一届重庆市…

  “联盟 · 链接一切可能”。深圳市龙岗区企业创新发展服务商会打造产业联盟生态圈,全力服务企业科技创新发…

  10月19日,吴阶平医学奖暨吴阶平医药创新奖获奖人名单正式揭晓,陈香美院士、赵继宗院士获得吴阶平医学奖,…

  近年来,世界范围内的肿瘤发病率正急速上升。其中,我国恶性肿瘤发病率约占世界22%,发病人数居全球第一。恶…

  18日,记者从2018年福建省科技特派员工作现场会上获悉,在2017年的基础上,2018年,该省共选认省级科技特派…

手把手教你用Python实现自动特征工程赛车pk10开奖直播

  任何参与过机器学习比赛的人,都能深深体会特征工程在构建机器学习模型中的重要性,它决定了你在比赛排行榜中的位置。

  特征工程具有强大的潜力,但是手动操作是个缓慢且艰巨的过程。Prateek Joshi,是一名数据科学家,花了不少时间研究多种特征,并从不同角度分析其可行性。

  下面会使用Python特征工程库Featuretools来实现这个任务。在讨论之前,我们先介绍特征工程的基本组成,再用直观例子来理解它们,最后把自动特征工程应用到BigMart Sales数据集中验证实际效果。

  在机器学习中,特征可以描述为解释现象发生的一组特点。当这些特点转换为一些可测量的形式时,它们就称作特征。

  例如,在一个学生列表中,包含每个学生的姓名name、学习小时数study_hours、智商IQ和先前考试的总分数marks。现在给你一个新学生,他的信息只有学习小时数和智商,他的总分数缺失,你需要来估计他可能的分数值。

  在这里,你要使用智商值和学习小时数构建预测模型来估计这些缺失值。因此,智商值和学习小时数称作这个模型的特征。

  下面是一个样本数据,包括每个项目的详细信息,如它们的重量Item_Weight和价格Item_Price。

  现在,我们可以使用重量和价格创建新特征,于是创建了一个名为Price_per_Weight的特征,它指的是物品的单位质量价格。这个过程叫做特征工程。

  这只是利用已有特征创建新特征的一个简单示例,而在实际应用中,当特征数量较多时,特征工程可能会变得相当复杂和繁琐。pk10三码必中冠军计划

  下面是另一个例子。在经典的Titanic数据集中,有个特征为乘客姓名,下面是这个数据集中的一些名字:

  实际上,这些姓名可以分解为其他有意义的特征。比如,我们把相似称号提取并分到单个类别。下面是乘客姓名中各个称号的对应频率。

  因此,这就是我们借助特征工程来提取有用信息的过程,甚至能从最初看起来毫无意义的乘客名称中提取特征。

  如果能创建新特征来帮助向模型提供有关目标变量的更多信息,那么它的性能将会提升。因此,当数据集中没有足够有用特征时,我们必须依靠特征工程。

  在Kaggle竞赛“自行车共享需求预测(Bike Sharing Demand Prediction)”中,参与者被要求根据历史模式(包括使用情况,及对应的天气、时间和其他数据)来预测华盛顿地区的租赁需求。

  在一篇获胜者分享中也提到,智能特征工程有助于提高模型性能。他创建的一些特征如下:

  创建这样特征并非一件容易的事,它需要大量的头脑风暴和广泛的数据探索。但是,并非所有人都擅长特征工程,因为无法通过阅读书籍或观看教程学到这些东西。这就是特征工程也被称为艺术的原因。如果你擅长它,那么你在竞赛中占据较大优势。

  分析上面的两张图片,左图展示了20世纪初一群人在组装汽车,右图展示了如今机器人在做着同样工作。自动化任何流程都有可能使其更加高效且节约成本。同样地,特征工程可以并且已经在机器学习中实现自动化。

  构建机器学习模型通常是一个艰苦且乏味的过程。它涉及多个步骤,因此如果我们能够自动执行一定比例的特征工程任务,那么数据科学家或工程师可以专注于模型的其他方面。

  我们已经了解自动特征工程十分有用,那你可能会问,该如何把它应用到模型中?别担心,已经有一个很好的Python工具库解决了这个问题,那就是Featuretools。

  Featuretools是一个用于执行自动特征工程的开源库,旨在快速推进特征生成过程,从而有更多时间专注于机器学习模型构建的其他方面。

  实体可看作是Pandas中数据帧的表征,多个实体的集合称为实体集Entityset。

  深度特征合成(DFS)与深度学习无关。作为一种特征工程方法,它实际上是Featuretools库的核心。它支持从单个数据帧和多个数据帧中创建新特征。

  DFS通过把特征基元应用于实体集中的实体关系来创建特征。这些基元经常被用来手动生成特征,比如,赛车pk10开奖直播,基元“mean”可在聚合级别找到变量均值。

  千看不如一练,熟悉Featuretools的最佳方法是多在数据集中尝试。因此,我们会在下部分使用BigMart Sales数据集来巩固概念。

  BigMart Sales数据集面临的挑战是建立一个预测模型来估算某个商店中每种产品的销售额。这将有助于BigMart决策者寻找每个产品或商店的特性,这对提高整体销售额起着关键作用。在给定数据集中,包括10个商店中的1559种产品。

  这里不会涉及过多预处理操作,因为本文的主要目的是介绍Featuretools。

  Item_Fat_Content似乎只包含两个类别,即“低脂”和“常规”,未涉及到“冗余”类别,所以我们把它转换成二进制变量。

  对于数据集,必须具有唯一标识符特征,但是我们的数据集目前还没有。因此,我们要为这个组合数据集创建唯一ID。你可能会注意到,数据集中有两个ID,一个用于item,另一个用于outlet。因此,对这两者简单相加会得到一个唯一ID。

  要注意,由于不再需要,我删除了特征Item_Identifier。但是,pk10三码必中冠军计划我保留了特征Outlet_Identifier,因为我稍后还要用到它。

  接着,我们要创建一个实体集EntitySet。实体集是一种包含多个数据帧及其之间关系的结构。那么,我们创建一个EntitySet并添加数据帧组合。

  如上所示,它包含两个实体,为bigmart和outlet。这两个表之间也形成了一种关系,用Outlet_Identifier连接。这种关系将在生成新特征中发挥关键作用。

  现在我们要使用DFS来自动创建新特征。上面提到,DFS使用特征基元和实体集中给出的多个表来创建特征。

  target_entity只是创建新特征的实体ID,这种情况下为实体“bigmart”。参数max_depth控制着通过堆叠基元生成的要素复杂性。参数n_jobs通过使用多个内核来辅助并行特征计算。

  DFS在这么短的时间内创建了29个新特征,而手动操作需要更长时间。如果数据集包含多个相互关联的表,Featuretools仍然有效。在这种情况下,你不必对表进行标准化,因为多个表已经可用。

  这个数据帧存在一个问题,即未正确排序。我们必须根据combi数据帧中的id变量对其进行排序。

  现在该验证这些生成特征的效果了。我们将使用它们来构建模型并预测Item_Outlet_Sales值。由于最终数据feature_matrix具有多个分类特征,因此我决定使用CatBoost算法。它可以直接使用分类特征,并且本质上是可扩展的。有关CatBoost的更多内容可阅读这篇文章:

  CatBoost要求所有分类变量都使用字符串格式。因此,我们首先将数据中的分类变量转换为字符串:

  这个模型在公共排行榜上的得分为1155.12。在没有任何特征工程的情况下,在验证集和公共排行榜上的得分大约分别为1103和1183。因此,Featuretools创建的特征不只是随机特征,它们非常有价值和有效果。最重要的是,它在特征工程中节省的时间是令人难以置信的。

  让数据科学模型具有可解释性是执行机器学习中一个很重要的方面。Featuretools生成的特征甚至能很容易地解释给非技术人员,因为它们是基于容易理解的基元构建的。

  这使得那些不是机器学习专家的使用者能够在他们的专业领域中理解和应用这个方法。

  Featuretools库真正地改变了机器学习的游戏规则。虽然它在工业领域的应用还十分有限,但是它在机器学习竞赛中很快地受到大家的欢迎。博狗pk10官网,它能在构建机器学习模型中节省很多时间,且产生的特征很有效果,这也是我想把Featuretools介绍给大家的原因。

绿色特权装修“老司机”教你来省钱!

  新房交付,思绪万千。拿到钥匙的那一刻非常“鸡冻”,但转眼间面临装修。这时问题会接踵而来:“建材偷梁换柱以次充好”、“工艺流程偷工减料”、“隔三差五加钱提价”、“磨洋工抠材料”等,为避免室内空气污染,很多人都想要绿色装修,那怎样挑选装修壁材既省心,又放心呢?

  装修时为远离污染,人们已逐渐摒弃乳胶漆、壁纸等传统装修方式,而选择绿色环保有功能性的硅藻泥。硅藻泥原材料选用历经亿万年形成的硅藻矿物硅藻土制成的硅藻泥,以其独特“分子筛”结构,pk10三码必中冠军计划。具有极强的物理吸附性能和离子交换性能,更起到消除空气污染物、净化空气的作用。比起开空调,置办新风系统、加湿器、除湿机等,为家做一整套硅藻泥,就等于同时置办了这些,更与之不同是,做了硅藻泥的房间墙面,会持续消除空气中的有害气体,能更好的守护健康。

  装修,不就是想省钱,那么如何“省钱”才是大招!有人说,硅藻泥价格小贵,是有钱人做的。做硅藻泥的有钱人只是一部分,而更多的则是咱老百姓,只因在越来越关注室内呼吸健康时,人们都愿意为硅藻泥买单,赛车pk10开奖直播因为会带来健康!

  硅藻泥之所以有功能性,是因为它的多孔性,要做的这点,必须保持它的纯天然,即做到“无胶”才能实现。作为国内硅藻泥的发明企业,赛车pk10开奖直播泉佳美硅藻泥发展十余年来一直以其过硬的产品品质、真实体验、优质服务备受社会大众的好评。原材料上,优选精制硅藻土。生产工艺采用全世界独有“无胶上墙”核心技术,保证了硅藻细胞的多孔性,独具纳米级“分子筛”结构可消除甲醛、苯、VOC等有害气体及物质,消除率达到95%以上,且会持续释放负氧离子,净化空气。功能强大的“泥”,还具有调节湿度、杀菌消毒、除臭消味、防火阻燃、隔热降噪、墙面自洁等强大功能,在室内空气清新,呼吸舒畅的同时,家人也能远离空气污染,pk10三码必中冠军计划少患病,节省了医院看病费用。

  虽然真正的硅藻泥有价格,但为家做一整套泉佳美硅藻泥能用二十年以上,时尚的肌理也满足不同需求业主,且硅藻泥墙面能遇水还原重复利用,搬家也可带走,换算每年下来,不仅是超值性价比,且是真正省心省力省钱的放心装修。

  想要让家做硅藻泥绿色环保,除了选对硅藻泥外,施工方面也需要做好几个准备,这样才能更好的将真硅藻泥的作用完美的呈现出来。

  在施工前,业主应提前一周左右亲自到店面里定想要做的硅藻泥的颜色和肌理花纹,确定面积等事项。pk10三码必中冠军计划避免因颜色不全、材料紧张而现去厂家备料而影响原定计划的施工时间。

  施工首日,店长会随泉佳美施工人员一起到业主家,并带着盛有小金鱼的鱼缸和自己培育发芽的豆苗、花盆。到现场后,现场拆封泉佳美硅藻泥的材料,上有蓝标防伪标识,可让业主进行确认,并取样让业主亲自喂小金鱼,在花盆种植豆苗,同时亲自做硅藻泥的面膜,并为业主也做面膜、手膜实验,使其确认现场施工的硅藻泥与体验店中实验的一致,安全无刺激,且绿色环保。

  验料确认无误后,泉佳美硅藻泥施工人员会现场贴防护膜,保护室内环境,施工时认真仔细,且二次装修若碰到有家具、灯饰等,会小心地搬离或摘下,等施工完毕后,把东西搬回原处。且防护措施做到位,施工后撕去防护膜,并会及时做好环境清理,使室内保持洁净。

  泉佳美硅藻泥的施工是包工包料,不过也需要业主提前做好准备。即对墙面做好基层处理,提前对墙面基层找平腻子,避免墙壁本身基层腻子出现粉化、疏松、空鼓、龟裂甚至是脱落等现象,若业主忽视,直接施工不仅影响硅藻泥的效果,且由于墙面本身问题,就难免在施工后硅藻泥出现问题,譬如墙面裂痕,硅藻泥也会呈现出来。这样的话,返工、修补又会造成“二次麻烦”。

  虽认可硅藻泥,可觉得“小贵”,于是有的业主就想只做卧室或是电视背景墙,可实际上,由于做的面积过小,硅藻泥根本无法对室内空间充分发挥作用,于是就会觉得作用“不明显”。因此,想要真正使硅藻泥对家起到消除空气污染、净化空气等多重作用,做全套房间的硅藻泥“很有必要”。

  硅藻泥具有调节湿度的能力。可施工时,却需要“条件”做足。应避开阴雨天,尽量安排在晴天的时候施工,因是纯天然材料,有着“泥”之属性,在潮湿天施工,硅藻泥上墙不容易干,且潮湿的状态,亦不利于施工。而在冬季寒冷天,施工时也最好开暖气和空调,因为冬天太冷硅藻泥不宜施工。

  绿色装修,对自己和家人的健康负责。想要让装修真正为家里“省钱”,那就应选对硅藻泥,做好以上这些准备,那是非常重要且必须要做好的。这样才会让做过真硅藻泥的家居空间焕然一新,让你和家人共同拥有一个清爽宜人、时尚可居的绿色天然家。

斯坦福创建新型AI摄像头 更高效进行图像赛车pk10开奖直播分类

  盖世汽车讯 当今自动驾驶汽车和航空无人机的图像识别技术都依赖于人工智能:一般是计算机教会自己识别狗、穿过街道的行人或停下来的汽车等物体。北京pk10计划软件,问题是,目前运行人工智能算法的计算机对于手持医疗设备等未来应用体积太大,而且速度太慢。

  据外媒报道,现在斯坦福大学(Stanford University)的研究人员已经设计出一款新型人工智能摄像系统,可以更快、更高效地对图像进行分类,并且有朝一日该摄像系统有可能变得非常小,可以嵌入到其他设备中。

  负责此研究的斯坦福大学电气工程助理教授Gordon Wetzstein表示:“刚刚开过你身边的自动驾驶车辆的行李箱中配备了一台比较大、运行比较慢而且能量消耗大的计算机。” 他表示,未来的应用需要运行速度更快、尺寸更小的计算机来处理各种图像。Wetzstein和该研究论文的第一作者兼斯坦福大学的研究生Julie Chang,通过将两种类型的计算机合二为一,进一步发展了此技术,创造了专门用于图像分析的混合光电计算机。

  原型摄像头的第一层是光学计算机,不需要高强度的数字计算;第二层是传统的数字电子计算机。光学计算机层通过物理方法处理图像数据,以多种方法过滤图像数据,否则电子计算机不得不以数学方法进行图像数据过滤。由于图像数据过滤是在光通过定制光学器件时自然而然发生,因此,该层以零输入功率工作,为混合系统节省了大量的时间和能量。

  Chang表示:“我们已经将人工智能数学计算外包给了光学系统。pk10三码必中冠军计划”结果是,计算量减少,内存调用次数减少,完成整个过程的时间也少得多。就速度和准确度来说,原型摄像头可与现有的电子计算处理器相媲美,此类处理器执行相同的计算,可节省大量的计算成本。

  虽然现在的原型摄像头还在实验室阶段,而且很难被认为是小型摄像头,研究人员表示,该系统有朝一日可以小型化,以适应手持摄像头或是航空无人机。在模拟环境和真实世界的实验中,该团队使用该系统在自然图像设置中成功识别了飞机、汽车、狗和猫等。

  Wetzstein表示:“我们系统的未来版将在自动驾驶汽车等快速决策应用中发挥作用。”

  除了缩小原型,斯坦福计算成像实验室的Wetzstein、Chang以及其他同事目前正在研究如何让光学元件进行更多的预处理。最终,更小、更快的技术可以取代现有行李箱大小的、帮助汽车、无人机和其他技术学会识别周围世界的计算机。

洛杉矶特权队?湖人赢球真把勇士激怒了科尔联pk10三码必中冠军计划手杜兰特施压裁判

  在今天结束的一场季前赛中,湖人以123-113战胜了勇士。勒布朗詹姆斯今天上场18分钟,得到15分10篮板5助攻1抢断。在上半场投进超远三分帮助湖人领先四分后,下半场詹姆斯则选择作壁上观,看着湖人年轻人表演。但没想到的是,就算詹姆斯没上,湖人一样不可轻视。英格拉姆、库兹马和球哥鲍尔接连爆发。打的勇士溃不成军。特别是英格拉姆,今天他虽然13投5中,北京pk10计划软件但对于勇士的杀伤却非常恐怖,制造了17次罚球并命中15球,砍下26分5板的数据。

  不过英格拉姆的表现却引起了勇士主教练斯蒂芬科尔的不满,他认为裁判给了湖人太多的罚球,这对于勇士绝对是不公平的。科尔说道:“我完全不知道今天裁判的尺度在哪里,我就知道哨声在不断对着我们响起。但我仍然相信在常规赛开始的时候,这些情况会有所改观。你知道,我肯定不会相信联盟会一场吹罚我们65次犯规,我也不相信他们会在下一次用24分钟就把凯文-杜兰特吹罚出场。我相信联盟能够掌控好这些比赛的节奏与尺度,所以下次见吧”

  科尔的意思再明显不过了,季前赛你们裁判随便都有可以吹犯规。但是到了常规赛如果还是这么吹罚勇士的话,那么科尔或许会采取一些特别行动,这番话就是变向的对联盟施加压力。

  而相比科尔强势施压裁判,杜兰特这一次的回答却比科尔要柔和的多,北京pk10计划软件可谓是软刀子。他一边说出今天判罚的尺度问题,一边又对裁判的判罚表示理解。

  杜兰特说道:“正如我们要打82场比赛,裁判也得吹82场比赛一样,我们要理解他们的工作。北京pk10计划软件或许联盟在这个夏天想出了一个让比赛变得更好的办法,而这些方式让我们有点不太适应,我们会觉得不公平。但事实上裁判只是在坚决的执行这些新规定而已,所以我今天不会对此有愤怒异常的举措,因为我知道裁判也想把工作做到最好。这就比赛的一部分,裁判做出调整就和我们做出调整是一样的,你会对此表示理解!

  在今天比赛中湖人获得了46次罚球,而勇士为36次,这或许就是科尔不满的原因。但事实上和两队的打法也有很多的关系,勇士偏外,湖人偏内。在上赛季湖人就一直是内线得分最多的球队,新赛季他们的策略不变就是从内到外散开。返回搜狐,博狗pk10官网pk10三码必中冠军计划,查看更多

pk10三码必中冠军计划谷歌机器学习:模型训练、特征工程和算法选择

  从概念上讲:给定(训练)数据,发现一些潜在的模式并将这个模式应用于新数据。博狗pk10官网

  示例:对聚类流服务用户进行分组,对这些组以及某个视频在这些组中的受欢迎程度进行分析。

  个性化服务(为每个用户提供量身定制的独特的体验),可以最大限度地提高参与度和收入

  Scale:用完整的数据训练;改进特征(特征工程);尝试不同的算法(模型选择)

  在概念上,特征工程是将原始数据(日志,产品购买的历史记录或上网行为等)转换成可以由学习算法在训练和预测中使用的矢量(vector)的过程。

  决定你想要获得的洞察力(例如,我们想训练一个模型,为用户听歌提供推荐)。

  决定如何建模(有许多方法!) .例如,建一个分类模型,给定用户和歌曲,模型将返回用户是否会对这首歌感兴趣的结果。或者我们有一个歌曲列表,把它给模型运行,模型将显示它认为用户可能会喜欢的歌曲。

  考虑可能相关的要素:用户年龄(可能相关?); 用户名和电子邮件地址(完全无关); 用户位置(可能相关?);用户收听歌曲的历史记录(相关)。用户之前听过的歌曲的类型(乡村,摇滚,流行等)(非常相关)

  为用户创建训练实例,u(u,si)(1 – 收听)和(u,sj)(0 – 没有收听)

  你最关心的是什么?是“没有假正(false positives)”吗?还是整体的预测准确度?

  将你关心的问题表达为一个可计算的指标,确保该指标与你关心的内容直接相关。

  此指标可用于:选择模型;在部署之前测试模型;对模型或数据进行细化(例如添加更多特征)。

  分类:逻辑回归,感知器算法,AdaBoost,SVM(线性内核为大量数据,RBF为小数据),pk10三码必中冠军计划随机森林

  确保在对不同数据集进行模型选择之后评估最终性能指标(例如,不要使用相同的数据集来选择模型)

  如果你对深度学习有基本的了解:什么是架构选择?(多少层?完全连接还是不完全链接?等等); 如何防止过拟合?

  ML模型具有超参数:这些是在训练开始之前就已经固定并且影响训练过程和复杂性的参数。

  训练:获取数据(可能还需要存储数据);特征提取和数据标记; 拟合模型; 测试模型/选择模型;存储模型

  预测:获取实时数据;从中提取特征;检索模型;在新数据上使用模型进行预测;根据预测执行

  训练数据存储在哪里?数据库? 云?需要存储特征和标记吗?还是在训练时再提取特征和标记?

  - 是否有资源在云中设置一个完整的ML云 pipeline(DIY方法)?

  动手实践:选择存储工具(如 Google Cloud,Amazon 等);为存储数据、训练和预测编码;可以使用开源框架(liblinear,Weka,Tensorflow 等)或自己的实现模型;

  优点:可能成本更低(只需为聚类使用/数据存储付费);非常灵活;流行的框架有强大的社区支持

  ML即服务(ML as a service):预构建全栈解决方案(使用堆栈轻松训练和部署模型)

  特点:较少参与;不同组件无缝工作(存储,聚类,训练和预测等);可能不是很灵活

  非常灵活:使用预定义的、构建神经网络常用的组件;可以根据特定的计算需求写你自己所需的图

  谷歌云机器学习的深度学习框架也用于驱动 Gmail、Google Photos 等产品

  如果你的模型属于以下几种,可以考虑使用预训练模型,按照使用次数收费。所有这些模型构建起来都有相当大的难度,需要深厚的研究和编程基础,这种工作还是留给专家来做更放心

  每个框架都有各自的优势,使得选择哪个框架变得越来越难以权衡。此前 Soumith 的 convnet-benchmarks ()是很不错的框架间的比较基准,但也已经很久没有更新了。

  为此,前不久 Reddit 用户 m_ke 在 Reddit 机器学习板块发起了讨论:2017 年常用深度学习开源框架的状况会是怎样?

  这个问题就像在 emacs 和 vim 之间进行选择。当前的框架在性能方面都没有什么太大的不同,没有哪个能好到你能说它比其他的都好。

  如果你想知道这些库/框架之间有何区别,可以在典型的使用案例(硬件和模型架构)上自己做基准比较。我偏好的可能仍然是 Theano,但我发现 TensorFlow 对我的任务也表现得同样好——选择 Theano 只是因为我对它更熟悉。此外,我两三天前看了下 PyTorch,看起来也非常好。

  我个人使用 Lasagne 和 Theano 做研究。它的功能完整,设计良好。我的研究领域包括 RL,CV,pk10三码必中冠军计划贝叶斯推理,Memnets 等,它对所有这些工作都表现良好,哪怕我试图实现一些非常不标准化的想法。

  我唯一的不满是 Theano 的编译时间长的令人生厌。这点能够部分得到解决,至少对合理性检查方面,通过添加一些标志例如 device = cpu。

  我也对 Pytorch 和 minPy 挺感兴趣,特别是我觉得 numpy 很好,有助于加快我的迭代速度。

  对我来说,在 Ubuntu 上安装和使用最简单的是 Neon。我是做模型的,编程和数学都是初学者。不久我写了自己的可组合容器和更高级的模型。我在示例中遇到一些bug,博狗pk10官网修复了其中一些,并且可能会在某些点提交一些 pull 请求。Neon 有一些非常好的示例,涵盖了最新的一些研究的实现。在尝试 Neon 之前,我安装过 Theano,Tensoflow 和 Keras / Tensorflow,但几乎没有使用过。我认为不考虑设置的话,在易用性上 Keras 和 Neon 差不多。

  当我开始考虑为大规模分布式训练写一点东西,我在打造自己的解决方案之前再次查看,并开始设置 mxnet。Mxnet 支持分布式训练和基于 ZMQ 的分布式KV存储,这正是我想要的。乍看之下它也像 Neon 一样可以直接使用。但在 Windows 和 Ubuntu 16.04 上设置 mxnet 简直就是噩梦,博狗pk10官网我只能放弃了对本地机器的 CUDA 支持。Amazon 上有一些预安装的示例。

  我的经验是,Neon 最容易设置,在设置模型的难度上可能类似于 Keras,pk10三码必中冠军计划并且完全适应各种任务,pk10三码必中冠军计划包括图像处理、DL 以及其他不需要分布式训练的任务。就目前来说,北京pk10计划软件,好像也是 Neon 的性能最好。

  很多人都会遇到该如何选择框架的问题,了解这些框架的基础构造有助于你更好地做出选择。

  为了向开发者提供尽量简单的接口,大部分深度学习框架通常都会将普通的概念抽象化,这可能是造成许多用户感知不到上述五点核心组件的重要原因。

  用张量表示的对象是一个深度学习框架中的核心组件,因为后续的所有运算和优化算法都是基于张量进行的。几何代数中定义的张量是基于向量和矩阵的推广,通俗一点理解的话,我们可以将标量视为零阶张量,矢量视为一阶张量,那么矩阵就是二阶张量。

  举例来说,可以将任意一张RGB彩色图片表示成一个三阶张量,三个维度分别是图片的高度、宽度和色彩数据。下图如果按照RGB三原色表示,就可以拆分为三张红色、绿色和蓝色的灰度图片(见下图中间的三张不同突破),再将这张图用张量表示出来,就是最下方的那张表格。

  图中只显示了前5行、320列的数据,每个方格代表一个像素点,其中的数据[1.0, 1.0, 1.0]即为颜色。假设用[1.0, 0, 0]表示红色,[0, 1.0, 0]表示绿色,[0, 0, 1.0]表示蓝色,那么如图所示,前面5行的数据则全是白色。

  将这一定义进行扩展,我们也可以用四阶张量表示一个包含多张图片的数据集,其中的四个维度分别是:图片在数据集中的编号,图片高度、宽度,以及色彩数据。

  将各种各样的数据抽象成张量表示,然后再输入神经网络模型进行后续处理是一种非常必要且高效的策略,这样做能够统一不同类型的数据,将它们用标准的方式表现出来。此外,当数据处理完成后,还可以将张量转换为其他想要的格式。

  我们可以将神经网络视为对输入张量进行一系列运算从而实现某个目的的过程。这些运算包括简单的矩阵乘法,也可以是卷积、池化和LSTM等稍复杂的运算。而且各框架支持的张量操作通常也不尽相同,详细情况可以查看其官方文档(如下为NumPy、Theano和TensorFlow的说明文档)。

  需要指出的是,大部分的张量操作都是基于类实现的(而且是抽象类),而并不是函数(这一点可能要归功于大部分的深度学习框架都是用面向对象的编程语言实现的)。这种实现思路一方面允许开发者将各种类似的操作汇总在一起,方便组织管理。另一方面也保证了整个代码的复用性、扩展性和对外接口的统一。总体上让整个框架更灵活和易于扩展,为将来的发展预留了空间。

  有了张量和基于张量的各种操作之后,下一步就是将各种操作整合起来,输出需要的结果。

  但很可惜,随着操作种类和数量的增多,有可能引发各种意想不到的问题,包括多个操作之间应该并行还是顺次执行,如何协同各种不同的底层设备,以及如何避免各种类型的冗余操作等等。这些问题有可能拉低整个深度学习网络的运行效率或者引入不必要的Bug,而计算图正是为解决这一问题产生的。

  它包含到各种Ops实例的链接,以及操作需要输出哪个操作以及附加信息的关系。不同的框架有不同的方式实现。

  将计算图作为前后端之间的中间表可以带来良好的交互性,开发者可以将Tensor对象作为数据结构,函数/方法作为操作类型,将特定的操作类型应用于特定的数据结构,从而定义出类似MATLAB的强大建模语言。

  需要注意的是,通常情况下开发者不会将用于中间表示得到的计算图直接用于模型构造,因为这样的计算图通常包含了大量的冗余求解目标,也没有提取共享变量,因而通常都会经过依赖性剪枝、符号融合、内存共享等方法对计算图进行优化。

  目前,各个框架对于计算图的实现机制和侧重点各不相同。例如Theano和MXNet都是以隐式处理的方式在编译中由表达式向计算图过渡。而Caffe则比较直接,可以创建一个Graph对象,然后以类似Graph.Operator(xxx)的方式显示调用。

  因为计算图的引入,开发者得以从宏观上俯瞰整个神经网络的内部结构,就好像编译器可以从整个代码的角度决定如何分配寄存器那样,计算图也可以从宏观上决定代码运行时的GPU内存分配,以及分布式环境中不同底层设备间的相互协作方式。除此之外,现在也有许多深度学习框架将计算图应用于模型调试,可以实时输出当前某一操作类型的文本描述。

  拥有计算图(computational graph)的另一个好处是,学习阶段的计算梯度变得模块化,简单明了,便于计算。这要归功于chain rule,它们能让你以系统的方式计算函数组成的导数(derivatives)。正如我们所见,神经网络能够被认为是简单的非线性组合,进而产生更加综合性的函数。区分这些函数只是简单地将图形从输出返回到输入。符号微分或自动微分是一种可以在计算图中计算梯度的程序化方法。

  符号微分指的是分析性地计算导数。例如,你能得到关于梯度是什么的表示。为了使用符号微分,你只需要把Value 嵌入到导数中,然后直接使用。不幸的是,一些非线性,比如ReLU (Rectified Linear Units)在一些点是不能微分的。因此,我们以迭代方式计算梯度。由于第二种方法可以普遍使用,大多数计算图包,如计算图工具包(来实现自动微分。

  推出自己的梯度计算模块通常不是一个好主意,因为由工具包来提供显然更容易,更快速地。所以,要么有自己的计算图工具包和自动分化模块或使用外部包。

  由于每个节点处的导数必须仅相对于其相邻节点计算,所以可以将计算梯度的方法添加到类中并且可以由微分模块调用。

  使用所有上述组件,你可以拥有一个功能齐全的深度学习框架。它将能够将数据作为输入并转换为张量,以有效的方式对它们执行操作、计算梯度以学习并返回测试数据集的结果。然而,问题在于,因为你最有可能在高级语言(Java / Python / Lua)中实现它,所以你可以得到的加速 是有上限的。这是因为即使在高级语言中最简单的操作也比在低级语言中完成时花费更多的时间(CPU周期)。

  第一个是来自编译器的另一个类推。编译过程的最后一步是 Assembly中生成的特定的硬件代码。类似地,不是运行以高级语言编写的图,而是在C中生成用于网络的相应代码,并且其被编译和执行。它的代码存储在每个Ops中,并且可以在编译阶段合并在一起。通过包装器 (wrappers)(如pyCUDA和Cython)实现从低级到高级代码数据传输。

  第二种方法是使用像C ++这样的低级语言实现后端,这意味着低级语言 – 高级语言交互内部框架是与前面的方法不同的,并且可以更快,因为我们不需要每次都编译整个图。相反,我们可以使用适当的参数调用编译的方法。

  非最优行为的另一个来源来自低级语言的缓慢实现。编写高效的代码十分困难,我们更好优化了这些方法实现的库。 BLAS或基本线性代数子程序是优化矩阵运算的集合,最初用Fortran 编写。这些可以用于做非常快的矩阵(张量)操作,并且可以提供显著的加速。还有许多其他软件包,如英特尔MKL,ATLAS也执行类似的功能。你可以根据自己的偏好进行选择。

  BLAS包通常是已经优化的,其前提假设是指令将在CPU上运行。在深度学习中,情况并非如此,BLAS可能无法充分利用GPU提供的并行性。为了解决这个问题,NVIDIA发布了针对GPU优化的cuBLAS,现在包括在CUDA工具包中。最后,cuDNN是一个基于cuBLAS的功能集的库,并提供优化的神经网络特定操作,如Winograd卷积和RNN。

  因此,通过使用这些软件包就可以框架中获得显著的加速。加速在DL中十分要,这是你训练神经网络只花费四个小时而不是四天的原因。在快速变化的AI创业公司中,速度就是你能成为领跑的还是追赶别人的关键。

  现在,你已经了解了不同框架之间的相似的特性,可以更好地认识和使用一个深度学习框架。对于不仅对学会使用深度学习框架感兴趣,了解各个常用框架的内部组成和共性特征,还有助于你自己动手搭建深度框架。

  优秀的工程师/研究员不仅要知道自己该使用哪种工具,还应该知道为什么这个工具才是最好的选择。

46 三菱FX系列PLC的算术及逻辑运算指令

  请确保您要连接的设备(仅限安卓)登录了同一爱奇艺账号 且安装并开启不低于V6.0以上版本的爱奇艺客户端

  请确保您要连接的设备(仅限安卓)登录了同一爱奇艺账号 且安装并开启不低于V6.0以上版本的爱奇艺客户端

  这部分指令主要是包括四则运算和逻辑运算,共有十条,指令代码是从FNC20~FNC29,是属于比较常用的指令。pk10三码必中冠军计划!北京pk10计划软件另外在FX2N 的PLC 除二进制的算术运算指令外,博狗pk10官网还具有浮点运算的专用指令。北京pk10计划软件博狗pk10官网

  您使用浏览器不支持直接复制的功能,建议您使用Ctrl+C或右键全选进行地址复制

  您使用浏览器不支持直接复制的功能,博狗pk10官网建议您使用Ctrl+C或右键全选进行地址复制