刚刚被拉下神坛的BERT又一次称霸了GLUE、SQuAD和RACE三个排行榜。今年六月，谷歌发布XLNet，指出并解决了BERT的缺点，在20多个指标上全面刷爆了BERT之前的成绩，数据、算力相比BERT增加了很多，也在业内引起了激烈讨论：到底该用BERT还是XLNet？Facebook前几天宣布：如果训练更久一点、数据量再大一点，BERT还是能重新达到GLUE基准的第一名。今天，Facebook开源了这个基于BERT开发的加强版预训练模型RoBERTa，全称"Robustly optimized BERT approach"——强力优化BERT方法，在GLUE、SQuAD和RACE三个排行榜上都取得了最优成绩。在今天的官方推文中，Facebook AI也直接明了地点出了这一方法的称霸诀窍：更久的训练时间、更多的数据、更强力调参。Facebook也强调了RoBERTa诞生的意义：调整BERT训练程序可以显着提高其在各种NLP任务上的表现，同时也表明了这种方法的竞争力。更广泛来看，这项研究进一步证明了，监督训练有可能达到或超过更传统的监督方法的表现。RoBERTa是Facebook不断致力于推动自我监督系统最先进技术的一部分，该系统的开发可以减少对时间和资源密集型数据标签的依赖。这项研究由Facebook AI和华盛顿大学的研究团队共同完成，并公开了论文和代码，先附上链接：论文链接：点此进入Github代码链接：点此进入亮点：RoBERTa基于BERT的改进RoBERTa基于BERT的改进在四个方面展开，包括：更长时间地训练模型，批量更大，数据更多;删除下一句预测的目标;较长时间的训练;动态改变应用于训练数据的masking模式。论文的贡献在于：提出了一套重要的BERT设计选择和训练策略，并引入了能够提高下游任务成绩的备选方案;文中使用一种新的数据集CCNEWS，并确认使用更多数据进行预训练，进一步改善了下游任务的性能；预训练的masked language model相比发表的其他方法都更具有竞争力，已经开源了在PyTorch中模型训练和参数微调的代码。模型内部架构之前的BERT采用Transformer结构，改经后的RoBERTa使用的是L层的transformer架构，每个block都使用一个self-attention head和隐藏维度H。在讲解模型内部原理之前先简单介绍NLP领域中常用的Transformer结构:▲Transformer的主体结构图模型分为编码器和解码器两个部分,编码器和解码器的输入就是利用学习好的embeddings将tokens（一般应该是词或者字符）转化为d维向量。对解码器来说，利用线性变换以及softmax函数将解码的输出转化为一个预测下一个token的概率。Transformer用于机器翻译任务，表现极好，可并行化，并且大大减少训练时间。模型预训练在预训练模型的过程中，需要完成两个指标：Masked Language Model (MLM) 和Next Sentence Prediction (NSP)Masked Language Model (MLM) ：MLM的目标是masked tokens序列中的交叉熵，选择输入中的随机token样本，并替换为特殊的token [MASK]，BERT模型一致选择输入token中的15%作为可能的替换，在所选的token（selected tokens）中，80%的selected tokens替换为token [MASK]，10%的selected tokens保持不变，另外10%替换为随机选择的词汇表token。Next Sentence Prediction (NSP)下一句预测：预测两个语段之间的二元分类损失，判断语句有没有前后的依从关系，其中正样本来自于文本语料库中提取连续的句子，负样本来自于不同文档的段进行配对，正负样本相同的概率进行采样。模型参数优化BERT用以下参数：β1= 0.9，β2= 0.999，ǫ= 1e-6，L2权重为0.01，伴随着学习率的加快，在前10,000个steps中达到峰值1e-4，然后线性衰减；BERT训练时在所有层和attention结构中采用0.1的dropout，使用GELU激活函数，模型预训练有S = 1,000,000次更新，小批量包含B = 256个sequences和T = 512的tokens序列。实验结果当控制训练数据时，我们观察到RoBERTa比BERTLARGE结果有了很大的改进，当数据集从16GB增加到160GB,训练次数从100K到300K再到500K的过程中，模型准确度也逐渐提升。RoBERTa在开发和测试中使用了提供的SQuAD数据， 表示依赖于额外外部训练数据的结果，从下面两个表中，可以看到RoBERTa相比XLNet有精度上的提升，表中加粗的数字。在RACE测试集上的结果显示，RoBERTa的Accyracy相比BERT(large)提高了10个百分点，相比XLNet(large)提高了2个百分点。BERT与XLNet之争自诞生起，BERT在江湖中地地位一直颇动荡。去年10月，谷歌放出了称霸GLUE榜单的BERT模型，当时BERT最大的创新就是提出了Masked Language Model作为预训练任务，解决了GPT不能双向编码、ELMo不能深度双向编码的问题。之后从那天起，很多任务都不再需要复杂的网络结构，也不需要大量的标注数据，业界学术界都基于BERT做了很多事情。2019年6月19日，谷歌又放出了一个模型XLNet，找到并解决了BERT的缺点，在20多个指标上全面刷爆了BERT之前的成绩，数据、算力相比BERT增加了很多。语言模型预训练导致了显著的性能增益，但是在不同方法之间仔细仍然具有挑战性，计算的训练成本是昂贵的，同样，超参数选择对最终结果有显著的影响。但是，XLNet的王座终没做稳，在充分测量许多关键的超参数和训练数据大小的影响，研究人员发现，Bert的训练明显不足，改进后的Bert模型可以达到或超过在之后发布的每一个模型的性能。本月初，XLNet团队尝试以一种在相同环境和配置下训练两个模型的方式，对比了XLNet和BERT的效果，回应业内的讨论。研究者尝试让每一个超参数都采用相同的值，使用相同的训练数据。最终结果

根据德国研究所AV-TEST的安全研究人员进行的一项研究，Windows Defender现在是全球领先的反病毒产品之一。微软不是一个安全厂商，其主要目标是构建高级软件解决方案来阻止恶意软件和网络攻击，但是由于该公司最近在Windows Defender中付出的努力，让Windows 10内置的防病毒软件向前迈出了重要的一步。成为全球领先的反病毒产品之一。

7月30日消息 日前，加州大学圣地亚哥分校研究人员研制出一款通过眨眼放大画面的隐形眼镜。这款隐形通过眨眼时产生的电信号让隐形眼镜改变焦距。当隐形眼镜感受到眨眼产生的电信号会膨胀或缩小，达到改变焦距的目的。当然，现在这项技术仍在概念验证阶段，参与研发的蔡胜奇（音译）教授表示，这一隐形眼镜通过围绕在眼睛周围的五个电极来控制。当电极感受到微电流，就能对隐形眼镜作出相应的改变。现阶段这款隐形眼镜仍然需要佩戴特定的器材才能探知电信号的变化。虽然现成的产品还需要一段时间才能面世，但是这款隐形眼镜的前景还是不可估量的，适合老年人和视力较低的人群使用。

本文作者 Jun Wu 有着编程和统计学背景，她在 15 年前就是一名程序员。近日，她分享了给程序员的 30 条心得建议，如果你想成为一名程序员，这个建议可以帮助你走上正确的道路。

日前真“狮”版《狮子王》在国内外上映，之后在全球引起了不小的热潮，票房和口碑还算不错，然而在隔壁的岛国，粉丝们纷纷表示和94年版《狮子王》动画电影一样，真“狮”版《狮子王》依然逃不出抄袭手冢治虫名作《森林大帝》的舆论漩涡。

北京时间7月30日晚间消息，据美国科技媒体ZDNet报道，谷歌旗下安全团队Project Zero的两名成员日前公布了影响iOS系统的6个“无交互”安全漏洞中其中5个的详细信息和演示用攻击代码。据悉，这6个“无交互”安全漏洞可通过iMessage客户端发动攻击。上周，即7月22日，苹果发布了iOS 12.4版，修复了这6个安全漏洞。但是，其中一个“无交互”漏洞的细节此次并未公布，是因为iOS 12.4补丁还没有完全解决问题。据谷歌研究人员称，这6个安全漏洞中的4个可以导致在远程iOS设备上执行恶意代码，而无需用户交互。攻击者需要做的只是向受害者的手机发送一条“错误格式”的消息，一旦用户打开并查看接收到的项目，恶意代码就会被执行。而第5个和第6个漏洞允许攻击者从设备内存中泄漏数据，并从远程设备读取文件，同样无需用户干预。根据漏洞交易平台Zerodium的价格表显示，类似于谷歌此次公布的这些漏洞，每条的价格可能超过100万美元。可以毫不夸张地说，谷歌此次公开的这些漏洞信息的价值远超500万美元，很可能达到1000万美元。在下周于拉斯维加斯举行的“黑帽”（Black Hat）安全会议上，谷歌安全研究人员将举行一场关于远程和无交互iPhone漏洞的演示。谷歌Project Zero安全团队成立于2014年7月，专为第三方软件寻找漏洞。他们并不会利用这些漏洞，只会对第三方软件开发商发出警告，以避免被恶意利用。

7月30日消息 今天微信公布了《七月朋友圈十大谣言》，其中就包括“一本正经地胡说八道”的坐高铁=照X光，一起来看一下吧。1. 尼古丁是癌症克星，抽烟能防癌谣言类别：失实报道2. 心脏病发服用这三种药可救急谣言类别：失实报道3. 尽量不对大家发“早上好”谣言类别：失实报道4. 坐高铁=照X光谣言类别：失实报道5. 吃猪肉、家禽肉感染H7N9病毒死亡谣言类别：失实报道6. 中国养老金在2035年将耗尽结余谣言类别：失实报道7. 葡萄被喷植物生长调节剂“暴力”催熟谣言类别：失实报道8. 政府大楼由驻港部队站岗谣言类别：失实报道9. 雨天横道线漆面太滑致男生摔亡谣言类别：失实报道10. 大面积种植转基因玉米鼠患已无谣言类别：失实报道“坐高铁=照X光”其实早就辟谣了，不料近日谣言又起。国务院国资委官方微信号“国资小新”28日就曾发文回怼，称“竟然还能这样一本正经地胡说八道”。早在2013年，当时的铁道部宣传部门就曾对“高铁辐射严重”作出回应：高铁输电线路产生的电磁场主要是工频电磁场。铁路部门对高铁动车组车厢、司机室等常年进行系统监测，其电场、磁场强度均符合国家相关标准，不会影响乘车人员的身体健康。

7月30日消息 据新华社报道，由中国电子技术标准化研究院开发的个人信息保护合规评估工具今天正式发布上线。据了解，这一工具将为企业免费提供App隐私条款评估、个人信息保护合规自查等在线服务。该平台能有效的解决移动互联网App隐私条款内容缺失、晦涩难懂、过度收集个人信息等问题，解决用户个人信息安全的隐患。为治理App个人信息收集方面存在的乱象，今年1月，中央网信办、工信部、公安部、国家市场监管总局联合开展App违法违规收集使用个人信息专项治理工作，倡导App运营者严格依法履行个人信息保护义务，组织App隐私政策和个人信息收集使用情况评估，打击整治网络侵犯公民个人信息违法犯罪。相关负责人表示，“个人信息保护合规评估工具可以为企业提供隐私条款评估、个人信息保护合规自查等在线服务，能够帮助企业发现App在隐私条款收集、保存、使用、对外提供等方面存在的不足，以及在告知同意、收集必要性、用户权利保障等方面存在的合规问题。”这位负责人称工具的发布将有助于企业提升自身个人信息保护能力和水平，进而带动整个行业对个人信息保护能力的提升。

7月30日晚间消息，暴风集团发布公告称，对于公司股票连续2个交易日（2019年7月29日、2019年7月30日）收盘价格跌幅偏离值累计超过20%情况，公司核实情况说明，近期公司实际控制人冯鑫先生被采取强制措施，相关事项尚待公安机关进一步调查。目前公司经营情况正常，内部人员稳定。公告称，控股股东、实际控制人在股票交易异常波动期间不存在买卖公司股票的情形。公告称，公司董事会确认，公司目前没有任何根据《深圳证券交易所创业板股票上市规则》等有关规定应予以披露而未披露的事项；董事会也未获悉公司有根据《深圳证券交易所创业板股票上市规则》等有关规定应予以披露而未披露的、对本公司股票价格产生较大影响的信息；公司前期披露的信息不存在需要更正、补充之处。

7月30日消息，索尼公司今日公布2019财年第一季度（2019年4月1日-2019年6月30日）整体业绩数字，如下：2019财年第一季度，索尼公司实现销售收入19,257亿日元，基本与去年持平；由于半导体业务的迅猛增长和娱乐业务的强劲表现，成功克服了电子产品销售台数下降的负面影响，营业利润为2,309亿日元，同比增长18%；净利润为1,521亿日元。索尼对全年利润预期保持不变。

7月30日晚间消息，暴风集团发布公告称，对于公司股票连续2个交易日（2019年7月29日、2019年7月30日）收盘价格跌幅偏离值累计超过20%情况，公司核实情况说明，近期公司实际控制人冯鑫先生被采取强制措施，相关事项尚待公安机关进一步调查。目前公司经营情况正常，内部人员稳定。

7月30日消息 阿里巴巴集团表示股票分割将于7月30日生效。此前阿里巴巴股东大会上表示，阿里巴巴集团将对普通股从40亿股增至320亿股，即现有的股票一拆八。根据此前披露文件，阿里巴巴计划在今年晚些时候将其普通股一拆八，以便增加其筹资活动的灵活性，包括发行新股。不过，这些文件并未指明资本市场的具体对象。鉴于此前有消息称，阿里巴巴将赴港上市，所以这次拆股很有可能与赴港二次上市有关，但针对赴港上市这一传闻，阿里巴巴方面一直都是不予置评。披露文件显示，阿里巴巴目前40亿普通股每股价值0.000025美元。拆分后，票面价值将为每股0.000003125美元，普通股总数将变为320亿股。