-
当我们谈大数据分析的时候，我们在谈什么？
所属栏目：[大数据] 日期：2021-03-08 热度：147
数据分析是一个大话题，借这篇笔记整理一下自己的思路：数据分析是什么？涉及到哪些技术？有哪些数据公司玩家？如何定位数据分析的价值？如果选择数据分析作为自己的职业，需要掌握什么样的基本概念？希望帮助对于数据分析有兴趣的同学快速入门！ 前言 数据[详细]
-
【快讯】R语言在大数据统计分析中的应用及前景
所属栏目：[大数据] 日期：2021-03-08 热度：53
2016年6月8日下午，数据观—清华大数据 “ 技术 · 前沿 ” 系列思享会在清数D-LAB顺利举办。本次活动有幸邀请到美国普度大学统计系教授及清华大学统计学研究中心兼职教授朱宇进行R语言在大数据统计分析中的应用及前景主题分享。 本次讲座分别介绍了统计分析[详细]
-
精准测试新玩法の基于犯罪心理学挖掘代码风险
所属栏目：[大数据] 日期：2021-03-08 热度：74
前言 ? 犯罪心理学还能用于挖掘代码风险？ 挖掘出来的东西是什么？ 挖掘出来的东东长什么样子 ? 挖掘出来能用来做什么？ 具体怎么样挖掘呢 ? 这是本文的主要探讨的内容． ? 在大型的项目中 , 代码和模块的复杂度在很大程度上决定了测试任务的时间 ,? 在项目[详细]
-
常用的数据标准化方法
所属栏目：[大数据] 日期：2021-03-08 热度：110
数据的标准化（normalization）是将数据按照一定规则缩放，使之落入一个小的特定区间。这样去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。其中最典型的就是0-1标准化和Z标准化，当然，也有一些其他的标准化方[详细]
-
BI Intelligence 报告：2016 年 5 大数字化趋势（附下载）
所属栏目：[大数据] 日期：2021-03-08 热度：153
C 新智元编译?? ? 来 源：Business Insider 译者：闻菲 【新智元导读】 Business Insider 网站日前公开了旗下调研团队 BI Intelligence 去年 2 月发布的调查报告，成功 预测了消息APP成为新的OS和Bot的崛起。报告还预计物联网是下一场工业革命，将颠覆能源、[详细]
-
HDU 1212 Big Number（大数取模）
所属栏目：[大数据] 日期：2021-03-08 热度：159
Big Number Time Limit: 2000/1000 MS (Java/Others)????Memory Limit: 65536/32768 K (Java/Others) Total Submission(s): 7063????Accepted Submission(s): 4866 Problem Description As we know,Big Number is always troublesome. But it's really impor[详细]
-
R语言：SMOTE - Supersampling Rare Events in R:用R对非平衡数
所属栏目：[大数据] 日期：2021-03-08 热度：79
SMOTE - Supersampling Rare Events in R:用R对稀有事件进行超级采样 在这个例子中将用到以下三个包 {DMwR} - Functions and data for the book “Data Mining with R” and SMOTE algorithm:SMOTE算法 {caret} - modeling wrapper,functions,commands：模型[详细]
-
寻找第K大数的方法
所属栏目：[大数据] 日期：2021-03-08 热度：75
寻找一堆数中第K大的数，第一感觉是排序，然后将排序之后的值取第K个。但是实际上，这种方式最少的时间复杂度是O(nlogn)。有更简单的方式可以实现线性的时间复杂度。 算法总是有穷尽的，而思想无穷尽，而实用算法的本质是用空间去换取时间。 这里的方案是：[详细]
-
大数据分析界的“神兽”Apache Kylin初解
所属栏目：[大数据] 日期：2021-03-07 热度：113
转自李栋，来自Kyligence公司，也是Apache Kylin Committer PMC member，在加入Kyligence之前曾就职于eBay、微软。 今天分享的主题是：聊聊“神兽”Apache Kylin的最新特性。本次分享将首先对Apache Kylin进行基本介绍；接下来介绍1.5.x最新版本在架构上的重[详细]
-
kylin-BI工具-tableau9
所属栏目：[大数据] 日期：2021-03-07 热度：115
Tableau 9 Tableau 9.x has been released a while,there are many users are asking about support this version with Apache Kylin. With updated Kylin ODBC Driver,now user could interactive with Kylin service through Tableau 9.x. Apache Kylin cu[详细]
-
基因数据处理26之avocado运行snap-basic有问题
所属栏目：[大数据] 日期：2021-03-06 热度：150
hadoop@Master:~/xubo/data/testTools/se$ avocado-submit /xubo/avocado/hs2 .fq /xubo/avocado/hs38DH .fa /xubo/avocado/test20160527NUMhs2snap /home/hadoop/xubo/data/testTools/se/snap-basic .properties Using SPARK_SUBMIT=/home/hadoop/cloud/spa[详细]
-
工具 | R高效数据处理包dplyr和data.table，你选哪个？
所属栏目：[大数据] 日期：2021-03-06 热度：160
dplyr和data.table是R的两个高效数据处理包，这两个包有它们各自的优点。dplyr包的语法更加优雅，提供了更易于人类所能理解的自然语言。data.table包的语法简洁，并且只需一行代码就可以完成很多事情。进一步地，data.table在某些情况下执行效率更高（见这里[详细]
-
如何挖掘大数据“钻石矿”? 李克强绘四大路径
所属栏目：[大数据] 日期：2021-03-06 热度：58
中新社 刘震 摄 有人将大数据比喻为“21世纪的钻石矿”。如何在新一轮信息化潮流中抢得先机，掘得富矿？中国国务院总理李克强25日在中国大数据产业峰会暨中国电子商务创新发展峰会(以下简称：数博会)上发表致辞时，为此描绘出四大清晰路径。 路径一：大数据[详细]
-
数据处理的 9 大编程语言
所属栏目：[大数据] 日期：2021-03-06 热度：67
（点击 上方公众号 ，可快速关注） 英文：Anna Nicolauo 译者：伯乐在线 - 胡波 链接：http://blog.jobbole.com/100732/ 有关大数据的话题一直很火热。伴随着信息的爆炸式增长，大数据渗透到了各行各业，广泛应用于公司中，同时也使得传统的软件比如 Excel[详细]
-
基因数据处理28之avocado运行
所属栏目：[大数据] 日期：2021-03-06 热度：176
需要注意的是如果使用avocado的命令行，fs和fq为hdfs路径，properties为本地路径： hadoop @Master :~/xubo/data/testTools/se $ avocado-submit /xubo/avocado/hs1.fq /xubo/avocado/hs38DH.fa /xubo/avocado/test20160527 /home/hadoop/cloud/avocado/basi[详细]
-
LightOJ 1370 Bi-shoe and Phi-shoe（欧拉函数）
所属栏目：[大数据] 日期：2021-03-06 热度：119
题目链接： LightOJ 1370 Bi-shoe and Phi-shoe 题意： 给出n个数，要求对每个数a[i]找一个数x[i]使得小于x[i]且与x[i]互素的数的个数不小于a[i],求出所有x[i]的最小和。 分析： 和最小则每个数对应的x[i]应最[详细]
-
基因数据处理26之bcftools安装和使用
所属栏目：[大数据] 日期：2021-03-06 热度：168
1.下载： https://github.com/samtools/bcftools 2.安装 make make install 3.结合samtools使用 对排序好的bam数据用samtools生成bcf文件： xubo @xubo :~/xubo/data/testTools/se $ samtools mpileup -ugf ../hs38DH.fa hs2.sort.bam hs2.bcf 由于生成的是[详细]
-
基因数据处理30之avocado运行avocado-cli中的avocado问题1和2
所属栏目：[大数据] 日期：2021-03-06 热度：111
问题1： avocado中的run方法中： println( "stats.coverage:" + stats .coverage ) 调用的是： lazy val coverage = ComputingCoverage.time { ScoreCoverage(inputDataset) } 然后报错： Exception in thread "main" java .lang .UnsupportedOperationExcep[详细]
-
为了驾驭大数据处理，中外互联网巨头做了同样的选择
所属栏目：[大数据] 日期：2021-03-06 热度：131
数据，数据，我要大数据 在今天这个大数据的时代，数据已经成为了许多企业发展的命脉。 图片转自synergicpartners 有些企业需要数据来形成用户洞察，有的企业需要数据来优化业务流程；甚至对于部分企业来说，数据就是他们最珍贵的资产。 在这个卖煎饼都需要[详细]
-
R语言做文本挖掘 Part2分词处理
所属栏目：[大数据] 日期：2021-03-06 热度：171
?? 转载：http://www.voidcn.com/article/p-qkxmglmf-pw.html Part2分词处理 【发现有人转载，决定把格式什么重新整理一遍，有时间做个进阶版文本挖掘，恩！原文地址：CSDN-R语言做文本挖掘 Part2分词处理】 在RStudio中安装完相关软件包之后，才能做相关分[详细]
-
数盟说 | 用文本挖掘找出50年以来最流行的音乐
所属栏目：[大数据] 日期：2021-03-06 热度：173
【数盟致力于成为最卓越的数据科学社区，聚焦于大数据、分析挖掘、数据可视化领域，业务范围：线下活动、在线课程、猎头服务、项目对接】 本文为数盟原创译文，转载请注明出处，并务必保留本文底部二维码。 从 1958 年开始每年十二月 Billboard 都会发布一个[详细]
-
【工作帮】福州的数据人有福了，招数据分析师，年薪20万
所属栏目：[大数据] 日期：2021-03-06 热度：144
机会留给有准备着的人！ 选择比努力更重要！ ? 高薪聘用： 数据分析师 工作职责： 1.根据不同的业务主题，进行数据建模、挖掘； 2.为精准运营和个性化服务提供数据模型和算法支持；? 3.建立业务模型、用户画像，对产品决策制定形成良好的数据支撑； 4.通过数[详细]
-
大数据分析查询引擎Impala
所属栏目：[大数据] 日期：2021-03-06 热度：88
来自标点符的《大数据分析查询引擎Impala》 作者：标点符（钱魏 Way） 链接：http://www.biaodianfu.com/impala.html Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。 已有的Hive系统虽然也提[详细]
-
1.大道至简的数据处理工具（Power Query）
所属栏目：[大数据] 日期：2021-03-06 热度：178
? ?如果你不想学复杂的函数，如果不想学更难的VBA。但你想把数据处分分析工作做好。那么，来吧！这套课程将是你最好的选择。远离繁杂，回归简单与智能化。 ? ?先来看看power query 怎么做些什么。先来展示一下效果图。[详细]
-
9个最佳的大数据处理编程语言
所属栏目：[大数据] 日期：2021-03-06 热度：133
大数据的浪潮仍在继续。它渗透到了几乎所有的行业，信息像洪水一样地席卷企业，使得软件越发庞然大物，比如Excel看上去就变得越来越笨拙。数据处理不再无足轻重，并且对精密分析和强大又实时处理的需要变得前所未有的巨大。 那么，在巨大的数据集中进行筛选[详细]
