-
基于K－Means的文本聚类
所属栏目：[大数据] 日期：2021-03-11 热度：101
http://blog.csdn.net/freesum/article/details/7376006 何为聚类 ? ? ? ? “聚类是把相似的对象通过静态分类的方法分成不同的组别或者更多的子集（subset）,这样让在同一个子集中的成员对象都有相似的一些属性。”?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?[详细]
-
R在文本挖掘与分析的妙用：分词、画词云
所属栏目：[大数据] 日期：2021-03-11 热度：149
报道大数据企业： 大数据产品、大数据方案、 ? 大数据人物 分享大数据干货： 大数据书籍、大数据报告、 大数据视频 本文转自蔡捕头的新浪博客。欢迎更多优质原创文章投稿给大数据人：289585305@qq.com 摘要： 要分析文本内容，最常见的分析方法是提取文本中[详细]
-
10EB量级的基因大数据处理技术
所属栏目：[大数据] 日期：2021-03-11 热度：126
Java学习网（www.javalearns.com）提拱 10EB量级的基因大数据处理技术 很荣幸在这里跟大家分享大家以前很少接触到的领域的大数据情况。其实生命科学的大数据还处在比较初始的阶段，否则国家也不会现在才开始提出精准医学这样的概念。所谓精准医学想通过大数[详细]
-
数据分析与挖掘学习（一）
所属栏目：[大数据] 日期：2021-03-11 热度：177
数据分析与挖掘过程 一. 定义挖掘目标 一般的数据挖掘任务包括： 1. 分类与预测 2. 聚类分析 3. 关联规则 4. 时序模式 5. 偏差检验 6. 智能推荐 二. 数据取样 抽取一个与挖掘目标相关的样本子集，标准是 1. 相关性 2. 可靠性 3. 有效性 而不是选用全部数据做[详细]
-
Acdream 1210 Chinese Girls#39; Amusement（大数模板运算 + 找
所属栏目：[大数据] 日期：2021-03-11 热度：191
传送门 Chinese Girls’ Amusement Time Limit: 2000/1000MS (Java/Others) Memory Limit: 128000/64000KB (Java/Others) Submit Statistic Next Problem Problem Description You must have heard that the Chinese culture is quite different from that o[详细]
-
最值得推荐的统计和数据分析好书之一
所属栏目：[大数据] 日期：2021-03-11 热度：147
推荐一本统计和数据分析领域非常受欢迎的书，这书升级版原版评价甚至比第1版更好，中文版最近刚出版。 后面的图中给出了豆瓣和知乎对第一版的评价，还有知乎受关注的相关问题的网址。 《R语言实战（第2版）》 R in Action ,Second Edition: Data analysis an[详细]
-
BI Intelligence 报告：2016 年 5 大数字化趋势（附下载）
所属栏目：[大数据] 日期：2021-03-11 热度：126
C 新智元编译?? ? 来 源：Business Insider 译者：闻菲 【新智元导读】 Business Insider 网站日前公开了旗下调研团队 BI Intelligence 去年 2 月发布的调查报告，成功 预测了消息APP成为新的OS和Bot的崛起。报告还预计物联网是下一场工业革命，将颠覆能源、[详细]
-
HDU 1212 Big Number（大数取模）
所属栏目：[大数据] 日期：2021-03-11 热度：156
Big Number Time Limit: 2000/1000 MS (Java/Others)????Memory Limit: 65536/32768 K (Java/Others) Total Submission(s): 7063????Accepted Submission(s): 4866 Problem Description As we know,Big Number is always troublesome. But it's really impor[详细]
-
R语言：SMOTE - Supersampling Rare Events in R:用R对非平衡数
所属栏目：[大数据] 日期：2021-03-11 热度：154
SMOTE - Supersampling Rare Events in R:用R对稀有事件进行超级采样 在这个例子中将用到以下三个包 {DMwR} - Functions and data for the book “Data Mining with R” and SMOTE algorithm:SMOTE算法 {caret} - modeling wrapper,functions,commands：模型[详细]
-
寻找第K大数的方法
所属栏目：[大数据] 日期：2021-03-11 热度：133
寻找一堆数中第K大的数，第一感觉是排序，然后将排序之后的值取第K个。但是实际上，这种方式最少的时间复杂度是O(nlogn)。有更简单的方式可以实现线性的时间复杂度。 算法总是有穷尽的，而思想无穷尽，而实用算法的本质是用空间去换取时间。 这里的方案是：[详细]
-
基因数据处理41之mango使用失败
所属栏目：[大数据] 日期：2021-03-09 热度：181
hadoop@Master:~/xubo/tools/adam- 2.10 - 0.19 -git/bin$ mango-submit /xubo/mango/snap/datatest .fa .adam -read_files /xubo/mango/snap/datatest2 .sort .bam .adam -var_files /xubo/mango/snap/datatest2 .flt .vcf .adam -feat_file /xubo/mango/sn[详细]
-
51NOD 1116 K进制下的大数(字符串取模 + 枚举)
所属栏目：[大数据] 日期：2021-03-09 热度：69
传送门 1116 K进制下的大数 基准时间限制：1 秒 空间限制：131072 KB 分值: 20 难度：3级算法题 收藏 关注 有一个字符串S，记录了一个大数，但不知这个大数是多少进制的，只知道这个数在K进制下是K - 1的倍数。现在由你来求出这个最小的进制K。 例如：给出的[详细]
-
poj3181 Dollar Dayz (DP+大数)
所属栏目：[大数据] 日期：2021-03-09 热度：157
Dollar Dayz Crawling in process... Crawling failed Time Limit: 1000 MS???? Memory Limit: 65536 KB???? 64bit IO Format: %I64d %I64u Submit Status Practice POJ 3181 Appoint description: System Crawler (2016-05-27) Description Farmer John goe[详细]
-
基因数据处理40之bedtools的安装和使用
所属栏目：[大数据] 日期：2021-03-09 热度：60
1.下载： git clone https: //github.com/arq5x/bedtools.git 2.编译： make 3.配置： cp * /usr/local /bin/ 4.运行： bam变成bed hadoop @Master :~/xubo/data/snap $ bamToBed -i datatest.sorted.bam datatest.sorted.bed 查看： hadoop @Master :~/xubo[详细]
-
基因数据处理42之mango问题_seqdict.avro不存在解决
所属栏目：[大数据] 日期：2021-03-09 热度：198
参考【1】中问题解决 问题分析：这是新版本的问题：adam0.19.1目前在maven中心仓库没有 解决办法： package org.gcdss.test import java.io.File import java.nio.file.Files import org.apache.parquet.hadoop.metadata.CompressionCodecName import org.ap[详细]
-
基因数据处理43之mango之503错误
所属栏目：[大数据] 日期：2021-03-09 热度：164
HTTP ERROR : 503 Problem accessing /. Reason : Service Unavailable Powered by Jetty :// 更详细请见： https://github.com/bigdatagenomics/mango/issues/181[详细]
-
推荐系统技术之文本相似性计算（三）
所属栏目：[大数据] 日期：2021-03-09 热度：158
今天这篇也比较长，但中间有部分是代码，7，8，9最后三节的信息我认为较为有用。 前面说了两篇了，推荐系统技术之文本相似性计算（一）和推荐系统技术 --- 文本相似性计算（二）分别介绍了 TFIDF 和向量空间的相关东西，然后介绍了 主题模型 ，这一篇我们就[详细]
-
趣图：论修电脑和当医生的相似性
所属栏目：[大数据] 日期：2021-03-09 热度：71
（点击 上方公众号 ，可快速关注） 既然喝水这么重要，今天来送个福利 ↓↓↓ 据路边社报道，水杯离你越近，喝水的频率将会越高。 借今天的趣图，来团一款方便携带的随手水杯。emoi 品牌，环保，外观设计简洁大方，手感也很不错。密封防漏做的好，可随身携带[详细]
-
[生产库实战] 如何合理的使用logmnr进行日志挖掘，并对生产库影
所属栏目：[大数据] 日期：2021-03-09 热度：119
Oracle Logmnr这个工具怎么用这里就不详细说，可以查看官方文档，网上的文档也一大堆，自己找吧。我这里就直接上干货了。 --创建Oracle目录 select * from dba_directories; create directory archivelog_dir as '/archivelog1/temp_archivelog/'; --grant r[详细]
-
基因数据处理50之cs-bwamem、bwa、snap、bwa-mem与art比较
所属栏目：[大数据] 日期：2021-03-09 热度：104
直接看结果： （1）art仿真数据： hadoop @Master :~/cloud/adam/xubo/data/GRCH38Sub/cs-bwamem $ cat G38L100c50Nhs20 .aln ##ART_Illumina read_length 100 @CM art_illumina -ss HS20 -i GRCH38chr1L3556522 .fna -l 100 -c 50 -o G38L100c50Nhs20 -rs 1[详细]
-
基因数据处理45之cloud-scale-bwamem安装（compile.pl安装有问题
所属栏目：[大数据] 日期：2021-03-09 热度：185
脚本： hadoop @Master :~/xubo/tools/cloud-scale-bwamem $ cat compile.pl #! /usr/bin/perl system "mvn clean package" ;chdir "./src" ;system "mvn package -PotherOutputDir" ;chdir "./main/jni_fpga" ;system "mvn package -PotherOutputDir" ;chdi[详细]
-
基因数据处理47之ART基因序列数据生成器（仿真）
所属栏目：[大数据] 日期：2021-03-08 热度：188
1.概念： ART基因序列数据生成器 详细请见论文：【1】 和官网【2】 2.下载： ART-bin-GreatSmokyMountains-04.17.16-Linux64.tgz http://www.niehs.nih.gov/research/resources/assets/docs/artbingreatsmokymountains041716linux64tgz.tgz 3.配置 sudo cp到[详细]
-
基因数据处理49之cloud-scale-bwamem运行成功
所属栏目：[大数据] 日期：2021-03-08 热度：84
1.先使用art生成数据： 请看前一篇 2.上传fastq到hdfs： hadoop @Master :~/cloud/adam/xubo/data/GRCH38Sub/cs-bwamem $ spark-submit -- class cs . ucla . edu . bwaspark . BWAMEMSpark -- master local [2] / home / hadoop / xubo / tools / cloud - s[详细]
-
基因数据处理48之ART使用实例
所属栏目：[大数据] 日期：2021-03-08 热度：75
相关参数请见上一篇 1.使用实例1： hadoop @Master :~/cloud/adam/xubo/data/GRCH38Sub/cs-bwamem $ art_illumina -ss HS20 -i GRCH38chr1L3556522 .fna -l 100 -f 20 -o G38L100F20Nhs20 ==================== ART ==================== ART_Illumina ( 200[详细]
-
求0至大数之间的随机数
所属栏目：[大数据] 日期：2021-03-08 热度：74
题目：给定一个String类型的大数(非负整数)，不能直接转化为Integer，类似如下要求 The numbers can be arbitrarily large and are non-negative. Converting the input string to integer is? NOT ?allowed. You should? NOT ?use internal library such as[详细]
