j*********g 发帖数: 463 | 1 有改到GPU平台吗?
主要做RNAseq Exome-seq这种target sequencing的序列比对而已。差不多的硬件投入
,GPU能快多少呢? |
t*****z 发帖数: 1598 | 2 在我接触到的工作中,依然是CPU。
主要原因我想,是很多工作依赖参考数据库,而且往往很大,显卡内存装不下这东西。
如果这个能够克服(例如使用Xeon Phi),大量序列的比对是很适合显卡的。
【在 j*********g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 有改到GPU平台吗? : 主要做RNAseq Exome-seq这种target sequencing的序列比对而已。差不多的硬件投入 : ,GPU能快多少呢?
|
s******s 发帖数: 13035 | 3 有啊,不过用的比较少。
不过现在有一些FPGA的,直接做成硬件来卖,国内好像也有做的,AWS也有FPGA的
flavor
了。
兼容性有CPU系统,专业性有FPA的傻瓜硬件系统,GPU可能需要的技术性太强了
【在 j*********g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 有改到GPU平台吗? : 主要做RNAseq Exome-seq这种target sequencing的序列比对而已。差不多的硬件投入 : ,GPU能快多少呢?
|
K****n 发帖数: 5970 | 4 看有没有真的需求。内存和 IO在其它大数据训练问题里也是一样的,用一个CPU线程管
理 I/O,GPU猛算,在不少算法里还是可能的。
flavor
【在 s******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 有啊,不过用的比较少。 : 不过现在有一些FPGA的,直接做成硬件来卖,国内好像也有做的,AWS也有FPGA的 : flavor : 了。 : 兼容性有CPU系统,专业性有FPA的傻瓜硬件系统,GPU可能需要的技术性太强了
|
K****n 发帖数: 5970 | 5 哦,要是 FPGA 成熟就不太用 GPU 了
flavor
【在 s******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 有啊,不过用的比较少。 : 不过现在有一些FPGA的,直接做成硬件来卖,国内好像也有做的,AWS也有FPGA的 : flavor : 了。 : 兼容性有CPU系统,专业性有FPA的傻瓜硬件系统,GPU可能需要的技术性太强了
|
j*********g 发帖数: 463 | 6 GPU适合高并发。看算法设计,高并发的话GPU就快,并发越高用GPU就越快。如果只是
计算量大,而且计算内容有很强的逻辑关联的话就没法提升多少。
例如:如果内容是同时计算f(x),g(x),h(x),i(x).......这种就适合用显卡计算,如果
是f(g(h(i(x))))这种,用GPU也没用。
那么问题来了,目前生物信息和计算生物学的算法设计,适合GPU吗?
最耗时间和资源的部分,就是比对。BWA是为了GPU设计的吗?
据我所知,SOAP3倒是为GPU优化了吧!
【在 t*****z 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 在我接触到的工作中,依然是CPU。 : 主要原因我想,是很多工作依赖参考数据库,而且往往很大,显卡内存装不下这东西。 : 如果这个能够克服(例如使用Xeon Phi),大量序列的比对是很适合显卡的。
|
j*********g 发帖数: 463 | 7 如图,还是快了不少的。
【在 s******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 有啊,不过用的比较少。 : 不过现在有一些FPGA的,直接做成硬件来卖,国内好像也有做的,AWS也有FPGA的 : flavor : 了。 : 兼容性有CPU系统,专业性有FPA的傻瓜硬件系统,GPU可能需要的技术性太强了
|
s******s 发帖数: 13035 | 8 实际使用上,其实BWA再怎么压榨对总效率意义也不大。啥时候Broad好好优化Picard才
是正理。
【在 j*********g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : GPU适合高并发。看算法设计,高并发的话GPU就快,并发越高用GPU就越快。如果只是 : 计算量大,而且计算内容有很强的逻辑关联的话就没法提升多少。 : 例如:如果内容是同时计算f(x),g(x),h(x),i(x).......这种就适合用显卡计算,如果 : 是f(g(h(i(x))))这种,用GPU也没用。 : 那么问题来了,目前生物信息和计算生物学的算法设计,适合GPU吗? : 最耗时间和资源的部分,就是比对。BWA是为了GPU设计的吗? : 据我所知,SOAP3倒是为GPU优化了吧!
|
j*********g 发帖数: 463 | 9 刚入门,请教Picard有哪些用处?
:实际使用上,其实BWA再怎么压榨对总效率意义也不大。啥时候Broad好好优化Picard
才是正理。
【在 s******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 实际使用上,其实BWA再怎么压榨对总效率意义也不大。啥时候Broad好好优化Picard才 : 是正理。
|
s******s 发帖数: 13035 | 10 大工具步骤之间的无数小步骤
Picard
【在 j*********g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 刚入门,请教Picard有哪些用处? : : :实际使用上,其实BWA再怎么压榨对总效率意义也不大。啥时候Broad好好优化Picard : 才是正理。
|
|
|
t*****z 发帖数: 1598 | 11 Pichard不就是那套小工具集合吗?是Java做的,运行效率和兼容性值得怀疑。
SAMtools加纯Bash命令可以搞定其大部分功能了。不知现在Pichard在世界上接受程度
如何?
【在 s******s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 大工具步骤之间的无数小步骤 : : Picard
|
j*********g 发帖数: 463 | 12 同疑问。还是比对耗费时间。
:Pichard不就是那套小工具集合吗?是Java做的,运行效率和兼容性值得怀疑。
:SAMtools加纯Bash命令可以搞定其大部分功能了。不知现在Pichard在世界上接受程度
:如何?
【在 t*****z 的大作中提到】![](/moin_static193/solenoid/img/up.png) : Pichard不就是那套小工具集合吗?是Java做的,运行效率和兼容性值得怀疑。 : SAMtools加纯Bash命令可以搞定其大部分功能了。不知现在Pichard在世界上接受程度 : 如何?
|
n******7 发帖数: 12463 | 13 我个人不喜欢这种大集成工具包
让简单透明的事情复杂化
上次面试HM问我用过picard没有
说多年以前试过,不熟,他居然有些不爽
一个工具而已,我觉得他水平不行,哈哈
java的运行效率应该不如native的C/C++ code,但是也就慢一倍的样子
可能很多操作瓶颈在disk I/O
兼容性不知道你说的什么,这个应该是java的强项
不过我最近准备研究一下picard的source code
我想自己做点java的通用小工具,照葫芦画瓢最省事
【在 t*****z 的大作中提到】![](/moin_static193/solenoid/img/up.png) : Pichard不就是那套小工具集合吗?是Java做的,运行效率和兼容性值得怀疑。 : SAMtools加纯Bash命令可以搞定其大部分功能了。不知现在Pichard在世界上接受程度 : 如何?
|
n******7 发帖数: 12463 | 14 有个公司做很多mapping
他们就是用Xeon Phi,AVX 512很有用
不过为此他们还雇了个专门搞HPC的人
一般都core facility还是run CPU code了
【在 t*****z 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 在我接触到的工作中,依然是CPU。 : 主要原因我想,是很多工作依赖参考数据库,而且往往很大,显卡内存装不下这东西。 : 如果这个能够克服(例如使用Xeon Phi),大量序列的比对是很适合显卡的。
|
t*****z 发帖数: 1598 | 15 JAVA程序的命令行都太冗长了,简直反人类,而且时不时还要考虑内存问题。比如给
BAM文件排序,Picard是:
java -Xmx???g -jar picard.jar SortSam INPUT=unsorted.bam OUTPUT=sorted.bam
SORT_ORDER=coordinate
而SAMtools仅仅是:
samtools sort input.bam
我常用SAMtools配合Bash的pipe整出高效且干净的one-liner,例如去除某些序列:
bowtie2 -p 16 -x /path/to/db -1 in_R1.fq -2 in_R2.fq | samtools view -f 12 -
F 256 | samtools sort -@ 16 -n | samtools view -bS | bedtools bamtofastq -i
- -fq out_R1.fq -fq2 out_R2.fq &> output.log
不知道Picard能不能?
【在 n******7 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我个人不喜欢这种大集成工具包 : 让简单透明的事情复杂化 : 上次面试HM问我用过picard没有 : 说多年以前试过,不熟,他居然有些不爽 : 一个工具而已,我觉得他水平不行,哈哈 : java的运行效率应该不如native的C/C++ code,但是也就慢一倍的样子 : 可能很多操作瓶颈在disk I/O : 兼容性不知道你说的什么,这个应该是java的强项 : 不过我最近准备研究一下picard的source code : 我想自己做点java的通用小工具,照葫芦画瓢最省事
|
n******7 发帖数: 12463 | 16 run jar文件是比较啰嗦
这种大工具集为了风格统一,也会造成一些啰嗦的用法
其实java的文化就是啰嗦但不复杂
因为缺省一些东西意味着你大脑要记住一些默认规则
这就为出问题创造了机会,滥用这点也会增加复杂度
比如就这个samtools,我记得好像就是这个sort命令,在某个版本之前和之后是不一样的
一个版本默认到stdout,需要用-O指定输出文件前缀;一个是直接跟输出文件前缀,
-o是到stdout
具体可能有出入,但是这种问题挺烦人,各个工具也不一样,不如统一规范省心
另一个问题就是pipe的时候,各个工具接收stdin的方式会有不同,有时也是挺烦的
java的控制pipe library我没用过,应该不是问题
-
i
【在 t*****z 的大作中提到】![](/moin_static193/solenoid/img/up.png) : JAVA程序的命令行都太冗长了,简直反人类,而且时不时还要考虑内存问题。比如给 : BAM文件排序,Picard是: : java -Xmx???g -jar picard.jar SortSam INPUT=unsorted.bam OUTPUT=sorted.bam : SORT_ORDER=coordinate : 而SAMtools仅仅是: : samtools sort input.bam : 我常用SAMtools配合Bash的pipe整出高效且干净的one-liner,例如去除某些序列: : bowtie2 -p 16 -x /path/to/db -1 in_R1.fq -2 in_R2.fq | samtools view -f 12 - : F 256 | samtools sort -@ 16 -n | samtools view -bS | bedtools bamtofastq -i : - -fq out_R1.fq -fq2 out_R2.fq &> output.log
|
f********r 发帖数: 30 | 17 有啊,我们做的系统就是基于GPU的。 30x WGS fastq -> vcf 20 分钟。 GPU用得好的
话加速效果还是比较明显的。
【在 j*********g 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 有改到GPU平台吗? : 主要做RNAseq Exome-seq这种target sequencing的序列比对而已。差不多的硬件投入 : ,GPU能快多少呢?
|
n******7 发帖数: 12463 | 18 你们的系统是公开的吗?
可否给个链接?
【在 f********r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 有啊,我们做的系统就是基于GPU的。 30x WGS fastq -> vcf 20 分钟。 GPU用得好的 : 话加速效果还是比较明显的。
|
f********r 发帖数: 30 | 19 不是公开的。 原型刚做好。刚开始给用户试用。
【在 n******7 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你们的系统是公开的吗? : 可否给个链接?
|
n******7 发帖数: 12463 | 20 30x的数据只用20分钟搞定很牛的
那能否透漏一些在什么上的硬件上面实现的?
alignment是把现有的工具(比如BWA)改到gpu上,
还是你们自己develop的方法?
想起我们有些gpu的node,也许可以玩玩
【在 f********r 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 不是公开的。 原型刚做好。刚开始给用户试用。
|
j*********g 发帖数: 463 | 21 SOAP3是针对GPU的
:30x的数据只用20分钟搞定很牛的
:那能否透漏一些在什么上的硬件上面实现的?
:alignment是把现有的工具(比如BWA)改到gpu上,
:还是你们自己develop的方法?
:想起我们有些gpu的node,也许可以玩玩
【在 n******7 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 30x的数据只用20分钟搞定很牛的 : 那能否透漏一些在什么上的硬件上面实现的? : alignment是把现有的工具(比如BWA)改到gpu上, : 还是你们自己develop的方法? : 想起我们有些gpu的node,也许可以玩玩
|