g******t 发帖数: 11249 | |
a********r 发帖数: 4013 | |
s*****l 发帖数: 7106 | 3 Map reduce
【在 g******t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 客户要求就是这样 : 不能改
|
b****u 发帖数: 1130 | 4 load 一亿个点不是问题,问题是距离矩阵。
把距离矩阵按照行或则列分为 100份。每一份有10^ 6个点到其他点的距离。这样就可
以一部分一部分做运算。
【在 g******t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 客户要求就是这样 : 不能改
|
Q*****r 发帖数: 234 | |
e****w 发帖数: 1565 | 6 Lol你是垃圾超酸集群的话还要自己写mpi
不知道哪里买得到spark hadoop集群 然后直接套kmean就好了lol
找你么学校计算机系搞跑spark/ Hadoop 个分布式集群的实验室 让他们呢跑 |
m*****n 发帖数: 4015 | 7 不是有recursively compute variance and means 的办法吗。这不是很通用的做法
吗。 为啥这是个问题 |
s******r 发帖数: 5309 | |
n********g 发帖数: 6504 | 9 LZ应该先学一下初中课程,啥叫大O。
格子由大到小。问题由粗到细。
【在 b****u 的大作中提到】![](/moin_static193/solenoid/img/up.png) : load 一亿个点不是问题,问题是距离矩阵。 : 把距离矩阵按照行或则列分为 100份。每一份有10^ 6个点到其他点的距离。这样就可 : 以一部分一部分做运算。
|
s***c 发帖数: 1926 | 10 10^8并不大,一张D800的照片就36M个象素,各种算法笔记本都跑得飞快.
试试 Mini Batch Kmeans
http://scikit-learn.org/stable/modules/clustering.html#mini-batch-kmeans
【在 g******t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 客户要求就是这样 : 不能改
|
h**c 发帖数: 1979 | |
n********t 发帖数: 21 | 12 mapreduce 就是google来处理这种海量维度的矩阵的。
kmeans mapreduce
:客户要求就是这样
: |
s***c 发帖数: 1926 | 13 刚才查了下,这人用R自带的rxKmeans,在2011年的笔记本上跑123 million的7维数据
,才用6分钟。什么特殊方法都不用。
http://blog.revolutionanalytics.com/2011/06/kmeans-big-data.html
Finally, just for fun, I ran the rxKmeans on the 123 million plus row
airlines data set that I have described in a previous blog post looking for
2 clusters in a 7 dimensional space described by departure time, arrival
time, air time, arrival delay, departure delay, taxi in time and taxi out
time. I have no idea how to interpret the results, but the calculation ran
in just under 6 minutes.
【在 s***c 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 10^8并不大,一张D800的照片就36M个象素,各种算法笔记本都跑得飞快. : 试试 Mini Batch Kmeans : http://scikit-learn.org/stable/modules/clustering.html#mini-batch-kmeans
|