q**j 发帖数: 10612 | 1 请问一下高手在python里面,能否想在SAS里面那样灵活的用sql query?另外在python
里面有没有merge这样的东西?多谢。 |
A*****n 发帖数: 243 | 2 可以使用MySQLdb或者mxODBC包访问外部的MySQL或者其他类型的数据库
,进行sql操作。但是类似于SAS那样对于一个内部的数据集进行sql query或者merge貌
似还没有发现,毕竟在python里面并没有一个可以和SAS得dataset和R的data.frame很好
的对应的基本数据变量。可能能够在numpy或者scipy的基础上基于list comprehensiio
n或者dictionary实现类似的功能,但是效率恐怕就不高了。
python
【在 q**j 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 请问一下高手在python里面,能否想在SAS里面那样灵活的用sql query?另外在python : 里面有没有merge这样的东西?多谢。
|
q**j 发帖数: 10612 | 3 i just did a search, it looks that numpy.lib.recfunctions.join_by
can do the trick.
你比我对python熟,你来看看如何?
很好
comprehensiio
【在 A*****n 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 可以使用MySQLdb或者mxODBC包访问外部的MySQL或者其他类型的数据库 : ,进行sql操作。但是类似于SAS那样对于一个内部的数据集进行sql query或者merge貌 : 似还没有发现,毕竟在python里面并没有一个可以和SAS得dataset和R的data.frame很好 : 的对应的基本数据变量。可能能够在numpy或者scipy的基础上基于list comprehensiio : n或者dictionary实现类似的功能,但是效率恐怕就不高了。 : : python
|
q**j 发帖数: 10612 | 4 对了,什么样的命令可以看这个function 的 doc?
【在 q**j 的大作中提到】![](/moin_static193/solenoid/img/up.png) : i just did a search, it looks that numpy.lib.recfunctions.join_by : can do the trick. : 你比我对python熟,你来看看如何? : : 很好 : comprehensiio
|
A*****n 发帖数: 243 | 5 help(function name)
【在 q**j 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 对了,什么样的命令可以看这个function 的 doc?
|
A*****n 发帖数: 243 | 6 通过这个连接看了一下,里面的说明也比较详细
http://scipy.indefero.net/p/numpy/source/tree/master/numpy/lib/recfunctions.
py
应该可以实现类似于merge的功能。感觉就是在numpy的基础上建立了一个类似于data f
rame的类可以进行相似的操作。
我以前也试过在python里面进行一些统计计算,希望所有的分析都能在一个语言环境
内进行。而像scipy的stats也提供了一些统计功能,后来发现我要用的ks-test(ks_
2samp)
功能有点错误,就放弃了。
数据量一大,python和R都好不到哪。
【在 q**j 的大作中提到】![](/moin_static193/solenoid/img/up.png) : i just did a search, it looks that numpy.lib.recfunctions.join_by : can do the trick. : 你比我对python熟,你来看看如何? : : 很好 : comprehensiio
|
q**j 发帖数: 10612 | |
A*****n 发帖数: 243 | 8 是啊,真正计算量大的东西还是得靠底层的c/cpp,就比如刚才提到的ks test。在
python里面用numpy写,而在R里面则还是通过写C程序,然后通过wrapper调用。
而在学SAS的时候感觉SAS真正是把统计的方法和数据的存储通过他的SQL结合在一起,
应该对于大数据会有比较好的性能(实际效果不知道)。
【在 q**j 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 完了,走弯路了。看来还是c/cpp是正道。
|