q**j
发帖数: 10612 | 1 请问一下高手在python里面，能否想在SAS里面那样灵活的用sql query？另外在python
里面有没有merge这样的东西？多谢。 |
A*****n
发帖数: 243 | 2 可以使用MySQLdb或者mxODBC包访问外部的MySQL或者其他类型的数据库
，进行sql操作。但是类似于SAS那样对于一个内部的数据集进行sql query或者merge貌
似还没有发现，毕竟在python里面并没有一个可以和SAS得dataset和R的data.frame很好
的对应的基本数据变量。可能能够在numpy或者scipy的基础上基于list comprehensiio
n或者dictionary实现类似的功能，但是效率恐怕就不高了。
python
【在 q**j 的大作中提到】
: 请问一下高手在python里面，能否想在SAS里面那样灵活的用sql query？另外在python
: 里面有没有merge这样的东西？多谢。
|
q**j
发帖数: 10612 | 3 i just did a search, it looks that numpy.lib.recfunctions.join_by
can do the trick.
你比我对python熟，你来看看如何？
很好
comprehensiio
【在 A*****n 的大作中提到】
: 可以使用MySQLdb或者mxODBC包访问外部的MySQL或者其他类型的数据库
: ，进行sql操作。但是类似于SAS那样对于一个内部的数据集进行sql query或者merge貌
: 似还没有发现，毕竟在python里面并没有一个可以和SAS得dataset和R的data.frame很好
: 的对应的基本数据变量。可能能够在numpy或者scipy的基础上基于list comprehensiio
: n或者dictionary实现类似的功能，但是效率恐怕就不高了。
:
: python
|
q**j
发帖数: 10612 | 4 对了，什么样的命令可以看这个function 的 doc？
【在 q**j 的大作中提到】
: i just did a search, it looks that numpy.lib.recfunctions.join_by
: can do the trick.
: 你比我对python熟，你来看看如何？
:
: 很好
: comprehensiio
|
A*****n
发帖数: 243 | 5 help(function name)
【在 q**j 的大作中提到】
: 对了，什么样的命令可以看这个function 的 doc？
|
A*****n
发帖数: 243 | 6 通过这个连接看了一下,里面的说明也比较详细
http://scipy.indefero.net/p/numpy/source/tree/master/numpy/lib/recfunctions.
py
应该可以实现类似于merge的功能。感觉就是在numpy的基础上建立了一个类似于data f
rame的类可以进行相似的操作。
我以前也试过在python里面进行一些统计计算，希望所有的分析都能在一个语言环境
内进行。而像scipy的stats也提供了一些统计功能，后来发现我要用的ks-test(ks_
2samp)
功能有点错误，就放弃了。
数据量一大，python和R都好不到哪。
【在 q**j 的大作中提到】
: i just did a search, it looks that numpy.lib.recfunctions.join_by
: can do the trick.
: 你比我对python熟，你来看看如何？
:
: 很好
: comprehensiio
|
q**j
发帖数: 10612 | |
A*****n
发帖数: 243 | 8 是啊，真正计算量大的东西还是得靠底层的c/cpp，就比如刚才提到的ks test。在
python里面用numpy写，而在R里面则还是通过写C程序，然后通过wrapper调用。
而在学SAS的时候感觉SAS真正是把统计的方法和数据的存储通过他的SQL结合在一起，
应该对于大数据会有比较好的性能（实际效果不知道）。
【在 q**j 的大作中提到】
: 完了，走弯路了。看来还是c/cpp是正道。
|
