d*****t
发帖数: 7903 | 1 恩，这个也不错，看来wget还是挺灵活的。
我本来是意思是：一个数据门户网站，不知内部文件结构，但要求下载网站上所有*.
xml文件，有一个算一个。这个问题已经解决了，全面贴了个例子。进一步，如何仅下
载'a*.xml'一类的文件貌似没有解决。前面大神说过这个功能不可能实现？ |
|
v*****r
发帖数: 2325 | 2 i used to rely on GUI IDE heavily, and could not understand my friend doing
embedded system c programming with vi(thinking what a backward dev tool!,,
without knowing there is a guy called vim).
now majority of my programming is done with Vim under linux, and i become
very comfortable with vim and like its fast speed, and vast set of useful
command line utilities by linux, such as locate, wget, curl. I Still use
Eclipse though, when deployment environment is not linux, or when i need
function s... 阅读全帖 |
|
|
a9
发帖数: 21638 | 4 同这样怀疑，换个浏览器试试看。
另外，直接用wget下载下来看看。 |
|
a9
发帖数: 21638 | 5 1，还是用wget试一下看看。
2, 写一个response.contentlength试试
3, 你的数据库字段什么类型？ |
|
a*****e
发帖数: 1700 | 6 这个例子有什么不好？我来说说自己的实际经验。
我两年前用 shell script (wget, curl, grep, sed, awk) 写了一个微博备份（从网
页登录，抓取所有历史微博、图片及留言）的工具，3个小时左右基本完成。但感觉不
爽，就是个 quick&dirty hack，整体来说用 regex 来做这种事情，程序本身流程很差。
然后我用 Haskell 重新写，包括学习 conduit 的过程，大概用了 6 个小时。对结果
非常满意，直接有流式的 html parser 可用，run in constant memory。而且页面流
程被抽象出来，可读性高多了。fully typed，调试很方便，而且我对程序的正确性和
后续维护也更有信心。后来又稍微改了一下，可以备份整个微群所有帖子和图片。
记得两年前的时候 conduit 刚刚 0.3 发布，和它竞争的那个 pipes 库也刚开始写，
远不如目前成熟。所以你说没有狗到haskell框架，其实还是不熟悉它的生态。 |
|
a9
发帖数: 21638 | 7 相对比起来，windows的安全性还是好一些，公司电脑也不允许乱装，木马没什么问题。
mac里bsd的软件太多，最近bsd里大bug一个接一个，防不胜防，像openssl,bash,wget
这几个，都会影响到mac
windows |
|
|
|
a9
发帖数: 21638 | 9 相对比起来，windows的安全性还是好一些，公司电脑也不允许乱装，木马没什么问题。
mac里bsd的软件太多，最近bsd里大bug一个接一个，防不胜防，像openssl,bash,wget
这几个，都会影响到mac
windows |
|
|
w***g
发帖数: 5958 | 11 如果你没有parallel命令，或者命令比较老的话，先用下面的更新。
(wget -O - pi.dk/3 || curl pi.dk/3/) | sudo bash
比如有个大文件XXX有1G, 想数行数。直接就是
cat XXX | wc -l
用parallel就是
cat XXX | parallel --block 10M --pipe wc -l | awk 'BEGIN{a=0;}{a = a+ $1;}
END{print a;}'
wc -l可以换成grep, awk等任意可以以pipe方式运行的程序。
parallel --pipe会把输入分成大致--block指定的大小，默认是1M。然后启动N个wc一
块跑。和hadoop一样，parallel只会在行与行之间切分，所以是awk-friendly的。
parallel --pipe这步相当于map，如果有需要后面再reduce一下。
如果不加--pipe，输入的每一行会作为参数启动一个后面跟的命令。比如你的输入如果
存在大量文件里，那么就是find ... -type f | pipe wc -l 了
很多人不会写... 阅读全帖 |
|
x******m
发帖数: 736 | 12 下载了2.7版的gzfile
mkdir ~/src
mkdir ~/.localpython
cd ~/src
wget http://www.python.org/ftp/python/2.7.1/Python-2.7.1.tgz
tar -zxvf Python-2.7.1.tar.gz
cd Python-2.7.1
make clean
./configure --prefix=/home//.localpython
make
make install
都没问题。进到.localpython/bin/里面run python2.7的时候，报错：
Could not find platform independent libraries
Could not find platform dependent libraries
Consider setting $PYTHONHOME to [:]
ImportError: No module named site
请多指教 |
|
c********1
发帖数: 5269 | 13 I use selenium(with python or java) to get secured web page, it works well. |
|
o******1
发帖数: 1046 | 14 多谢！那个网页倒不是https协议，就是直接端口80的http协议。原则上是不是只要给
对了cookie和密码，就应该正确返回呢？ |
|
c*********e
发帖数: 16335 | 15 你这种做法，其实就是csrf,这是hacker常用的伎俩。一般为了避免这个hack,在网页上
有个隐藏的field,是csrf token,每次由server side给出这个token的值，然后用户
submit之后，server side会检查这个token是否和设置的一致。
你看看网页的request里面有没有submit token? |
|
c********1
发帖数: 5269 | 16 You can use fiddler to monitor the communication between web client and web
server.
http://www.telerik.com/fiddler
原则上只要给 send the same data as a logined web broswer.
You can manually use a web browser to login, and check the communication
between web browser and web server.. |
|
|
c*********e
发帖数: 16335 | 18 有的web app,在你登录进去后，有个session cookie，这个session cookie是存在
browser的内存里的，browser关闭的时候，session cookie就消失了。
web |
|
c********1
发帖数: 5269 | 19 My understanding of [session cookie]. I did not verify that.
[session cookie] is in memory, it can not be read by javascript, however it
will be sent to web server. |
|
w***g
发帖数: 5958 | 20 慢是一回事。数据库ETL是有好处的，就是数据库的schema迫使L那一步的数据是干净的
。Hadoop和mongo这类没schema的，导入的时候容易了，事后处理就得handle各种corne
r case。我们的Hadoop表里经常有上游的垃圾混进来。有时候读着读着会来一条wget或
者别的什么程序的运行出错信息。 |
|
p***o
发帖数: 1252 | 21 我用wget加-U "IE"就行，curl直接也可以 ... |
|
e**********y
发帖数: 128 | 22 There must be a way in python can do this. I cannot tell you exactly how off
the top of my head.
But you can also download a pdf given a url using simple bash builtin tools
like curl (Mac OS X) or wget (on other Unix flavor OS)
curl -O http://www.ncbi.nlm.nih.gov/pmc/articles/PMC187478/pdf/03X.pdf |
|
|
l******n
发帖数: 9344 | 24 装windows，然后vm装你习惯的linux系统 |
|
n******7
发帖数: 12463 | 25 Mac不是Linux
apt是Debian系专用的
楼上的homebrew可以一试
Mac可以直接VM Linux 不需要装Windows |
|
d*******r
发帖数: 3299 | 26 装 homebrew， 不需要在 app store 上装 |
|
p*******n
发帖数: 2697 | 27 以后能Google到的这种基本问题还是先请教Google吧。不要满世界的发帖问人 |
|
C*****5
发帖数: 8812 | 28 也不能这么说。stack overflow上也是什么简单的问题都有。人家还挺鼓励的。 |
|
p*******n
发帖数: 2697 | 29 我并非打击lz，只是他同一个内容的帖子在至少两个版面每个版面重复发了两遍。
stack overflow也会close同内容主题的呀。 |
|
v**k
发帖数: 207 | 30 这个问题我google 了许久，没结果。就问问。 mit 上大神就是多。 |
|
a***s
发帖数: 440 | 31 如果真是这样，你还是别干这行了。上班时会受好多气。 |
|
|
v**k
发帖数: 207 | 33 还好， not that bad. stay calm. |
|
s*********y
发帖数: 6151 | 34 首先你要问一问自己 为什么要装这些。 如果只是为了包管理，mac也有相应的。
如果真的需要linux 装个虚拟机 或者ssh到服务器 也不是难事。 |
|
v**k
发帖数: 207 | 35 是为了包管理。弄好了。多谢。又在 mit 上学了东西！;)
首先你要问一问自己 为什么要装这些。 如果只是为了包管理，mac也有相应的。 |
|
v**k
发帖数: 207 | 36 还好，我是学理科的，搞了程序后，发现它有些东西比数学简单，有些东西就是平铺直
叙，不象数学要拐些弯， 而且程序好些东西更实用， 它的一些东西就是数学的应用，
如 time, space complexity. 以后大概会自己多看看。起码还挺有意思。 |
|
|
l******n
发帖数: 9344 | 38 装windows，然后vm装你习惯的linux系统 |
|
n******7
发帖数: 12463 | 39 Mac不是Linux
apt是Debian系专用的
楼上的homebrew可以一试
Mac可以直接VM Linux 不需要装Windows |
|
d*******r
发帖数: 3299 | 40 装 homebrew， 不需要在 app store 上装 |
|
p*******n
发帖数: 2697 | 41 以后能Google到的这种基本问题还是先请教Google吧。不要满世界的发帖问人 |
|
C*****5
发帖数: 8812 | 42 也不能这么说。stack overflow上也是什么简单的问题都有。人家还挺鼓励的。 |
|
p*******n
发帖数: 2697 | 43 我并非打击lz，只是他同一个内容的帖子在至少两个版面每个版面重复发了两遍。
stack overflow也会close同内容主题的呀。 |
|
v**k
发帖数: 207 | 44 这个问题我google 了许久，没结果。就问问。 mit 上大神就是多。 |
|
a***s
发帖数: 440 | 45 如果真是这样，你还是别干这行了。上班时会受好多气。 |
|
|
v**k
发帖数: 207 | 47 还好， not that bad. stay calm. |
|
s*********y
发帖数: 6151 | 48 首先你要问一问自己 为什么要装这些。 如果只是为了包管理，mac也有相应的。
如果真的需要linux 装个虚拟机 或者ssh到服务器 也不是难事。 |
|
v**k
发帖数: 207 | 49 是为了包管理。弄好了。多谢。又在 mit 上学了东西！;)
首先你要问一问自己 为什么要装这些。 如果只是为了包管理，mac也有相应的。 |
|
v**k
发帖数: 207 | 50 还好，我是学理科的，搞了程序后，发现它有些东西比数学简单，有些东西就是平铺直
叙，不象数学要拐些弯， 而且程序好些东西更实用， 它的一些东西就是数学的应用，
如 time, space complexity. 以后大概会自己多看看。起码还挺有意思。 |
|
