i***1
发帖数: 2534 | 1 我用的是笨办法：
itools==〉信息管理 把所有contact 导出成 .csv文件，然后用excel改
再用itools删除所有contact, 导入.csv文件 |
|
j**a
发帖数: 165 | 2 csv好像只支持数字，我的文件里有字符串，所以连windows下面用matlab的csv都读不
了。 |
|
g***j
发帖数: 40861 | 3 是一个作业题
说一个CSV有四列，要求用perl 输出第一列和第四列。第四列或者是一个单词，或者是
两个单词。如果是两个单词，要求输出的时候这两个单词用双引号引起来。
下面是我写的perl
open(in_file,"
while ($line=)
{
($field1,$field2,$field3,$field4)=split',',$line;
if ($field4=~ /.\s./) {print "$field1, x\n";}
else {print "$field1,$field4";}
}
close (in_file);
我不知道怎么完成“如果是两个单词，要求输出的时候这两个单词用双引号引起来。
”这个任务，所以这里暂时用“x"代替了。
各位大侠，应该用什么代替“x"才能达到要求呢？
谢谢啊！ |
|
t***q
发帖数: 418 | 4 【 以下文字转载自 Programming 讨论区 】
发信人: treeq (treeq), 信区: Programming
标 题: 如何用python web.py web service 做 multiple parameters 的 call?
发信站: BBS 未名空间站 (Sun Mar 22 23:14:33 2015, 美东)
大家好。我的那个web service 做成了。用了python 的 web.py.
install web.py
cd webpy
编辑python web service.
#!/usr/bin/env python
import web
import csv
import difflib
import re
import operator
import Levenshtein
urls = ('/title_matching2','title_matching2')
app = web.application(urls,globals())
class title_matching2:
def __init__(self):
... 阅读全帖 |
|
h**e
发帖数: 1 | 5 建了一个表:
CREATE TABLE aa
( id NUMBER,
description VARCHAR2(3000));
用SQLLDR, CONTROL FILE 如下:
LOAD DATA
INFILE 'D:\desc.CSV'
INTO TABLE AA
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'
(
id,
description
)
desc.CSV:
1001,"Former telephone-service sales agency CTC
Communications Group is morphing into a marketer of multiple
modes of modern media. It holds CTC Communications Corp.,
which sells integrated telecommunications services,
including local and long-distance, network products and
servi |
|
F**e
发帖数: 593 | 6 Really appreciate it!
我没有糖,但你也不用用牙膏皮来换了,送你5个包子略表谢意.呵呵.
OK. back to the question.
Here, assume I'm doing research on stock price history. I have tick data for
1000 stocks, each with 1 million ticks, in separate text(.csv) files, one
file per stock.
I would like to import the data (csv files) into database and run queries on
the DB, and I only run query on one stock at a time. This is not really a
transactional database, if I understand what it is -- the import part
happens very infrequently, whil |
|
i****i
发帖数: 18 | 7 I got a csv file from vedor with only Emails.
There is a blank line on top of each email address. I tried to remove the
blank lines in SQL server. I imported the CSV file to dbtemp.
I tried to write a SQL query
SELECT *
FROM table
WHERE (EmailAddress IS NOT NULL)
but it still pulls out every lines including the blank lines. Not sure what
is the problem.
example:
EmailAddress
0*********[email protected]
0*********[email protected]
1********[email protected]
1******[email protected] |
|
n********6
发帖数: 1511 | 8 real excel file because:
1. destination excel
2. file extension: .xls
to generate csv file, destination should be "flat file" and choose csv (
another option txt) |
|
w*r
发帖数: 2421 | 9 do not use that, page the record set with that many record will eat
a lot of memory in VB engine.
You should consider this:
use loop with counter to write data directly to CSV file
when counter goes up to 500K, close csv file and reopen another one
with file handler, reset counter to zero, keep writing.
with single record operation for the loop, it will be slower, however, you
can further optimize it by having a smller page size to optimize the data
fetch side oepration (handled by ado.net autom... 阅读全帖 |
|
s*******o
发帖数: 392 | 10 本人在研究trading system 和 strategy desgin， 自然最先遇到的问题就是要维护好
历史data， 从而可以以此为背景做backtesting 去找到统计上的交易edge。我的data
是tickdata，格式如下图所示，
最后两列是volume，没有用，可以去掉的。这样就包含日期，bid， ask， 三个data。
如图所示，这些data很密集，两个月40个交易日大概有500万行这样的data，我在c#的
程序如果从储存这些数据的csv里边直接读取并存到内存里的data structure里的话，
大概30秒左右。然后再对内存里的进行回测，大体的思路是这样的。现在的问题就是
csv肯定是不合理的储存方式：
方案1： mysql， mssql去储存数据，但我看一些trading的论坛一些技术人员说因为这
些database是relational，对tick这样的time series不是最佳的方案。
方案2：存储为binaryfile，然后通过文件夹和文件的名字来寻找相应的data，比如建
立一个文件夹EUR。USD，里边有很多单独的bin文件，每个文件存取一... 阅读全帖 |
|
d******a
发帖数: 32122 | 11 1 从sql server management studio上无法import Excel数据库。微软建议我卸掉64位
Office, 安装32位的
2 只好打开Excel，然后存成csv。结果management studio出错，说某字段被切掉。实
际是另外一个字段包含带了逗号的字符串。尽管字符串被括了起来，management
studio仍然把逗号后边的当成了下个字段。
处理带逗号内容的csv，应该早就成熟了，怎么2008版management studio仍然无法处理
？ |
|
|
c*******e
发帖数: 8624 | 13 ☆─────────────────────────────────────☆
cheungche (你不乖) 于 (Thu Mar 19 22:01:23 2015, 美东) 提到:
谢谢各位理解
☆─────────────────────────────────────☆
coolbid (Dreams bring hopes) 于 (Fri Mar 20 00:04:14 2015, 美东) 提到:
呵呵，平常版主都不上线，今天特意跑来删贴？
老土能量不小呀
☆─────────────────────────────────────☆
Beijing (我是猪，听说猪是被祝福的) 于 (Fri Mar 20 10:52:23 2015, 美东) 提到:
ding
☆─────────────────────────────────────☆
betaking (betaking) 于 (Fri Mar 20 17:56:19 2015, 美东) 提到:
老土为什么不敢公布学生就业率?而且广告有误导嫌疑,给人的感觉是只要上他的课就能
找... 阅读全帖 |
|
f*******2
发帖数: 239 | 14 要求
有两个6万和4万的数据需要做full outer join 把两个表连到一个表里面去。
但是数据只是。csv文件，没有可以连的网络数据库
这样的情况，我可以用什么工具来做？
现在的尝试
1. Mysql workbench
下载了，但是最开始的一步就不行，没有数据库可以连上，所有的功能都不能用，当然
也没法import csv文件
求解释？
2. 下载了xampp 可以用phpmyadmin
但是，1，文件上次大小受限。按照网上的步骤修改了。出现的问题是，在写mysql
code的时候不能用full outer join，也不能用union all（left join+right join 然
后union all 去解决 full join 的问题）
查找了以上的问题，说是phpmyadmin 的版本bug，升级了版本后，居然连import都做不
了了。各种问题啊。。。
麻烦大神们指点。 |
|
f*******2
发帖数: 239 | 15 要求
有两个6万和4万的数据需要做full outer join 把两个表连到一个表里面去。
但是数据只是。csv文件，没有可以连的网络数据库
这样的情况，我可以用什么工具来做？
现在的尝试
1. Mysql workbench
下载了，但是最开始的一步就不行，没有数据库可以连上，所有的功能都不能用，当然
也没法import csv文件
求解释？
2. 下载了xampp 可以用phpmyadmin
但是，1，文件上次大小受限。按照网上的步骤修改了。出现的问题是，在写mysql
code的时候不能用full outer join，也不能用union all（left join+right join 然
后union all 去解决 full join 的问题）
查找了以上的问题，说是phpmyadmin 的版本bug，升级了版本后，居然连import都做不
了了。各种问题啊。。。
麻烦大神们指点。 |
|
|
y***j
发帖数: 11235 | 17 装R，免费的，然后把你的excel存成csv
进R
table(read.table("路径/XXX.csv"))
0610007L01Rik 0910001A06Rik 1200002N14Rik 1700012H17Rik 1700030J22Rik
1810055E12Rik 2010309E21Rik 2210010L05Rik
15 19 10 5 4
12 9 14
2310022M17Rik 2310035C23Rik 2310044G17Rik 2410014A08Rik 2510039O18Rik
2600010E01Rik 2610030H06Rik 2700050L05Rik
11 16 9 14 15
16 17 ... 阅读全帖 |
|
b*****o
发帖数: 284 | 18 Use a package called "DataFile"
The following is a sample
// Creating a reader for CSV file using ISO-8859-1
DataFile read = DataFile.createReader("8859_1");
read.setDataFormat(new CSVFormat());
try {
read.open(new File("/data/test.csv"));
for (DataRow row = read.next(); row != null; row = read.next()) {
String text = row.getString(0);
int number1 = row.getInt(1, 0);
double number2 = row.getDouble(2);
// use the retrieved data ...
}
}
finally { |
|
y****e
发帖数: 1012 | 19 接手了一个别人的项目，目前功能部分已经调通了，现在前端部署遇到了一些问题。前
端才用zk，zk里面嵌入一些java code。
整个page，data打包成DCL.war，我把它拷贝到/var/lib/tomcat7/webapps/下面,chmod
to 755, chown to tomcat7:tomcat7.运行localhost:8080/DCL/解压，页面正常显示~
但是运行提交页面的时候出现java.io.FileNotFoundException: cache.csv (Permissi
on denied)
这个cache.csv.是从我的某个jar写出来的，我改了相应目录的权限好像还是不行，我在
‘/etc/tomcat7/policy.d/03catalina.policy’加入了写权限：
grant codeBase "file:${catalina.base}/webapps/DCL.war" {
permission java.security.AllPermission;
permission java.io.FilePermission "fil... 阅读全帖 |
|
y****e
发帖数: 1012 | 20 ava.io.FileNotFoundException: cache.csv (Permission denied)
at java.io.FileOutputStream.open(Native Method)
at java.io.FileOutputStream.(FileOutputStream.java:212)
at java.io.FileWriter.(FileWriter.java:107)
at edu.uiuc.cs.datacenterplacement.location.DataCache.addValue(
DataCache.java:98)
at edu.uiuc.cs.datacenterplacement.location.CoordinatesManager.
searchLocationPostalCode(CoordinatesManager.java:73)
at sun.reflect.GeneratedMethodAc... 阅读全帖 |
|
y****e
发帖数: 1012 | 21 I fixed it using some quick and dirty tricks. I hard-code from 'cache.csv' t
o '/tmp/cache.csv'. Now it works fine.
But I still have problems generating the war file, I just replace the jar fi
le inside the deployed directory. Is there any book on how to manage large s
cale java code? Debuging using Eclipse and packing using maven is really tri
cky to me.
Thanks all |
|
s***o
发帖数: 2191 | 22 This is a cross domain request, and it returns csv instead of json. (I guess
) jsonp won't work with csv format out of the box.
You can find the corresponding API that returns data in jsonp format, or if
that's not available, you can get data on server side, parse it and put the
parsed result on your web page with whatever format you prefer.
print |
|
l*****a
发帖数: 14598 | 23 I think the difficulty he met is that he can't get the csv strings directly
instead of he don't know how to parse csv strings |
|
v*****r
发帖数: 2325 | 24 web app 读一个dateList.csv， 但是dateList.csv 由一个python script 根据
incoming data 来更新。
目前dateList 放在一个 数据Class 的 private static SortedSet setDate
中。
如果设计较好？
查了一下， 可以用timerTask class 加上singleton data class.
http://stackoverflow.com/questions/6965296/running-a-java-metho
但是singleton 好像不建议用太多。
另外一种方法是用cronjob reload webapp (servlet)
但怎么实现呢？ |
|
h*******c
发帖数: 248 | 25 看错了，还以为是csv那。
顺便问一句，有人知道vim的csv插件吗？ |
|
G**Y
发帖数: 33224 | 26 zkss？
听说是可以搞到sqlite里。但是俺对这玩意一点都不熟。
google了一下，没找到特别简单的csv转sqlite的工具（csv 1000来列，能自动处理列
名吗？）
关键就不知道从哪开始google |
|
t*********s
发帖数: 5 | 27 under *nux, this is only one-line stuff
awk '!((NR-1)%10)' in.csv > out.csv
is |
|
g****7
发帖数: 45 | 28 经常需要处理比较大的csv文件(csv)，1G - 2G。
文件中是股票的历史价格，大概10余列的数据，有varchar,double,int, date type
需要在Python下实现一个压缩程序，请问大家有什么建议？
谢谢。 |
|
e****d
发帖数: 895 | 29 Last trade for XOM and MSFT
q)d:{flip`sym`trade!("SF";csv)0:system"wget 'http://finance.yahoo.com/d/quot
es.csv?s=",("+"sv x),"&f=sl1' -O -"}("XOM";"MSFT")
q)d
sym trade
-----------
XOM 82
MSFT 26.025 |
|
t****t
发帖数: 6806 | 30 this is not csv --- csv means "comma separated value", where's comma? |
|
r***6
发帖数: 401 | 31 #!/usr/bin/python
f1 = open("f1.csv")
f2 = open("f2.csv")
ts2 = 0
line2 = "\n"
for line1 in f1:
ts1 = int(line1.split(",")[0])
while ts2 <= ts1:
nextline2 = f2.readline()
if not nextline2:
break
ts2 = line2.split(",")[0]
if ts2 <= ts1:
line2 = nextline2
print line1 + "," + line2, |
|
|
a****e
发帖数: 9589 | 33 我是大叔
with open('result.csv', 'w+') as result:
with open('big.csv', 'r') as big:
for line in big:
if line.split(',')[n] == 'what you want':
result.write(line) |
|
G********7
发帖数: 234 | 34 谢谢大家。改了之后能转到csv了。可是原本是数字小数点后面的00都没了。打开csv文
件后出现如下提示 "The file you are trying to open ..is in a different format
than specified by the file extension...." |
|
D**u
发帖数: 288 | 35 我是统计出身，语言的知识很有限，仅仅从我的个人感受，分享一些心得，并希望得到
一些指点。
先说一句，我觉得C#对于初学者还是挺freindly的。
我是做统计模型的，平常都是用SAS，偶尔用用R和python。但是最近一个客户需要我们
parsing data with C#。
当时一听我的第一反应就是这TM也太难了。
我对C++和java的认识只停留于做一个students record table，算一个Fabinocci数。
从来没用过C#，更不知道怎么用C++,java或者C#去subset一个100GB的 CSV或是txt
table，勿论再去做对Col和Row做运算。
然后这两天我就开始在youtube上学一些C#的语句，第一感觉对于简单的I/O，包括read
/write files，C#比C++，和java的语句要简单直观很多，这对于一个经常用sas的人来
说是一件很幸福的事情。还有就是，我很喜欢C# 的static void Main，我记得印象中C
++ 老是int main 总让我觉得怪怪的，呵呵，我知道这个比较很弱智，可是实在认识有
限。
可是现在问题来了，
S... 阅读全帖 |
|
i***r
发帖数: 1035 | 36 我入门的时候用的C
~2年后，改matlab
又~2年后，改python
还是C思维，希望过渡到OOP。。。。
csv package以前用来输出过csv file，回头仔细看看 |
|
w*x
发帖数: 518 | 37 没明白，你的code不都写出来了么？
都用matplotlib了, csv就用
import numpy as np
data = np.genfromtxt('fname.csv', delimiter=',')
来读吧…… |
|
W***o
发帖数: 6519 | 38 谢谢，发现这个NP的genfromtxt都CSV很方便啊，还想请教一下，有没有按column读CSV
的方法可以调用？ |
|
t***q
发帖数: 418 | 39 大家好。我的那个web service 做成了。用了python 的 web.py.
install web.py
cd webpy
编辑python web service.
#!/usr/bin/env python
import web
import csv
import difflib
import re
import operator
import Levenshtein
urls = ('/title_matching2','title_matching2')
app = web.application(urls,globals())
class title_matching2:
def __init__(self):
self.hello = "hello world"
def GET(self):
getInput = web.input(name="World")
b=[]
with open("Book1.txt","rb") as k:
for row in k:
... 阅读全帖 |
|
a***n
发帖数: 623 | 40 1 package main
2
3 import (
4 "encoding/csv"
5 "io"
6 "os"
7 )
8
9 func readUserCSV(file string, lambda func(string, string) error) error {
10 csvfile, err := os.Open(file)
11 if err != nil {
12 return err
13 }
14 defer csvfile.Close()
15
16 reader := csv.NewReader(csvfile)
17 reader.Read()
18
19 for {
20 record, err := reader.Read()
21 if err != nil &... 阅读全帖 |
|
k****i
发帖数: 101 | 41 测试用的输入文件:
1,2,3
运行后输出文件：
10,20,30
另外只须装csv包。如果你的文件是其他格式内容，csv部分就得改下。 |
|
c******n
发帖数: 16666 | 42 然后老系统还有基础的提醒功能 防止你overcharge什么的
现在变成办手动流程 从网上下csv去一个sas服务跑一下生成一个excel啥的
我本来说我自己爬这个csv 然后写个小服务 数据库开个口 到时候页面上直接弹小窗
提醒就是了
估计说了这个那个写sas的人不开心了。。 |
|
s*****g
发帖数: 5159 | 43 You can make a small script that change csv to tex, after saving xls or xlsx
as csv. |
|
s*****g
发帖数: 5159 | 44 You can make a small script that change csv to tex, after saving xls or xlsx
as csv. |
|
j**********p
发帖数: 22 | 45 for f in /path_in/IBM.csv /path_in/DELL.csv; do
perl test.pl $f >/path_out/`basename $f`.out
done |
|
g**********y
发帖数: 423 | 46 欢迎讨论，特别是各种程序的调用参数 。。。
http://dl.dropbox.com/u/62547840/NGS_Illumina.pm
http://dl.dropbox.com/u/62547840/NGS_Illumina.pl
screen output:
Illumina 1.3+ fastq format: ASCII(min, max) = (66, 102)
2012/08/25 11:41:15 START maq ill2sanger Run1_testicular-28T_lane2_read1_
sequence.txt Testis_T28_read1_sanger.fq
2012/08/25 11:42:57 SUCCESS after running 0 hours 1 minutes 42 seconds
2012/08/25 11:42:57 START maq ill2sanger Run1_testicular-28T_lane2_read2_
sequence.txt Testis_T28_read2_sanger.fq
2012/08/25... 阅读全帖 |
|
e*******o
发帖数: 4654 | 47 下载csv格式，excel一样能读。
然后就是处理csv的问题了。网上搜搜，答案就有。 |
|
m*******y
发帖数: 314 | 48 %% assume test.csv file has 12345 345435 23 12312 34324
_
%% note the last one is a char '-'
A = importdata('test.csv');
B = str2mat(A);
C = B(1: length(B)-1);
%% please first try to see the final char is one or two (or X) in the string
B, and adjust length(B)-X
D = str2num(C);
Can you try above codes to see if this works or not? |
|
