B*D 发帖数: 5016 | 1 偶有1.7万个厂家的名称和厂家网站这两个信息。
需要进一步人工整理出标准化的地址数据。
这样的活,国内什么网站上去找人做比较合适?
偶不太想到大学的BBS上去找兼职。 |
b******y 发帖数: 9224 | 2 如果不复杂,我可以免费帮你做。如果复杂,收一点点工本费,可以帮你。站内联系吧 |
b******y 发帖数: 9224 | 3 补充:如果需要编程解决的话。否则纯手工,偶帮不上啦 |
k******t 发帖数: 1498 | 4 amazon's human cloud:
https://www.mturk.com/mturk/welcome
【在 B*D 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 偶有1.7万个厂家的名称和厂家网站这两个信息。 : 需要进一步人工整理出标准化的地址数据。 : 这样的活,国内什么网站上去找人做比较合适? : 偶不太想到大学的BBS上去找兼职。
|
e****7 发帖数: 4387 | 5 Re,
排除去国内找便宜劳力,这个算是很好的选择
【在 k******t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : amazon's human cloud: : https://www.mturk.com/mturk/welcome
|
a***s 发帖数: 206 | 6 Shouldn't this be an ETL issue? I thought there was a guy doing it on this
board? |
B*D 发帖数: 5016 | 7 我想只能人工处理
否则那么多不同的网站,你怎么抓取每个公司的地址信息,并且标准化呢?
自动抓我觉得数据质量肯定很低?
【在 a***s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : Shouldn't this be an ETL issue? I thought there was a guy doing it on this : board?
|
e****7 发帖数: 4387 | 8 是啊,除非这些公司的信息都在同一网站
【在 B*D 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我想只能人工处理 : 否则那么多不同的网站,你怎么抓取每个公司的地址信息,并且标准化呢? : 自动抓我觉得数据质量肯定很低?
|
ET 发帖数: 10701 | 9 我还面试过这个组的manager
【在 k******t 的大作中提到】![](/moin_static193/solenoid/img/up.png) : amazon's human cloud: : https://www.mturk.com/mturk/welcome
|
d*****n 发帖数: 3084 | 10 看起来是牛人来了,请教一个入门级问题。自己租空间搞的购物系统,没有专人维护的
话,安全性如何?不保存信用卡信息就没安全问题了?Amazon上开店的话,安全应该就
是amazon负责了吧?
【在 ET 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 我还面试过这个组的manager
|
|
|
L******w 发帖数: 5407 | 11 你这程序这么聪明?
【在 b******y 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 补充:如果需要编程解决的话。否则纯手工,偶帮不上啦
|
b******y 发帖数: 9224 | 12
过奖,没那么聪明。另外,我从来不喜欢artificial intelligence的东东,认为都是
忽悠。我的计算机领域是distributed systems and information retrieval.
【在 L******w 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 你这程序这么聪明?
|
L******w 发帖数: 5407 | 13 那你怎么抓地址?
【在 b******y 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : 过奖,没那么聪明。另外,我从来不喜欢artificial intelligence的东东,认为都是 : 忽悠。我的计算机领域是distributed systems and information retrieval.
|
a***s 发帖数: 206 | 14 通过screen scraping/browser automation查关键字,打开新的url,再模糊匹配,最
后查邮局的服务纠正地址。有冲突就根据公司名字去政府注册表查一下。
这个问题细节有点复杂,有的公司贴出多个地址,只有一个是headquarter。总之这一
类的doable
【在 L******w 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 那你怎么抓地址?
|
L******w 发帖数: 5407 | 15 政府注册表去哪里查?就算能查,也不能自动吧, 太花时间了。
邮局的服务怎么纠正地址,能给你接口白用?
【在 a***s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 通过screen scraping/browser automation查关键字,打开新的url,再模糊匹配,最 : 后查邮局的服务纠正地址。有冲突就根据公司名字去政府注册表查一下。 : 这个问题细节有点复杂,有的公司贴出多个地址,只有一个是headquarter。总之这一 : 类的doable
|
a***s 发帖数: 206 | 16 yes it is a detailed work but you can automate it
and yes it is a free api. USPS has a stake in this since the inaccurate
address increases their side of cost as well.
只有想不到的,没有做不到的。
【在 L******w 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 政府注册表去哪里查?就算能查,也不能自动吧, 太花时间了。 : 邮局的服务怎么纠正地址,能给你接口白用?
|
b******y 发帖数: 9224 | 17
赞,就是看花多大功夫的问题。至少可以半自动化的解决
【在 a***s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : yes it is a detailed work but you can automate it : and yes it is a free api. USPS has a stake in this since the inaccurate : address increases their side of cost as well. : 只有想不到的,没有做不到的。
|
a***s 发帖数: 206 | 18 Actually the validation of business names can be done fully automated, with
some code. The challenge is when the business name has a conflict or is not
complete (e.g. ABC Tech on website, ABC Technologies Incorporated in the
registry) the logic has to somehow resolve it.
I once parsed SEC Filings and encountered similar problems.
【在 b******y 的大作中提到】![](/moin_static193/solenoid/img/up.png) : : 赞,就是看花多大功夫的问题。至少可以半自动化的解决
|
L******w 发帖数: 5407 | 19 registry在哪里可以找到? 也有API?
这些缩写就要程序处理了,比如ctr和center自动转换,两个都试试。
with
not
【在 a***s 的大作中提到】![](/moin_static193/solenoid/img/up.png) : Actually the validation of business names can be done fully automated, with : some code. The challenge is when the business name has a conflict or is not : complete (e.g. ABC Tech on website, ABC Technologies Incorporated in the : registry) the logic has to somehow resolve it. : I once parsed SEC Filings and encountered similar problems.
|
i**i 发帖数: 1500 | 20 你先贴几个比较典型的数据,不需要真实数据。看看格式怎么样。
应该不难吧。
【在 B*D 的大作中提到】![](/moin_static193/solenoid/img/up.png) : 偶有1.7万个厂家的名称和厂家网站这两个信息。 : 需要进一步人工整理出标准化的地址数据。 : 这样的活,国内什么网站上去找人做比较合适? : 偶不太想到大学的BBS上去找兼职。
|
b******y 发帖数: 9224 | 21
我怀疑API都是要钱的。
【在 L******w 的大作中提到】![](/moin_static193/solenoid/img/up.png) : registry在哪里可以找到? 也有API? : 这些缩写就要程序处理了,比如ctr和center自动转换,两个都试试。 : : with : not
|
w*****e 发帖数: 748 | 22 做中文的要用猪八戒,mturk上放过中文的东西,不但慢、少,而且质量不高。 |