z****e
发帖数: 54598 | 1 做过big data的都知道
汉字的搜索是比较恶心的，复杂度比一般字母化的语言要高不少
因为断字难，比如我爱你和我爱你们，你怎么让计算机正确识别
我，爱，你三个字，以及，我，爱，你们，三个词呢？
这就不太容易，尤其是是还能前后结合
比如玉米面，到底是玉米和面呢，还是玉和米和面？还有米面你怎么知道不是一个词？
英语法语很容易，比如i love you
i，love，you分别是一个词
然后你就有办法根据这些词进作为dimension进行simlarity的分析
但是中文，呵呵
所以google translate用起来，如果是英语法语互换，其实准确度很高
基本上英语可以直接机器翻译成法语，问题不大
反之亦然，但是只要是中英翻译，就各种恶心你
汉字这个识别的麻烦甚至要超过日语，因为日语的假名和汉字可以比较容易断开 |
z****e
发帖数: 54598 | 2 还有字母文字的空格比较适应键盘
你看我们现在灌水都很少用。这些标点了
为啥？因为麻烦嘛
回车多简单，换行就换行，让人看明白这不是一句话就行了 |
z****e
发帖数: 54598 | 3 我曾经写一些email的时候先用英语写
然后翻译成法语，然后寄出去，对方基本上都能看懂
规范程度高的语言，这些东西都好做
但是规范程度不高的语言，比如中文
这些东西就很难做，你自己用google translate将英语翻译成中文试试
那翻译出来都是啥狗屁
基本上text analysis里面中文是一个大难题
很多技术都无法应用上，当然中文是一个极端
韩文和日文也都有类似的问题，但是日文相对最容易识别
韩文和中文最糟糕 |
n*****n
发帖数: 5277 | 4 赵老师不觉得这正是个好坑吗
【在 z****e 的大作中提到】
: 我曾经写一些email的时候先用英语写
: 然后翻译成法语，然后寄出去，对方基本上都能看懂
: 规范程度高的语言，这些东西都好做
: 但是规范程度不高的语言，比如中文
: 这些东西就很难做，你自己用google translate将英语翻译成中文试试
: 那翻译出来都是啥狗屁
: 基本上text analysis里面中文是一个大难题
: 很多技术都无法应用上，当然中文是一个极端
: 韩文和日文也都有类似的问题，但是日文相对最容易识别
: 韩文和中文最糟糕
|
f****r
发帖数: 5118 | 5 看来天朝防火墙真是捍卫汉字的万里长城啊，让google匈奴不敢南下而google |
kx
发帖数: 16384 | 6 规范程度越高，说明这个语言的冗余或者叫做浪费越大
比如规范到极致，精确到极致，就是计算机编程语言
你指望以后咱用计算机编程语言来对话么
【在 z****e 的大作中提到】
: 做过big data的都知道
: 汉字的搜索是比较恶心的，复杂度比一般字母化的语言要高不少
: 因为断字难，比如我爱你和我爱你们，你怎么让计算机正确识别
: 我，爱，你三个字，以及，我，爱，你们，三个词呢？
: 这就不太容易，尤其是是还能前后结合
: 比如玉米面，到底是玉米和面呢，还是玉和米和面？还有米面你怎么知道不是一个词？
: 英语法语很容易，比如i love you
: i，love，you分别是一个词
: 然后你就有办法根据这些词进作为dimension进行simlarity的分析
: 但是中文，呵呵
|
t**d
发帖数: 6474 | 7 人笨怪刀钝。你汉语太差了，居然连“玉米面”都理解不了。我估计你英文也很差，连
英文的玉米面也理解不了。
【在 z****e 的大作中提到】
: 做过big data的都知道
: 汉字的搜索是比较恶心的，复杂度比一般字母化的语言要高不少
: 因为断字难，比如我爱你和我爱你们，你怎么让计算机正确识别
: 我，爱，你三个字，以及，我，爱，你们，三个词呢？
: 这就不太容易，尤其是是还能前后结合
: 比如玉米面，到底是玉米和面呢，还是玉和米和面？还有米面你怎么知道不是一个词？
: 英语法语很容易，比如i love you
: i，love，you分别是一个词
: 然后你就有办法根据这些词进作为dimension进行simlarity的分析
: 但是中文，呵呵
|
f**e
发帖数: 3343 | |
K**********n
发帖数: 10466 | 9 赵老师本来就很自恨。
【在 f**e 的大作中提到】
: 赵老师，你居然有这种自恨外发的倾向了！！！
|
d*******r
发帖数: 3299 | 10 老赵最近的 汉语vs英语vs法语 的一大堆帖子都不怎么logic啊,
不明白他为啥那么fan法国, 说到法国相关, 他观点多少都不客观. |
w********e
发帖数: 8594 | |
f*c
发帖数: 687 | 12 小时候看报纸，不懂什么叫“上海的哥”，就问外公上海的哥哥是谁。答曰是上海开出
租的。
【在 t**d 的大作中提到】
: 人笨怪刀钝。你汉语太差了，居然连“玉米面”都理解不了。我估计你英文也很差，连
: 英文的玉米面也理解不了。
|
