p****s
发帖数: 3184 | 1
hehe, hacker can modify your file, generate new MD5 checksum, and
put the new checksum with the modified file.
Adding certified digital signature is the ultimate solution for the
problem. |
|
t******8
发帖数: 2803 | 2 有一堆存档数据放在硬盘某个分区，不会经常修改，
有没有哪个工具能够定期在电脑空闲的时候执行checksum，
校对数据integrety？ |
|
p******f
发帖数: 162 | 3
i am assuming we can save the md5 checksums and the md5sum program offline.
what should the hacker do? |
|
z**r
发帖数: 17771 | 4 did a quick search
http://stackoverflow.com/questions/281606/why-does-udp-have-a-l
There is a 96 bit pseudo header conceptually prefixed to the TCP header that
contains the information already.
The checksum field description from this source gives the answer:
Checksum: 16 bits
The checksum field is the 16 bit one's complement of the one's complemen
t sum of all 16 bit words in the header and text. If a segment contains an o
dd number of header and text octets to be checksummed, the last ... 阅读全帖 |
|
z*****n
发帖数: 447 | 5 Vmware的电面题，有一个分布式FTP Cluster，包含N台FTP服务器，一台为Master，上
面存放了一个很大的文件，比如10T, 剩下的N-1台是Slave，问你如何设计一个同步算
法，把Master上的文件同步到Slave上，要求cost越小越好？
我回答的是，把Master上的文件分成一个个的小Chunk，给每个Chunk算一个checksum，
然后每次同步的时候，再算一遍并检查checksum，如果某chunk的checksum变了，就把
这个chunk同步到Slave上。
Interviewer对此表示赞同，但是又追问了一个问题，他说，如果文件中的某一部分被
删掉了,比如第一个chunk删掉了1个Byte，但是这个删除的操作和位置你是不知道的，
如果还按照原来的chunk size计算checksum，会发现所有chunk的chunksum都改变了，
而实际上只有一个改了；这种情况下，怎么解决？
这部分我没有答出来，有谁能够帮忙分析一下？ |
|
hb
发帖数: 89 | 6 来自主题: EmergingNetworking版 - 网络技术问题 这个是正解，引用一段论文里的原话
The concept of a checksum is less well defined. For the purposes of data
communication, the goal of a checksum algorithm is to balance the
effectiveness at detecting errors against the cost of computing the check
values. Furthermore, it is expected that a checksum will work in conjunction
with other, stronger, data checks such as a CRC. For example, MAC layers
are expected to use a CRC to check that data was not corrupted during
transmission on the local media,and checksums are |
|
m*********y
发帖数: 389 | 7 How to add a hash? I used the Checksum function, but I heard that HashType
is more powerful than Checksum. Anyway, let's say you want hash on the the
combination of first name, last name and address, you can do this:
Alter table person
Add hash as checksum(firstname,lastname,address)
After you created hash, searching for duplicate record is much easier, you
just need to run below query:
select hash,count(*) from person group by hash having count(*)>1 |
|
z**r
发帖数: 17771 | 8 抛砖引玉，欢迎大家补充。
最早的NAT的确就是像字面意义一样，basic nat只做ip address translation，这样的
最大弊端就是一个private ip就要对应ip pool里的一个public ip，但是好处也很多，
比如对application基本上透明，传输速度最快（因为只修改ip address and ip
checksum），也解决了private ip reuse的问题等等。
后来有了PAT，其实official term应该是NAPT（network address port translation)。
这个大大节省了public ip，internal-external mapping不再是简单的ip address关系
了，而是引入了TU，这个时候，不仅仅要rewrite ip address，还要修改port number以
及相对应的checksum。然而，这个时候的应用便只局限于tcp/udp/icmp了。
然而IPSec等却不是tcp/udp应用。对于AH/ESP等，还要依赖于各个layer的checksum，
encryption等等 |
|
t******l
发帖数: 10908 | 9 从进化优势的角度看，美丽端庄本来是数学上对称性的衡量，用于统计上排除恶性基因
突变。。。这就像把对称数据结构进行蒙特卡洛扰动，扰动后还保持对称性的概率非常
低。。。乃热力学熵增大原理在人类基因信息上的体现。
所以，所谓的男人爱美女，本质上是基因进化的 CRC32 checksum，用于排除基因传递
的 burst error。
而影视美女这种完全极端化的行为，就好比有人 BT 下载苍老师小电影，结果只下载
CRC checksum，.mp4 文件反而不要。。。这属于一种进化学上的智力返祖现象。当然
目前没的治也就不浪费药了。。。 |
|
g**8
发帖数: 4951 | 10 这个视频是三段视频原始材料凑起来的，昨天yituan网友先给的优酷上的视频，前两段世界杯的画面是我从优酷上翻下来的。。。后来marchfirst网友又建议把几个视频串起来再加些文字说明，里面又给了个YOUTUBE上面的这次冬奥的画面。我是看了那个贴的建议做的这个视频。而最有可能出问题的就是那个第三段这次冬奥的画面。我是从YOUTUBE上先翻下来再编进现在画面的。。。如果大家仔细看，上传那第三段画面到YOUTUBE的那位仁兄很聪明，画面上大家看有一只眼睛，那不是什么水印用来表明作者的，而是让那一段的CHECKSUM变得和原来简单来源CHECKSUM不同，这样的话，简单扫描SCAN就不会HIT到。。。
当然前面一个朋友说的对，现在这样编辑过的版本，应该不会。 |
|
m*****n
发帖数: 5245 | 11
段世界杯的画面是我从优酷上翻下来的。。。后来marchfirst网友又建议把几个视频串
起来再加些文字说明，里面又给了个YOUTUBE上面的这次冬奥的画面。我是看了那个贴
的建议做的这个视频。而最有可能出问题的就是那个第三段这次冬奥的画面。我是从
YOUTUBE上先翻下来再编进现在画面的。。。如果大家仔细看，上传那第三段画面到
YOUTUBE的那位仁兄很聪明，画面上大家看有一只眼睛，那不是什么水印用来表明作者
的，而是让那一段的CHECKSUM变得和原来简单来源CHECKSUM: 不同，这样的话，简单扫
描SCAN就不会HIT到。。。
zan! |
|
k*******s
发帖数: 134 | 12 第二题就是给每一个文件checksum一下就好了。最基本的checksum的算法就是把文件的
每个word XOR.但是这样不是很精确，比如word order不一样就检查不出来。 复杂一点
的比如CRC算法,时间长一些，但是更精确。最后把XOR的值相等的文件分组就好了。 |
|
c***w
发帖数: 134 | 13 建立一个metadata server，上面有所有的node和checksum信息。每台host定时发心跳
到metadata server上对比自己有的checksum和metadata server上的。发现不一样，
metadata server就mark这台被攻击了。
zk可以是metadata server。 |
|
m*******n
发帖数: 305 | 14 我不是用SVN的，不过SVN应该也有checksum/hash之类的，改过了checksum就不一样了
。 |
|
m*******n
发帖数: 305 | 15 我不是用SVN的，不过SVN应该也有checksum/hash之类的，改过了checksum就不一样了
。 |
|
l*b
发帖数: 5305 | 16 想了想，还是在网上抽好了，省得大家白跑，而且明天就可以开始打。
方法：我洗了一万到八万八张麻将牌（靠，找扑克牌居然没找到，看来好久没打了），
拍了一张照片，每个队在1到8随便说个没人说过的数，说哪个数就是从左到右的第几张
牌，这张牌上的数字就是你们队在排阵表上的位置。
为了保证我不会换牌，我算过了我这张照片的md5 checksum. 等大家抽完签，我会把照
片贴上来供大家验证。
我这张照片的md5 checksum是： MD5 (drawing.jpg) =
21da4cdfc6ed9ae7c3705cdf341c922d
大家开始说数吧。最后一个数是我们的。 |
|
R***a
发帖数: 41892 | 17 主要破解可能没那么完美。
比如有个undocument api是计算当前firmware的checksum, 然后发给服务器的。
破解的时候没有管这个api，那么就会把真实的checksum发上去，服务器一看就知道不
对了。 |
|
z*y
发帖数: 1311 | 18 来自主题: EmergingNetworking版 - 网络技术问题 Ethernet已经有error checking（CRC），相信其它类型的LAN也都是error checking
CRC比IP checksum 还要 strong
那么 IP checksum 岂不是多余的么？ |
|
s*****g
发帖数: 1055 | 19 来自主题: EmergingNetworking版 - 网络技术问题 Not at all, when the packet is routed, L2 header are stripped, lot of IP
header fields can be changed, router will decrement IP TTL, depends on
configuration, TOS/DSCP bit can be modified, if it is a NAT device, source/
destination IP addresses can be changed, etc, etc, outbound L2 encap can be
PPP, without IP checksum, how does next hop router know the IP packets'
integrity are maintained?
The same argument applies to why we need TCP/UDP checksum, the whole point of layered TCP/IP is that upp |
|
u**n
发帖数: 44 | 20 TCP has checksum field so that application can verify data integrity by
given TCP packet. UDP checksum could be zero so that application needs to
know how many bytes are valid.
My guess... |
|
z*********e
发帖数: 10149 | 21 你们可能不少人还不知道。2011年前买的路由器，有不少是不安全的。对于某些型号的
路由器，不管你用wpa/wpa2，worst case(不是平均) 大概4个小时就可以暴力破解你的
密码。
这主要是因为一个为了给大妈们提供的一个功能有个致命漏洞。
这个功能是路由器上的WPS,本来的目的是为了简化操作，方便连接路由器的。但是这货
设计的太不合理，只有8位。那么所有可能组合是1亿种，假如每秒trial一次的话，1亿
秒，大约3年。你要这么想，那就麻烦大了。这货的设计，脑残的不止一点，it前面7位
是有效位，最后一位是checksum。那有人说了，那就3个月吧。错！还有更脑残的事，
路由器对于incoming PIN的验证，是分成了两段，前4位和后4位。尼玛这正常人怎么会
出这么一个馊主意。这是什么意思呢？最后以为是checksum的情况下，worst case只需
要try 11000次就可以了，如果一秒试一次那就是3个小时就能把所有可能情况测试出来。
所以安全的做法，就是禁止路由器这个WPS的功能。这里的设备可以分为三档，第一档
会在连续测试几十组pin之后将这个功能sleep几分钟或者... 阅读全帖 |
|
x***4
发帖数: 1815 | 22 同意。
补充一点：
我的理解（可能是错的，correct me if I am wrong）：raid10是不会对每个文件
checksum的。所以如果你有一个文件在两个盘上面，基于种种原因内容不同，raid10本
身是不会告诉你那个盘上的文件是对的。
如果你用zfs之类的文件系统做soft raid10，zfs本身会对每个文件checksum，如果出
现之前的情况，可以告诉你那个盘上的文件是对的，同时自我修复（把错盘改回来）。
当然soft raid当然会比硬的慢一点，而且zfs也推荐用ECC ram。 |
|
x***4
发帖数: 1815 | 23 同意。
补充一点：
我的理解（可能是错的，correct me if I am wrong）：raid10是不会对每个文件
checksum的。所以如果你有一个文件在两个盘上面，基于种种原因内容不同，raid10本
身是不会告诉你那个盘上的文件是对的。
如果你用zfs之类的文件系统做soft raid10，zfs本身会对每个文件checksum，如果出
现之前的情况，可以告诉你那个盘上的文件是对的，同时自我修复（把错盘改回来）。
当然soft raid当然会比硬的慢一点，而且zfs也推荐用ECC ram。 |
|
t******8
发帖数: 2803 | 24 我用两种。
HashCheck Shell Extension for Windows，用来快速检查整个大文件夹，也可以方便
地右键检查checksum。
Corz.org的Checksum for Windows，用来针对单独文件生成hash或者检查。就算文件目
录有改动也可以查。 |
|
S*A
发帖数: 7142 | 25 用 find 列出说有文件然后生成 md5 or sha1 checksum
然后比较 checksum 就可以了。
不怕慢的话就直接 X checkin 到 git 里面，然后 Y pull 出来
就行了。这个保证一致。
rsync
X |
|
j*****a
发帖数: 436 | 26 %32 means 32-bit checksum, default is 16-bit checksum. |
|
T*******n
发帖数: 493 | 27 The md5sum is the "fingerprint" of the file.
You can use the md5sum tool to calculate the checksum
on the file downloaded onto your computer, and
compare it with the checksum posted on the server,
to ensure that the file was downloaded without
corruption. |
|
l****n
发帖数: 12 | 28 sun SPARCstation 20
开机后出现的现象如下：
SPARCstation 20(1×390z55),keyboard present
ROM Rev.2.22, 64MB Memory installed,Seial #10482275
Ethernet address 21:77:14:89:b3:b7,Host ID:ad9ff263
The IDProm contents are invalid
Boot device:/iommu/sbus/espdma@f,400000/esp@f,800000/sd@3,0
File and args:
warning IDProm checksum error
warning IDProm checksum error
using default machine type Sun4m/60
Copyright(c) 1983-1994,Sun Microsystems,Inc.
Invalid format code in IDProm
Configuring network interfaces:le0
.
.
.
而且 |
|
p**********g
发帖数: 9558 | 29 简单点,干脆就是这个图,做个checksum,符合就干掉
同样的图,不知道那个缺德玩意反复用 |
|
g*q
发帖数: 26623 | 30 A French citizen has unintentionally breached the security of the French
central bank (Banque de France) over the phone and was freed by French
authorities after being accused of “hacking” the central bank’s and
triggering a 48-hours shut down of that particular computer system which
handles the consumer indebtedness files (basically people who are flagged as
having a very bad credit history).
The man was trying to go around the paid telephone consumer support system
and got from Internet forums... 阅读全帖 |
|
l**k
发帖数: 45267 | 31 靠，懒到极致了
as
entered
checksum
s |
|
k**o
发帖数: 15334 | 32 只要能编译成windows，那么就可以通过checksum证明和他卖的是完全一
致的。如果编译不成，那就继续质问微软为啥编译不成。
的？ |
|
G*****n
发帖数: 3863 | 33 咱们举个例子。
“其实都是用语言的人自己的问题” 这第一句话，这里面“用语言的人”指的是谁？
按照字面意思，指的应该是所有用语言的人，所以不光包括使用汉语的人，还包括使用
英语的人，甚至是使用斯瓦西里的非洲人。因为“语言”在这里没有特指。而且“问题
”在这里也没有特指，所以无法为前面的“人”做定义解释。如果只是指的说汉语的人
，那么衍生的意思岂不是说“汉语本身问题不大，但是说汉语的人群的智商有问题”，
这就会衍生出一个种族基因的话题了，听成这样的人，估计就会开始骂街扣帽子了。再
如果这里特指的是使用汉语时有问题的人，那这又是一种解释。关键在于，怎么能从这
句话来看出说话者到底想说的是什么意思？
汉语的问题并不是在于“导致”表达的不精确，而是在于“允许”表达的不精确。语言
沟通是一个低熵通道，一旦允许了不精确，那么所有的精确的描述也会被拉低到最混乱
的高熵位。就像一根电缆里的信号，一旦允许混入其它干扰信号，在接受端的人还如何
能够自信的判断哪些信号仍然精确，哪些已经模糊？
而英语相对于汉语来说，相当于信号里加了一些限制条件，就像checksum一样。如果有
信号混乱，比如明明说过去的事情... 阅读全帖 |
|
t******l
发帖数: 10908 | 34 马工早就知道 CRC32 checksum 抵制随机干扰的算法。。。
: 你说得确实没错，不过从几率上说，活力高的精子带有基因缺陷的概率低一些
|
|
发帖数: 1 | 35 你查查有没有checksum hash被破解的案例
：尼玛还说什么是单向加密 不可逆
： |
|
s***h
发帖数: 487 | 36 器人们今天发帖前忘了核对 ID 的 CRC checksum？ |
|
s***h
发帖数: 487 | 37 器人们今天发帖前忘了核对 ID 的 CRC checksum 吧
: 洗脚哥兼职做廊庑了？
|
|
a***k
发帖数: 1038 | 38 口服含50毫克二氧化氯的一杯水溶液，早晚两次。这是普通成人的剂量，可根据体重增
减。
二氧化氯溶液可以用二氧化氯消毒液/片或含二氧化氯的净水片加水制作，根据厂家的
配方控制二氧化氯的剂量在50毫克左右。比如某种二氧化氯消毒片标识2g／片，二氧化
氯含量3.38%，那每片的二氧化氯含量就是2000毫克x3.38%=68毫克，大半片就是50毫克。
也可以用5滴25%浓度的亚氯酸钠溶液+5滴50%浓度的柠檬酸溶液，混合均匀，等一分钟
后加200到500毫升凉水冲服。这里的一滴按50微升算。同时用雾化器直接少量吸入效果
可能更好。柠檬酸溶液可用4%浓度的盐酸替代。
这个方子在非洲应用不少，美国也有许多人私下使用，差不多是个万用药，从伤口消炎
，牙痛，感冒发烧，艾滋，疟疾，登革热到渐冻症都有应用，相当于中医的土方子的地
位，被官方嗤之以鼻，甚至反对。不少渐冻症患者不得已就成立了自己的组织来自己交
流细节。原理简单明了，氧化剂广谱杀毒，诸多细菌、病毒、衣原体除了肠道里的一些
菌群外没有几个顶的住二氧化氯。值得一提的是2毫克每升的二氧化氯就可以完全灭活
萨斯冠状病毒。
https://www.ncb... 阅读全帖 |
|
s******t
发帖数: 2374 | 39
一块一慢两个指针？
tree;
从root往下找，如果左边小右边大。common acestor应该是从root往下处于两者之间的
那个节
点。
啥叫做shallowest？难道不就是根节点么？
key,
time.
Rough
不理解。如果每个都是unique的，难道不是加一堆计数器就行了么？
如果要id可以重复的话可以用checksum之类的东西来缩短id吧。可以maintain一个hash
之类的
东西吧。 |
|
s*********t
发帖数: 1663 | 40 第一个用简单的循环会比recursion好吗？
第二个排序后checksum hashtable?
a |
|
z*****n
发帖数: 447 | 41 当时我没有回答出来，interviewer也没告诉具体答案，只说用一种特殊的Hash 函数，
然后用sliding window一个个的滑动计算相邻的chunk的checksum，最后可以比较出来
。结果面挂了。。。：（
我感觉rsync和这个思路很一致，应该就是这样！好像dropbox也是这样做同步的。
时B |
|
T****y
发帖数: 36 | 42 来自主题: JobHunting版 - G家电面题 我就说把数据砍成小块分开运，每块做hash md5 checksum分开存储 blabla
到达目的地后逐一验证并组合，如果哪块丢数据了就再送那块就行了。
也可以用网络送，（理论上） 方式同上。
感觉有点若，对方也没给啥评论。 |
|
f*****w
发帖数: 52 | 43 感觉就是考网络，地球和月球服务器之间发，月球服务器之间。我也没啥思路，就提到
月球和地球之间通讯越少越好，用checksum检查数据是否正确。还得分包，因为一个
package可能不够装kernal要该的内容。这题有很多点可以挖掘，比如kernal文件是发
所有的文件还是类似于svn的那种。100台服务器之间怎么传递要修改的kernal信息，需
不需要等到所有kernal信息都收到了才开始发。整个protocol怎么设计，每个package
需要什么header。 |
|
m**i
发帖数: 394 | 44 need to do dedup on file level first, then do dedup for lines.
calculate the checksum for each line for each file,
then do an unique sort with mergesort.
text |
|
z*******3
发帖数: 13709 | 45 你光说可以这样做，效率高，那这像是文科生说的
人家肯定不买帐，而且严格说来还是有点问题
传统db一样可以做到分布式
而且db查起来还更快，因为db的数据本身更为工整，index也多
integration做得好的话，找起来快多了，但是一般db写起来消耗资源比较多
而且db里面有大量用户定义的transaction，容灾处理机制write ahead log这些
据说这些东西占去了日常90％的工作，这样做的结果就是一般db要错，数据要丢失
不太容易，所以db中的数据都非常精准
但是代价就是写起来消耗资源就多，要经过各种处理，数据要层层包装解包装等等
而且不是说做不到分布式，而是做到比较麻烦
因为要保证节点的数据是consistent的，有大量工作要自己去实现
hdfs直接dump文件到硬盘上，然后replica，除了namenode以外，不搞transaction
也不负责灾难备份，相比之下写的时候快多了
适合web这种大量垃圾数据同时涌入时候用
读的时候，node如果fail掉的话，hdfs有checksum
所以少量的nodes挂掉，不影响系统本身的健康
chaos monkey |
|
m********t
发帖数: 13072 | 46 我是被邀请的interview， 不是我自己申请的。我也不清楚面试的具体流程，
我没有经历过谷歌phone view，第一步直接onsite，直接和那个hiring组的最高领导对
话，background check也取消了，
这个版的帖子，涉及到的各种面经和步骤，我看得不太明白。。。有3层因素：
1. 很多人的presentation 比较弱势， 有两个方向的原因：
1） 自己都没弄懂题目内涵
2） 表达能力不是很强，说不清道不明
2. 有些人没说实话，掩盖了一些问题
3.大部分人没搞清楚谷歌的面试机制----
谷歌有一套考核方针的，就是你弱就出弱题，你强就出强题，但给你出的弱题，在你看
来，可能是leecode里的原题，然后你忘记了某部分细节，结果没答好，于是，在你看
来，你觉得你答对了80%，只是错了20%，所以希望很大，在谷歌那里，绝非如此，因为
你在weak lane里必须show outstanding results才能被考虑，weak lane本身就是输在
起跑线了。
有些人自己感觉答的不好，但人家接的是advanced topics，如果错了30%，也算合格的
最后，... 阅读全帖 |
|
t**r
发帖数: 3428 | 47 每个上传给开一個新thread.
用udp传, chunk by chunk。 加checksum验证 避免用tcp，慢。
存放地點放到缓存。不要直接写磁盘，异步往磁盘写 可以增加吞吐。
数据直接在客户端md5加密。安全性基本没问题了，处理好key的交换。
验证数据格式，只存储可识别的文件，未知格式文件拒绝存储。 |
|
