|
m****s 发帖数: 79 | 2 数据库小白请教(最近我在业余学习数据库,为了了解system design面试题):如果数
据库文件很大比如10GB,内存6GB,MySQL和Python Pandas分
别是怎么处理的?
看了这个链接:
http://stackoverflow.com/questions/31765123/pandas-dataframe-merge-memoryerror
感觉Pandas要加chunks处理。
而MySQL似乎内部直接处理了。文中的代码没有分批处理的大小size参数,是default的
么?
另外,在一个10GB的数据库里,搜索一个Name field里,名字叫"Mark"的一行,需要费
时多长呢?
怎么估计呢?
是不是估计软件要把这个数据文件分几部分load进memory,然后加上memory搜索的时间。
如果你没有时间解释,能否请给些链接。谢谢!
祝鸡年吉祥如意! |
|
n*********u 发帖数: 1030 | 3 服务器加点内存会死人吗?公司服务器内存比个人笔记本电脑还小的公司怎么想的?人
工不要钱的?
10GB又不算大数据。。。
mysql用硬盘比较狠一点,内存只是cache用,小一点他也无所谓,也就慢而已。
搜索field是看index和query,如果是搜名字完全等于“Mark”的话,如果有index会很
快,O(log n)。没index比较慢,O(n),硬盘里一行一行慢慢搜。
你只说10GB,又没说有多少行,数据库设定(myiIsam还是innodb)之类的,没法估计
时间。
pandas不确定,只是一个软件,数据都是临时load的,不像mysql可以提前加上index,
所以应该只能读到内存里再用。 |
|
h**********c 发帖数: 4120 | 4 你横竖要把硬盘扫一遍。比较硬盘的开销,内存是不是可以忽略了,差一个 order 左右。
具体数据库系统的课本里讲,在这里太叫真意义不大。
cache 的功能就是缓存你追进用过的,没用过的,一下就要swap,开销就大了。
其实课本上讲得也是二三十年前的理论,MYSQL, MSSQL ORCALE什么背后的优化都是技
术秘密,开原的MYSQL比企业版少很多东西。你如果装个单机的话,开原的就够了。 |
|
t*******e 发帖数: 6 | 5 This is a golden opportunity to fulfill your dream to become financial free
quickly. We are in the process of providing an internet based business
service.
If you would like to become part of our team and strong in Aspx and MySql,
E-commerce, please contact with us at : w*****[email protected]
Please send a short description of your familarity with .net E-commerce tools,
such as Aspx, MySql.
Please pass this to anyone who may interest.
Thanks for your attention. |
|
s*******r 发帖数: 769 | 6 begin with MS SQL 还是 mySQL?
MS SQL vs MySQL,which one is more wifely used (or more useful)? |
|
J*X 发帖数: 1001 | 7 【 以下文字转载自 Hardware 讨论区 】
发信人: JTX (JTX), 信区: Hardware
标 题: 【请教】如何远程登录mysql
发信站: BBS 未名空间站 (Mon Feb 1 17:31:32 2016, 美东)
我在办公室电脑上(debian linux,有独立ip)装了个mysql,请问如何在家里电脑(
win7)用些
terminal软件比如putty登录上去,做一些操作练习呢?具体说就是,怎么对办公室里
那个电脑进行设置,能达到类似登录server那种效果? |
|
发帖数: 1 | 8 最近想学mySQL,自己写SAS就非常喜欢用PROC SQL所以算是有不错的基础,请问PROC
SQL和SQL差别大么。要如何快速学习mySQL呢?我看很多JOB DESCRIPTION上要求SQL,
想快速掌握到能过一个平均难度的面试的程度,谢谢! |
|
d*****l 发帖数: 8441 | 9 Warning: mysql_connect() [function.mysql-connect]: Can't connect to MySQL
server on
in /usr/local/apache/htdocs/mitbbs_funcs.php on line 1135
无法连接到服务器!
Maybe not a good choice for large database and future extension. |
|
|
发帖数: 1 | 11 又吹牛逼不上税
见过不少国内做系统的,没一个用ali毛的
oracle不少,cheap的上openstack mysql |
|
|
|
m**********e 发帖数: 12525 | 14 趋势个鸡巴,10年前的趋势还能这么一说
mysql早被收购,现在是mariadb |
|
m**********e 发帖数: 12525 | 15 对
mysql的人对收购后oracle对产品的限制大怒,于是又搞了个独立的开源database,叫
mariadb |
|
c****x 发帖数: 6601 | 16 开源的。可以修改。
FB的mysql就是自己改的。 |
|
|
r*********7 发帖数: 42 | 18 我们是一家大公司,员工5000+,在硅谷南湾santa clara, devops部门招MySQL DBA,
如果能懂
MongoDB,Python,cassandra 更好。
公司帮办身份非常积极,待遇在湾区算是中上或比较靠上的。
请发简历:richardhe2007 gmail.com |
|
w******1 发帖数: 520 | 19 为什么FACEBOOK 的面试都是问算法呢?而不是PHP MYSQL?
看大家的面筋, 都是算法的。
可是网站不就是 PHP 再加点 SQL 么?
那些算法的, 是给哪个部门做事情的呢? |
|
o***1 发帖数: 2 | 20 零起点Oracle DBA培训,只要英语阅读能力过关,不限专业,均可有望进入到高度专业
的Oracle工作领域。我们已经帮助了无数的中国同胞,请看学中文的女生是如何拿到9
万美金年薪DBA工作的:
www.boobooke.com/bbs/thread-36015-1-1.html
播布客是世界上最大的IT原创视频培训网站: www.boobooke.com
我们目前提供如下三个方向的培训:
Oracle DBA培训, 2400美金, 6个月
MySQL DBA培训, 950美金,2个月
Weblogic管理培训,1500美金,3个月
只要英语过关,肯学习,我们包你入行。不需要到培训学校,在家里通过互联网远程学
习,学习时间灵活,不影响工作。有兴趣致电Wilson : 412-867-0738 / 电邮:wilson
@boobooke.com |
|
c******t 发帖数: 391 | 21 今天面了一家做distributed system的公司,其中问到了一个关于Relational
Database和NoSQL Database的问题如下:
How do you choose between relational database such as MySQL and NoSQL such
as MongoDB/HBase in your project?
我答得不好,胡扯了一堆。 请教下版上朋友,这种问题该怎么答?我能想到的比较层
面包括性能、可扩展性(sharding)、schema是否固定和MapReduce等,但困惑的是,如
果根据产品需求选择relational or non-relational database呢?
多谢了! |
|
|
|
l*******n 发帖数: 53 | 24 Software engineer, 2 years experience, Microsoft .NET C# MySQL.
We are a financial company located in San Francisco.
Well established business with good working culture and friendly environment
.
Sorry no H1B sponsorship.
If interested, please call me at 630-696-5829 or email [email protected]/* */
Thanks. |
|
发帖数: 1 | 25 1. 在已经加完index的列上查询速度仍然很慢,重新建立index?
2. 用NoSQL?
3. 加Redis Cache?
4. 用MySQL replicator,对多个slaves查询?
5. 用in-memory database?
到底该怎么回答? |
|
y*********e 发帖数: 518 | 26
首先explain下query,看下execution plan。看index有没有被用到。没有被用到,为
什么,改写query。有用到还是慢,index是不是corrupt了,重建index。Query返回多
少数据?返回数据量大的话,nonclustered index performance很有影响的,考虑
clustered index。table要不
要做partition?要不要把mysal server partition(比如把数据partition成100份,
存到100个不同的mysql server上,然后query做成100个mapper这样提速?)
还有,服务器CPU是不是100%了,看一下。还有,具体慢在哪里,是在数据库查询上,
还是在业务逻辑层上?看日志。需要的话profile一下。是一个服务器慢,还是多个慢
?是突然间变慢?最近有没有做release,要不要rollback?等等。。 |
|
s****e 发帖数: 19 | 27 Dear friends,
I am looking for a MySQL DBA/System Admin for SuperBiiz. Please send me your
resume if you are interested or if you know somebody who is looking, please
refer to me. Thanks very much!:)
A growing e-commerence company is looking for customer services to join us
for the success
We are looking for DBA/System Admin for one of our Subsidaries: SuperBiiz.
SuperBiiz is a global online retailer offering customers a wide selection of
PC components and consumer electronics. (www.superbiiz.co |
|
o***1 发帖数: 2 | 28 零起点Oracle DBA培训,只要英语阅读能力过关,不限专业,均可有望进入到高度专业
的Oracle工作领域。我们已经帮助了无数的中国同胞,请看学中文的女生是如何拿到9
万美金年薪DBA工作的:
www.boobooke.com/bbs/thread-36015-1-1.html
播布客是世界上最大的IT原创视频培训网站: www.boobooke.com
我们目前提供如下三个方向的培训:
Oracle DBA培训, 2400美金, 6个月
MySQL DBA培训, 950美金,2个月
Weblogic管理培训,1500美金,3个月
只要英语过关,肯学习,我们包你入行。不需要到培训学校,在家里通过互联网远程学
习,学习时间灵活,不影响工作。有兴趣致电Wilson : 412-867-0738 / 电邮:wilson
@boobooke.com |
|
r*********7 发帖数: 42 | 29 我们是一家大公司,员工5000+,在硅谷南湾santa clara, devops部门招MySQL DBA,
如果能懂
MongoDB,Python,cassandra 更好。
公司帮办身份非常积极,待遇在湾区算是中上或比较靠上的。
请发简历:richardhe2007 gmail.com |
|
I****r 发帖数: 795 | 30 php+mysql 什么GUI最好用?
有没有象微软的那个 。net starter kit 类似模版样的东西?
就是自动生成个用户数据库,包括注册,用户资料更新,找寻密码的功能,
自己再写一个太麻烦了。
谢谢 |
|
S********t 发帖数: 4402 | 31 【 以下文字转载自 ebiz 讨论区 】
发信人: SinoKnight (鼠风流人物), 信区: ebiz
标 题: 诚邀PHP MYSQL网站高手一同创业
发信站: BBS 未名空间站 (Thu Nov 12 10:36:41 2009, 美东)
首先说一下要求:必须是编程和网络高手,对数据库处理和优化,搜索在行。有过实战经历。另外确实能保证有一定的时间。业余时间就可以。品行端正易于合作。因为会是一个长期合作,技术入股最好,每年提取分红。
合作形式:一般是我提出建议主张,大家一起(主要是你)把这些建议主张实现。我可以稍微打点下手和做点测试工作(我不是计算机专业也没有上过几门计算机课)。 所需资金都由我来出。
合作内容:都是已经开始并有了一定流量和收益的网站。1。我自己的小网站dealalive.com. 这个网站是我自己瞎整的。一直没有时间去更新提高。dealalive是一个全自动的网站,基本没有人工维护。所以程序设计也是基于搜索和内容自动处理。2。如果你不搞ebiz(以防止利益冲突),可以考虑加盟我和其他几个人开办的一个shipping网站(现在只有fedex)。这个主要和我们 |
|
Z***e 发帖数: 3693 | 32 我的 ExtraRebates.com 就是用 PHP MYSQL 写的。
战经历。另外确实能保证有一定的时间。业余时间就可以。品行端正易于合作。因为会
是一个长期合作,技术入股最好,每年提取分红。
以稍微打点下手和做点测试工作(我不是计算机专业也没有上过几门计算机课)。 所
需资金都由我来出。
dealalive.com. 这个网站是我自己瞎整的。一直没有时间去更新提高。dealalive是一
个全自动的网站,基本没有人工维护。所以程序设计也是基于搜索和内容自动处理。2
。如果你不搞ebiz(以防止利益冲突),可以考虑加盟我和其他几个人开办的一个
shipping网站(现在只有fedex)。这个主要和我们现有的技术人员合作。
行正常后,一年几万收入应该不成问题。当然,这个网站将来不会仅限于目前看到的内
容; shipping网站前景应该更好。
一下你做过的东西。 |
|
x****o 发帖数: 29677 | 33 看你描述也就是几个静态页面来描述公司信息html就搞定了
最多一个动态的页面,用于和客户进行信息交流,可以做成聊天,邮件等等形式,不过要数据库干啥?
数据库mysql是open source的
自己架网站用apache tomcat也够了,那个也是open source的,写完html往里一扔就完了 |
|
s**********a 发帖数: 3273 | 34 If you use a hosting service that provides MySQL, usually they have
the well licensed Enterprise version so you don't need to worry about
it. |
|
m********s 发帖数: 449 | 35 他们怎么知道你后台是MYSQL, SQL Server还是Oracle? |
|
g*******a 发帖数: 31586 | 36 不好意思 不是我不说清楚 是那人支支唔唔不肯说清楚 我尽量再去问一下 他好像说
是微软告的 可是MYSQL好像不是微软的 |
|
a**e 发帖数: 5794 | 37 那人可能是技术盲,微软说的是MSSQL,他误以为是MYSQL。 |
|
y*****g 发帖数: 677 | 38 We are using MySQL. We only pay $5,000 for the support per db server, not
for the software itself. The support is good for troubleshooting and tuning
etc.
Am I wrong? |
|
q***2 发帖数: 1861 | 39 这个,可能吗?
估计原帖LZ 朋友用的肯定是 SQL, MSSQL是也,不会是 Mysql
tuning |
|
|
|
m*********h 发帖数: 5449 | 42 我看到有些上千台服务器的公司用的是MySQL存数据,只用Hadoop里的分析功能。
请问你说的是什么数据库? |
|
q********g 发帖数: 10694 | 43 千台服务器不用oracle或IBM或MS SQL server却用免费的mySQL,老马你不会在跟我们
开玩笑吧? |
|
j**o 发帖数: 47 | 44 Send the resume to me or apply online.
Junior Level Software Engineer - PHP, Mysql at Delivery Agent in Denver,
CO
Delivery Agent Inc. is a fast growing company and is looking for an
exceptional software engineer who wants to truly make a difference at
work and grow with the company. It is an opportunity to work on
projects on variant of platforms for major TV providers and programmers
to expand their commerce to millions of new consumers around the global.
Job Description:
* Design, develop, |
|
|
z*********n 发帖数: 94654 | 46 在这种lamp环境里,往往还真的就得多一步写temp table
mysql join大table起来尼玛坑爹的,比尼玛毛毛虫都慢 |
|
M*****t 发帖数: 26706 | 47 又来个一知半解的。。。
mysql does not support full joins. |
|
x*******3 发帖数: 8342 | 48 【 以下文字转载自 NewYork 讨论区 】
发信人: xuaner223 (Jerry), 信区: NewYork
标 题: job opening@NBC - MySQL admin contract to hire position
发信站: BBS 未名空间站 (Thu Mar 24 12:14:39 2011, 美东)
Will report to me, send me your resume if you want to apply. |
|
|
|