[分享]在工作上了解LINUX下文件系统的优势,和大家分享。

不同视角、不同观点、深度探讨,禁止人品和道德攻击
回复
leeonix
帖子: 54
注册时间: 2007-12-14 9:18

[分享]在工作上了解LINUX下文件系统的优势,和大家分享。

#1

帖子 leeonix » 2007-12-14 9:56

因为手术原因,我刚从基金公司辞职。呵呵,需要时间恢复伤口。闲话不多说,说正题。

工作原因,要根据以往的股票和期货数据来分析出数学模型来做套利。

这些数学模型来说,就是那些学数学的博士硕士的活,我是程序员,呵呵,我来写程序和脚本。

我有两台笔记本电脑,一台IBM T43P用来平时工作,装的是WindowsXP,我领一台IBM R52装的是LINUX,分区文件系统也都是LINUX支持的。

我要从3年的香港股票数据,根据同事列举的一个股票列表用某个工事来分析生成一个个专用的小文件。

3年的股票数据时36个CSV文件,也就是逗号分隔符文件,是纯文本文件。预估计要生成7200个文件,实际生成的是5800多个文件。需要不停的读写IO。

起初我写的是Perl脚本来读写,毕竟这个方便,但是IO有些慢,就改用C语言,其实也快不了多少。不过周末了,就把Perl脚本放到服务器上跑着,服务器是Win2003,是NTFS的文件系统,然后就度周末去了。呵呵。^_^

第二周回来,看了看结束时间,算了算使用时间,整整花了13个小时!我5点下班第二天早上6点才给处理完。

搞数学的同事稍微一改,我就又得跑脚本。本来以为是CPU的问题,单核CPU下的Windows显示硬件中断的CPU占有率一直100%。我找了双核CPU的机器,确实,双核CPU优势明显,提升的性能不是双倍这个概念,现在个人电脑使用起来,双核CPU几乎没有用武之地。

但,我找问题的方向似乎错了,CPU是不能提升IO操作的,要不就是带宽问题,要不就是文件系统本身的问题。

我拿了我的R52,上面Ubuntu我用的是XFS的文件系统,把股票数据拷过来。相同的Perl脚本仍在Linux下处理,处理完时间花了差不多8个小时。

简直惊人的差距,比在NTFS下所用的时间要短的多。而且舒服的多,就是单核CPU也没有说硬件中断卡死的情况。

当时看着结束时间显示那霎那间,我就想到。LINUX可以说,是我们专业程序员所选择的最好的操作系统。程序员想要的东西在LINUX都能找的到,有些如鱼得水的感觉。为了程序跑的舒服,也得坚定的留在LINUX下。

因为这次数据提取脚本的事情,我把原来的二进制股票数据找出来,这些数据上证和深证每天的所有股票详细数据,一天的就是250M以上,上证深证各一,一年下来就是7个G。3年的数据下来20多个G。把以前的C语言代码在Linux下重新编译在Linux下分析。速度的提升也验证了Linux的整体系统尤其是文件系统的巨大优势。

普通用户我不敢多说,毕竟方便才是第一位的。好比双核CPU,这样的好硬件,好比LINUX,跑得这么稳定的操作系统,都不是普通用户能够完完全全用的上的。对于大众用户来说,够用就好。

对于专业用户来说,才是用的最好的硬件和系统。

我也建议公司的技术经理,放一个Linux系统的文件共享服务器。绝对比Windows的舒服。

我看很多人还在说Windows如何如何不好,这其实是片面的。Windows是针对的普通用户的方便操作,Windows再怎么漏洞多,病毒多,再怎么比Linux不好,但是我这么久Windows和Linux用下来,Windows还是最最方便操作,绝大多数的用户连Windows都了解得不透,更何况Linux?

操作系统用户群体80%以上的需要的是拿过来就能用的操作系统。可能看到我说80%这个数据有些不相信。我这么说,我上初中的时候接触的计算机,当时用的是联想的386,我今年27岁。按照年龄来说,我也算接触的时间比较长的,我的同龄人才是计算机的主要用户,比我稍大的很多人几乎不想研究计算机的东西,接触的少。比我稍小的可能有兴趣些,不过人又分男女,女孩子更不喜欢研究一些,我妹妹就装了Windows只是聊天上网听歌看书玩游戏。Windows足够了。像我爸爸妈妈这样的50多岁能用计算机的就是非常少的,我妈妈当初在医院工作就是用FoxBase写的仓库管理系统,算是接触计算机非常早的人了。

我以前去工厂,去其它地方给客户实施项目的时候更是深有体会,宁波厦门汕头珠海都去过,他们的Windows里面就那么几个软件,Windows都玩不转,Linux就甭多说了。Windows因为它的方便才有它巨大生存空间和客户群体。

Linux项目最好做的就是嵌入式开发,这个方面比Windows有优势,方便容易使用。

Linux灵活,自己修改配置文件无所不能配置,我曾经就看这文章调整Linux的字体整整一天,字看起来比Windows下舒服多了,不是很多人都有耐心一点点调整Linux的配置文件的。

而且Linux对中文支持一直都很差,我和朋友在Ubuntu6上的中文环境痛苦了很久,那时候一段时间天天的在MSN上交流。Ubuntu7的中文支持实在太好了,自从feisty这个版本出来,我就一直用这Ubuntu。

什么样的用户就选什么样的系统。我选择Linux,因为我在Linux下工作的经验,实际感觉到Linux的真正优势。

没办法,还得吃饭,要吃饭就得吃Windows编程这一行,因为用Windows的多,Windows编程的工作好找……而且薪水有10K哦。嘿嘿。

告诫诸位程序员同行,涉及到大规模的IO操作,如果Windows下消耗的时间不能承受,请选择Linux的文件系统,不管哪些都不错。

还好我电脑多,呵呵,不怕换操作系统,平时开着LINUX听歌,开Windows玩游戏。^_^

最后声明:原创文章,转载请注明出处:Ubuntu中文论坛。
头像
猛将兄
帖子: 2052
注册时间: 2005-10-19 17:33

#2

帖子 猛将兄 » 2007-12-14 10:26

。。。10k算多么。。。
头像
猛将兄
帖子: 2052
注册时间: 2005-10-19 17:33

#3

帖子 猛将兄 » 2007-12-14 10:29

啊。楼主别误会,我不想和你PK薪水
只是我误以为现在股票这么火,证券公司行情很好才对
leeonix
帖子: 54
注册时间: 2007-12-14 9:18

#4

帖子 leeonix » 2007-12-14 10:33

呵呵,10K对于拿工资的程序员来说就不少了。能自己接项目做才赚钱更多。

基金公司的程序员其实就是“工具”……主要还是那些搞数学的搞研发的。

你这个不是这一行的人你就不清楚了。

套利机会就是一段时间的,大家都知道就没有套利机会了。

套利只是一段时间的机会。比如去年公司赚得就很多,而今年全年几乎都没有怎么赚钱,一个月赔20万……
leeonix
帖子: 54
注册时间: 2007-12-14 9:18

#5

帖子 leeonix » 2007-12-14 10:38

而且我在那个公司又不是做的什么尖端突出的技术。用的COM/DCOM/COM+的老技术。能拿10K算不错了。
头像
ChloeRei
帖子: 1021
注册时间: 2007-11-23 9:49

#6

帖子 ChloeRei » 2007-12-14 12:21

:lol: 很务实
8) 参加过大学的数学建模,大概知道数学模型是个什么东东,哈哈。不过现在脱离了。

“什么样的用户就选什么样的系统” 赞成,现在同学问我这个系统好不好用我都直接说“不好用”算了,解释麻烦。
不过同学看到我的书架上的Linux相关的书大呼高手我心里还是挺过瘾的。(我算个入门吧: ( )
头像
hcym
帖子: 15634
注册时间: 2007-05-06 2:46

#7

帖子 hcym » 2007-12-14 13:22

不怕不识货

就怕比

:lol:
elevenll
帖子: 57
注册时间: 2007-11-02 1:24

#8

帖子 elevenll » 2007-12-16 11:41

这么好的文章没人顶啊。。。。。
月圆之夜,华山之颠,一人独来,白衣如雪,冰刀如电
lb_bn
帖子: 1261
注册时间: 2007-02-25 16:56

#9

帖子 lb_bn » 2007-12-16 12:18

顶你楼主。。 :lol:
zhangsong023
帖子: 768
注册时间: 2006-09-20 19:56

#10

帖子 zhangsong023 » 2007-12-16 14:52

金融、基金,经常和随机微分方程打交道,累。
icosagon
帖子: 55
注册时间: 2007-01-22 10:22

#11

帖子 icosagon » 2008-01-07 21:39

windows下io操作是挺慢的,基本上每次软件运行慢都是因为io问题,linux下大规模的io操作还没做过
tongttt
帖子: 444
注册时间: 2007-11-27 22:20

#12

帖子 tongttt » 2008-01-07 22:22

顶一下楼主,受教了
bluefly
帖子: 2
注册时间: 2007-05-22 9:07

#13

帖子 bluefly » 2008-01-07 23:02

电脑要学习的知识太多了,一辈子在一个方面有成就就行
支持楼主
坚决支持linux
回复