[分享]在工作上了解LINUX下文件系统的优势,和大家分享。
-
- 帖子: 54
- 注册时间: 2007-12-14 9:18
[分享]在工作上了解LINUX下文件系统的优势,和大家分享。
因为手术原因,我刚从基金公司辞职。呵呵,需要时间恢复伤口。闲话不多说,说正题。
工作原因,要根据以往的股票和期货数据来分析出数学模型来做套利。
这些数学模型来说,就是那些学数学的博士硕士的活,我是程序员,呵呵,我来写程序和脚本。
我有两台笔记本电脑,一台IBM T43P用来平时工作,装的是WindowsXP,我领一台IBM R52装的是LINUX,分区文件系统也都是LINUX支持的。
我要从3年的香港股票数据,根据同事列举的一个股票列表用某个工事来分析生成一个个专用的小文件。
3年的股票数据时36个CSV文件,也就是逗号分隔符文件,是纯文本文件。预估计要生成7200个文件,实际生成的是5800多个文件。需要不停的读写IO。
起初我写的是Perl脚本来读写,毕竟这个方便,但是IO有些慢,就改用C语言,其实也快不了多少。不过周末了,就把Perl脚本放到服务器上跑着,服务器是Win2003,是NTFS的文件系统,然后就度周末去了。呵呵。^_^
第二周回来,看了看结束时间,算了算使用时间,整整花了13个小时!我5点下班第二天早上6点才给处理完。
搞数学的同事稍微一改,我就又得跑脚本。本来以为是CPU的问题,单核CPU下的Windows显示硬件中断的CPU占有率一直100%。我找了双核CPU的机器,确实,双核CPU优势明显,提升的性能不是双倍这个概念,现在个人电脑使用起来,双核CPU几乎没有用武之地。
但,我找问题的方向似乎错了,CPU是不能提升IO操作的,要不就是带宽问题,要不就是文件系统本身的问题。
我拿了我的R52,上面Ubuntu我用的是XFS的文件系统,把股票数据拷过来。相同的Perl脚本仍在Linux下处理,处理完时间花了差不多8个小时。
简直惊人的差距,比在NTFS下所用的时间要短的多。而且舒服的多,就是单核CPU也没有说硬件中断卡死的情况。
当时看着结束时间显示那霎那间,我就想到。LINUX可以说,是我们专业程序员所选择的最好的操作系统。程序员想要的东西在LINUX都能找的到,有些如鱼得水的感觉。为了程序跑的舒服,也得坚定的留在LINUX下。
因为这次数据提取脚本的事情,我把原来的二进制股票数据找出来,这些数据上证和深证每天的所有股票详细数据,一天的就是250M以上,上证深证各一,一年下来就是7个G。3年的数据下来20多个G。把以前的C语言代码在Linux下重新编译在Linux下分析。速度的提升也验证了Linux的整体系统尤其是文件系统的巨大优势。
普通用户我不敢多说,毕竟方便才是第一位的。好比双核CPU,这样的好硬件,好比LINUX,跑得这么稳定的操作系统,都不是普通用户能够完完全全用的上的。对于大众用户来说,够用就好。
对于专业用户来说,才是用的最好的硬件和系统。
我也建议公司的技术经理,放一个Linux系统的文件共享服务器。绝对比Windows的舒服。
我看很多人还在说Windows如何如何不好,这其实是片面的。Windows是针对的普通用户的方便操作,Windows再怎么漏洞多,病毒多,再怎么比Linux不好,但是我这么久Windows和Linux用下来,Windows还是最最方便操作,绝大多数的用户连Windows都了解得不透,更何况Linux?
操作系统用户群体80%以上的需要的是拿过来就能用的操作系统。可能看到我说80%这个数据有些不相信。我这么说,我上初中的时候接触的计算机,当时用的是联想的386,我今年27岁。按照年龄来说,我也算接触的时间比较长的,我的同龄人才是计算机的主要用户,比我稍大的很多人几乎不想研究计算机的东西,接触的少。比我稍小的可能有兴趣些,不过人又分男女,女孩子更不喜欢研究一些,我妹妹就装了Windows只是聊天上网听歌看书玩游戏。Windows足够了。像我爸爸妈妈这样的50多岁能用计算机的就是非常少的,我妈妈当初在医院工作就是用FoxBase写的仓库管理系统,算是接触计算机非常早的人了。
我以前去工厂,去其它地方给客户实施项目的时候更是深有体会,宁波厦门汕头珠海都去过,他们的Windows里面就那么几个软件,Windows都玩不转,Linux就甭多说了。Windows因为它的方便才有它巨大生存空间和客户群体。
Linux项目最好做的就是嵌入式开发,这个方面比Windows有优势,方便容易使用。
Linux灵活,自己修改配置文件无所不能配置,我曾经就看这文章调整Linux的字体整整一天,字看起来比Windows下舒服多了,不是很多人都有耐心一点点调整Linux的配置文件的。
而且Linux对中文支持一直都很差,我和朋友在Ubuntu6上的中文环境痛苦了很久,那时候一段时间天天的在MSN上交流。Ubuntu7的中文支持实在太好了,自从feisty这个版本出来,我就一直用这Ubuntu。
什么样的用户就选什么样的系统。我选择Linux,因为我在Linux下工作的经验,实际感觉到Linux的真正优势。
没办法,还得吃饭,要吃饭就得吃Windows编程这一行,因为用Windows的多,Windows编程的工作好找……而且薪水有10K哦。嘿嘿。
告诫诸位程序员同行,涉及到大规模的IO操作,如果Windows下消耗的时间不能承受,请选择Linux的文件系统,不管哪些都不错。
还好我电脑多,呵呵,不怕换操作系统,平时开着LINUX听歌,开Windows玩游戏。^_^
最后声明:原创文章,转载请注明出处:Ubuntu中文论坛。
工作原因,要根据以往的股票和期货数据来分析出数学模型来做套利。
这些数学模型来说,就是那些学数学的博士硕士的活,我是程序员,呵呵,我来写程序和脚本。
我有两台笔记本电脑,一台IBM T43P用来平时工作,装的是WindowsXP,我领一台IBM R52装的是LINUX,分区文件系统也都是LINUX支持的。
我要从3年的香港股票数据,根据同事列举的一个股票列表用某个工事来分析生成一个个专用的小文件。
3年的股票数据时36个CSV文件,也就是逗号分隔符文件,是纯文本文件。预估计要生成7200个文件,实际生成的是5800多个文件。需要不停的读写IO。
起初我写的是Perl脚本来读写,毕竟这个方便,但是IO有些慢,就改用C语言,其实也快不了多少。不过周末了,就把Perl脚本放到服务器上跑着,服务器是Win2003,是NTFS的文件系统,然后就度周末去了。呵呵。^_^
第二周回来,看了看结束时间,算了算使用时间,整整花了13个小时!我5点下班第二天早上6点才给处理完。
搞数学的同事稍微一改,我就又得跑脚本。本来以为是CPU的问题,单核CPU下的Windows显示硬件中断的CPU占有率一直100%。我找了双核CPU的机器,确实,双核CPU优势明显,提升的性能不是双倍这个概念,现在个人电脑使用起来,双核CPU几乎没有用武之地。
但,我找问题的方向似乎错了,CPU是不能提升IO操作的,要不就是带宽问题,要不就是文件系统本身的问题。
我拿了我的R52,上面Ubuntu我用的是XFS的文件系统,把股票数据拷过来。相同的Perl脚本仍在Linux下处理,处理完时间花了差不多8个小时。
简直惊人的差距,比在NTFS下所用的时间要短的多。而且舒服的多,就是单核CPU也没有说硬件中断卡死的情况。
当时看着结束时间显示那霎那间,我就想到。LINUX可以说,是我们专业程序员所选择的最好的操作系统。程序员想要的东西在LINUX都能找的到,有些如鱼得水的感觉。为了程序跑的舒服,也得坚定的留在LINUX下。
因为这次数据提取脚本的事情,我把原来的二进制股票数据找出来,这些数据上证和深证每天的所有股票详细数据,一天的就是250M以上,上证深证各一,一年下来就是7个G。3年的数据下来20多个G。把以前的C语言代码在Linux下重新编译在Linux下分析。速度的提升也验证了Linux的整体系统尤其是文件系统的巨大优势。
普通用户我不敢多说,毕竟方便才是第一位的。好比双核CPU,这样的好硬件,好比LINUX,跑得这么稳定的操作系统,都不是普通用户能够完完全全用的上的。对于大众用户来说,够用就好。
对于专业用户来说,才是用的最好的硬件和系统。
我也建议公司的技术经理,放一个Linux系统的文件共享服务器。绝对比Windows的舒服。
我看很多人还在说Windows如何如何不好,这其实是片面的。Windows是针对的普通用户的方便操作,Windows再怎么漏洞多,病毒多,再怎么比Linux不好,但是我这么久Windows和Linux用下来,Windows还是最最方便操作,绝大多数的用户连Windows都了解得不透,更何况Linux?
操作系统用户群体80%以上的需要的是拿过来就能用的操作系统。可能看到我说80%这个数据有些不相信。我这么说,我上初中的时候接触的计算机,当时用的是联想的386,我今年27岁。按照年龄来说,我也算接触的时间比较长的,我的同龄人才是计算机的主要用户,比我稍大的很多人几乎不想研究计算机的东西,接触的少。比我稍小的可能有兴趣些,不过人又分男女,女孩子更不喜欢研究一些,我妹妹就装了Windows只是聊天上网听歌看书玩游戏。Windows足够了。像我爸爸妈妈这样的50多岁能用计算机的就是非常少的,我妈妈当初在医院工作就是用FoxBase写的仓库管理系统,算是接触计算机非常早的人了。
我以前去工厂,去其它地方给客户实施项目的时候更是深有体会,宁波厦门汕头珠海都去过,他们的Windows里面就那么几个软件,Windows都玩不转,Linux就甭多说了。Windows因为它的方便才有它巨大生存空间和客户群体。
Linux项目最好做的就是嵌入式开发,这个方面比Windows有优势,方便容易使用。
Linux灵活,自己修改配置文件无所不能配置,我曾经就看这文章调整Linux的字体整整一天,字看起来比Windows下舒服多了,不是很多人都有耐心一点点调整Linux的配置文件的。
而且Linux对中文支持一直都很差,我和朋友在Ubuntu6上的中文环境痛苦了很久,那时候一段时间天天的在MSN上交流。Ubuntu7的中文支持实在太好了,自从feisty这个版本出来,我就一直用这Ubuntu。
什么样的用户就选什么样的系统。我选择Linux,因为我在Linux下工作的经验,实际感觉到Linux的真正优势。
没办法,还得吃饭,要吃饭就得吃Windows编程这一行,因为用Windows的多,Windows编程的工作好找……而且薪水有10K哦。嘿嘿。
告诫诸位程序员同行,涉及到大规模的IO操作,如果Windows下消耗的时间不能承受,请选择Linux的文件系统,不管哪些都不错。
还好我电脑多,呵呵,不怕换操作系统,平时开着LINUX听歌,开Windows玩游戏。^_^
最后声明:原创文章,转载请注明出处:Ubuntu中文论坛。
-
- 帖子: 54
- 注册时间: 2007-12-14 9:18
- ChloeRei
- 帖子: 1021
- 注册时间: 2007-11-23 9:49
-
- 帖子: 768
- 注册时间: 2006-09-20 19:56