大数据文件处理 琐记

Web、Mail、Ftp、DNS、Proxy、VPN、Samba、LDAP 等基础网络服务
回复
头像
百草谷居士
帖子: 3910
注册时间: 2006-02-10 16:36
系统: Mint21.1/Deepin20.8

大数据文件处理 琐记

#1

帖子 百草谷居士 » 2018-07-11 15:15

其实不算数据库,不过跟数据库有瓜葛

我从ms sql数据库导出了两份巨量数据CSV文件,其中一个有228万记录,177MB,另一个有1192万条记录,有1GB。
不管是Excel还是Libreoffice calc最大的行数是104行,肯定是不行的。
我使用文本编辑器打开时,使用vim毫不费力可以说是瞬时打开,使用geany打开时费了好长时间,差点以为是崩溃了。
我要把这些输入导入到sqlite,对sql命令还算熟悉,但对sqlite命令行一无所知。
一开始选择了SqliteStudio,导入时死机,真的死机,放了一夜一点进度没有,只见滚动条在滚动。
然后选择了Db browser for sqlite,又叫sqlite browser。还好,228万的记录已经导入完毕,1192万的记录目前进度30%

有些时候,还得看能够处理的数据量
debian 12 / 深度系统 20.9 / Mint 21.3

为何热衷于搞发行版的多,搞应用程序开发的少?Linux最多余的就是各种发行版,最缺的就是应用程序,特别是行业应用程序。
Thanksgiving
帖子: 210
注册时间: 2009-05-10 14:28

Re: 大数据文件处理 琐记

#2

帖子 Thanksgiving » 2018-07-16 23:57

https://gist.github.com/esperlu/943776
这个链接的东西应该是更Linux吧
头像
百草谷居士
帖子: 3910
注册时间: 2006-02-10 16:36
系统: Mint21.1/Deepin20.8

Re: 大数据文件处理 琐记

#3

帖子 百草谷居士 » 2018-07-17 12:33

无法打开链接
debian 12 / 深度系统 20.9 / Mint 21.3

为何热衷于搞发行版的多,搞应用程序开发的少?Linux最多余的就是各种发行版,最缺的就是应用程序,特别是行业应用程序。
回复