其实不算数据库,不过跟数据库有瓜葛
我从ms sql数据库导出了两份巨量数据CSV文件,其中一个有228万记录,177MB,另一个有1192万条记录,有1GB。
不管是Excel还是Libreoffice calc最大的行数是104行,肯定是不行的。
我使用文本编辑器打开时,使用vim毫不费力可以说是瞬时打开,使用geany打开时费了好长时间,差点以为是崩溃了。
我要把这些输入导入到sqlite,对sql命令还算熟悉,但对sqlite命令行一无所知。
一开始选择了SqliteStudio,导入时死机,真的死机,放了一夜一点进度没有,只见滚动条在滚动。
然后选择了Db browser for sqlite,又叫sqlite browser。还好,228万的记录已经导入完毕,1192万的记录目前进度30%
有些时候,还得看能够处理的数据量
大数据文件处理 琐记
- 百草谷居士
- 帖子: 3939
- 注册时间: 2006-02-10 16:36
- 系统: debian12/xubuntu2404
大数据文件处理 琐记
debian 12.5 / xubuntu 24.04
为何热衷于搞发行版的多,搞应用程序开发的少?Linux最多余的就是各种发行版,最缺的就是应用程序,特别是行业应用程序。
为何热衷于搞发行版的多,搞应用程序开发的少?Linux最多余的就是各种发行版,最缺的就是应用程序,特别是行业应用程序。
-
- 帖子: 210
- 注册时间: 2009-05-10 14:28
Re: 大数据文件处理 琐记
https://gist.github.com/esperlu/943776
这个链接的东西应该是更Linux吧
这个链接的东西应该是更Linux吧
- 百草谷居士
- 帖子: 3939
- 注册时间: 2006-02-10 16:36
- 系统: debian12/xubuntu2404
Re: 大数据文件处理 琐记
无法打开链接
debian 12.5 / xubuntu 24.04
为何热衷于搞发行版的多,搞应用程序开发的少?Linux最多余的就是各种发行版,最缺的就是应用程序,特别是行业应用程序。
为何热衷于搞发行版的多,搞应用程序开发的少?Linux最多余的就是各种发行版,最缺的就是应用程序,特别是行业应用程序。