大数据文件处理 琐记
发表于 ： 2018-07-11 15:15
其实不算数据库，不过跟数据库有瓜葛
我从ms sql数据库导出了两份巨量数据CSV文件，其中一个有228万记录，177MB，另一个有1192万条记录，有1GB。
不管是Excel还是Libreoffice calc最大的行数是104行，肯定是不行的。
我使用文本编辑器打开时，使用vim毫不费力可以说是瞬时打开，使用geany打开时费了好长时间，差点以为是崩溃了。
我要把这些输入导入到sqlite，对sql命令还算熟悉，但对sqlite命令行一无所知。
一开始选择了SqliteStudio，导入时死机，真的死机，放了一夜一点进度没有，只见滚动条在滚动。
然后选择了Db browser for sqlite，又叫sqlite browser。还好，228万的记录已经导入完毕，1192万的记录目前进度30%
有些时候，还得看能够处理的数据量
我从ms sql数据库导出了两份巨量数据CSV文件，其中一个有228万记录，177MB，另一个有1192万条记录，有1GB。
不管是Excel还是Libreoffice calc最大的行数是104行，肯定是不行的。
我使用文本编辑器打开时，使用vim毫不费力可以说是瞬时打开，使用geany打开时费了好长时间，差点以为是崩溃了。
我要把这些输入导入到sqlite，对sql命令还算熟悉，但对sqlite命令行一无所知。
一开始选择了SqliteStudio，导入时死机，真的死机，放了一夜一点进度没有，只见滚动条在滚动。
然后选择了Db browser for sqlite，又叫sqlite browser。还好，228万的记录已经导入完毕，1192万的记录目前进度30%
有些时候，还得看能够处理的数据量