英卡数据流竞赛
使用datax工具,将sample.txt转存到MongoDB服务器。
# su - root
sh> cd ~/datax/bin
sh> python ./datax.py ~/datax-job/txt2mongo.json
# 1200w result
2020-03-01 20:27:24.351 [job-0] INFO JobContainer - PerfTrace not enable!
2020-03-01 20:27:24.351 [job-0] INFO StandAloneJobContainerCommunicator - Total 12000000 records, 766222833 bytes | Speed 4.87MB/s, 80000 records/s | Error 0 records, 0 bytes | All Task WaitWriterTime 102.529s | All Task WaitReaderTime 17.652s | Percentage 100.00%
2020-03-01 20:27:24.352 [job-0] INFO JobContainer -
任务启动时刻 : 2020-03-01 20:24:54
任务结束时刻 : 2020-03-01 20:27:24
任务总计耗时 : 150s
任务平均流量 : 4.87MB/s
记录写入速度 : 80000rec/s
读出记录总数 : 12000000
读写失败总数 : 0
# 1.5亿 result
2020-03-02 10:40:56.669 [job-0] INFO JobContainer - PerfTrace not enable!
2020-03-02 10:40:56.669 [job-0] INFO StandAloneJobContainerCommunicator - Total 151438501 records, 9824693860 bytes | Speed 4.85MB/s, 78465 records/s | Error 3 records, 78 bytes | All Task WaitWriterTime 1,351.966s | All Task WaitReaderTime 257.380s | Percentage 100.00%
2020-03-02 10:40:56.676 [job-0] INFO JobContainer -
任务启动时刻 : 2020-03-02 10:08:46
任务结束时刻 : 2020-03-02 10:40:56
任务总计耗时 : 1930s
任务平均流量 : 4.85MB/s
记录写入速度 : 78465rec/s
读出记录总数 : 151438501
读写失败总数 : 3