mysql load data infile 命令的数据导入_MySQL, Oracle及数据库讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  MySQL, Oracle及数据库讨论区 »
总帖数
1
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 1724 | 回复: 0   主题: mysql load data infile 命令的数据导入        下一篇 
white
注册用户
等级:少校
经验:1327
发帖:305
精华:0
注册:2011-7-21
状态:离线
发送短消息息给white 加好友    发送短消息息给white 发消息
发表于: IP:您无权察看 2014-11-24 9:52:18 | [全部帖] [楼主帖] 楼主

文章介绍了mysql load data infile 命令的数据导入,该方式比直接的insert的效率要高,按照官方的说法是要比insert语句快上20倍,有需要的朋友可参考。

mysql>load data local infile "D:/ab.txt" into table mytbl(name,age);


如何load数据里面带反斜杠(backslash)”” 的数据

由于如果你没有指定FIELDS子句,则默认值为假设您写下如下语句时的值:

所以,如果你的数据里面有反斜杠(backslash)””的时候,数据会出现被截断的问题。出现这种问题,只要写上如下的fields子句即可

使用上述的命令就可以将D:/ab.txt文件的内容导入到表mytbl中,其中name和age是表mytbl的字段,对应ab.txt文件中每行的数据。如果编译安装mysql时没有指定–enable-local-infile,那么在使用上述命令时会报如下错误:

ERROR 1148 (42000): The used command is not allowed with this MySQL version


 解决方式有两种,一是重新编译安装加上上面的参数,而是直接用命令行执行,如下:

mysql -uroot -proot  mydb_name --local-infile=1 -e 'load data local infile "D:/ab.txt" into table mytbl(name,age)'


测试了一把,导入300万条数据时,使用load data命令的时间花销大概在3分钟左右

如何load的时候只insert特定的列
比如表里面有比元数据多的列。可以在load的时候指定要插入的字段名字。

示例的代码如下:

LOAD DATA INFILE '~/data.txt'
INTO TABLE fb0505
CHARACTER SET  gbk
FIELDS TERMINATED BY 't' ENCLOSED BY '' ESCAPED BY ''
LINES TERMINATED BY 'n' STARTING BY ''
(seller_id,fb_type,fb_date,item_url);


其中表fb0505里面还有一列是id。

建的表用的是MYISAM,调整了几个session的参数值

SET SESSION BULK_INSERT_BUFFER_SIZE=256217728;
SET SESSION MYISAM_SORT_BUFFER_SIZE=256217728;


--转自 北京联动北方科技有限公司




赞(0)    操作        顶端 
总帖数
1
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论