spark批量插入hbase

问题描述

当rdd是自定义的list的时候可以这么写valrdd=List((1,"lilei",14),(2,"hanmei",18),(3,"someone",38))vallocalData=sc.parallelize(rdd).map(convert)localData.saveAsHadoopDataset(jobConf)defconvert(triple:(String,String,String))={valp=newPut(Bytes.toBytes(triple._1))p.addColumn(Bytes.toBytes("cf"),Bytes.toBytes("name"),Bytes.toBytes(triple._2))p.addColumn(Bytes.toBytes("cf"),Bytes.toBytes("age"),Bytes.toBytes(triple._3))(newImmutableBytesWritable,p)}那读一个hdfs上的文件的时候要怎么转换？那在千万条数据的情况下需要怎么设置么？0.98的可以设置不自动提交而是5M一提但是1.0以后好像没有那个方法了啊

解决方案

解决方案二：
saveAsHadoopDataset，有这个方法么？我在API文档中没有看到这个函数呢可不可以使用mapPartition方法，然后在里面把一个partition中的数据存入一个List中，然后将此list插入hbase中
解决方案三：
那读一个hdfs上的文件的时候要怎么转换？如果这样，可以直接试验下：hbaseorg.apache.hadoop.hbase.mapreduce.ImportTsv

时间： 2025-01-02 15:26:53

spark批量插入hbase的相关文章

如何提高spark批量读取HBase数据的性能

问题描述 Configurationconf=HBaseConfiguration.create();StringtableName="testTable";Scanscan=newScan();scan.setCaching(10000);scan.setCacheBlocks(false);conf.set(TableInputFormat.INPUT_TABLE,tableName);ClientProtos.Scanproto=ProtobufUtil.toScan(scan)

rror 1615 tate 000-jdbc定时批量插入数据报错

问题描述 jdbc定时批量插入数据报错 错误提示如下: Dec 19 2014 12:20:00 AM org.hibernate.util.JDBCExceptionReporter logExceptionsWARNING: SQL Error: 1615 SQLState: HY000Dec 19 2014 12:20:00 AM org.hibernate.util.JDBCExceptionReporter logExceptionsWARNING: SQL Error: 1615 S

Excel批量插入多行的方法

  当插入一行后,直接按重复上一次操作(F4),EXCEL就会一直插入新行,但是如果要插入100行呢?1000行呢?你一直按F4?手指头都会骨折的.所以用批量插入多行的方法就不会费力不讨好了,批量插入多行的操作如下:

Excel中如何批量插入多行

  在使用EXCEL时一定会遇到这样的问题--那就是插入行,右键→插入,如图: 有人可能觉得,这插入行也太简单了吧.简直是人都会操作,还需要教什么啊. 如何插入多行呢?有人也许会说"简单,重复上一次操作就可以啦!"也行,按F4重复上一次操作也能勉强实现,看动画: 当插入一行后,直接按重复上一次操作(F4),EXCEL就会一直插入新行,好了,问题来了,然后要插入100行呢?1000行呢?你一直按F4?手指头会骨折的~~~~~,批量插入多行的正解如下:

PPT批量插入图片

如果要往PowerPoint中插入几十甚至几百 张图片,并且要求每张图片插入到每张幻灯片页面上(即有几张照片就要有几张幻灯片)你会怎么做?按照常用的方法点击"插入→图片→来自文件"菜单命令,然 后一个一个选择需要的图片,或者点击"格式→背景"命令,将图片作为PowerPoint的背景导入,这样也太浪费时间了! 在这种情况下,我们可以借助PowerPoint强大的宏功能,将多步操作合并为一步,批量插入图片. 第一步:首先准备好图片,假设在C盘下面的Pictures文件

MYSQL批量插入数据库实现语句性能分析

  假定我们的表结构如下 代码如下   CREATE TABLE example ( example_id INT NOT NULL, name VARCHAR( 50 ) NOT NULL, value VARCHAR( 50 ) NOT NULL, other_value VARCHAR( 50 ) NOT NULL ) 通常情况下单条插入的sql语句我们会这么写: 代码如下   INSERT INTO example (example_id, name, value, other_valu

教你怎样批量插入幻灯片

使用PowerPoint制作PPT过程中,有时需要在PPT文稿中插入多张幻灯片.如果一张一张地插入,会很麻烦.可以通过"重用幻灯片"对话框实现这个目的, (1)选择要插入幻灯片的位置,单击"开始"选项卡>"幻灯片"组>"新建幻灯片"下拉按钮,在打开的下拉列表中选择"重用幻灯片"选项,如图4-25所示. (2)在打开的"重用幻灯片"对话框中,单击"浏览"按钮

codeigniter框架批量插入数据

 本文介绍codeigniter框架批量插入数据的实例,优化了其中的插入算法,大家参考使用吧   代码如下: $sub_form = array();   $loop = 0;   $ins_loop = 0;   $sum = count($form_datas);   $this->logger->info('insert data total:'.$sum);   //使用事物批量导入有助于提高插入效率   $callStartTime = microtime(true);   $thi

MyBatis魔法堂：Insert操作详解（返回主键、批量插入）

一.前言      数据库操作怎能少了INSERT操作呢?下面记录MyBatis关于INSERT操作的笔记,以便日后查阅.   二. insert元素 属性详解   其属性如下:    parameterType ,入参的全限定类名或类型别名    keyColumn ,设置数据表自动生成的主键名.对特定数据库(如PostgreSQL),若自动生成的主键不是第一个字段则必须设置    keyProperty ,默认值unset,用于设置getGeneratedKeys方法或selectKey子元