Spark Thriftserver执行SQL查询结果字符串字段显示异常问题

问题描述

spark从1.3.0升级到spark1.5.1之后，数据从protobuffer解析成java对象是正常的，将java对象转换成dataframe，注册成临时表，查询临时表，所有的字符串显示异常了。到spark-shell上使用sparksql执行相同sql，显示结果正常。请大牛帮忙定位一下问题，谢谢！1>解析结果：正常2>解析之后的使用sparkcontext将数据转为dataframe，注册成l临时表数据，查询异常：3>入库之后查询：异常4>spark-shell上使用hivecontext执行相同sql，查询结果显示正常：

解决方案

本帖最后由 schumee 于 2015-11-27 17:23:33 编辑

时间： 2024-08-01 15:39:20

Spark Thriftserver执行SQL查询结果字符串字段显示异常问题的相关文章

详解MyBatis直接执行SQL查询及数据批量插入_java

一.直接执行SQL查询: 1.mappers文件节选 <resultMap id="AcModelResultMap" type="com.izumi.InstanceModel"> <result column="instanceid" property="instanceID" jdbcType="VARCHAR" /> <result column="insta

dataset-C#执行SQL查询Access，，求大神指点

问题描述 C#执行SQL查询Access,,求大神指点 select ForceArea,UnifiedCode_5,(adminArea_8 & adminArea_81) as local,location_71,location_72 from Debris_flow_1 用C#执行这段sql语句的时候,将结果赋值给DataSet,access数据库可以执行,可是在程序里就不执行了,其中要注意哪些??求大神指点 public static DataSet DS(string SQL) {

jsp执行sql查询并取出结果 怎么实现循环遍历？求例子 初学

问题描述 jsp执行sql查询并取出结果 怎么实现循环遍历?求例子 初学 如题 sql表中有很多很多数据,想要查询并用表格的形式来显示出结果 已经连接上了数据库,可以执行查询语句,就是不知道该用什么方式把整个语句查询语句结果传递到显示结果的页面并且以表格的形式展现出来 String all="select sum(iNumb) as iNumbHj,sum (rMoney) as rMoneyHj from [Data_ShopDailyBill_View] group by sShopCode

javascript-onchange获得的value，如何用value去执行SQL查询。

问题描述 onchange获得的value,如何用value去执行SQL查询. 通过选择科室,用onchange获得了科室的value可以输出到文本框,但我需要使用这个获得的value去做SQL查询在相应的文本框中显示,如何实现. 代码如下: <script src="js/jquery.min.js" type="text/javascript"></script> <script src="js/turn.js"

sql查询语句中字段和要查询的内容都为变量的参数化写法

问题描述 DimcnAsNewSqlClient.SqlConnection(cnStr)DimsqlAsString="Select*From员工信息where"&PnodeText&"=@Node"Dimcmd=NewSqlClient.SqlCommand(sql,cn)DimdaAsNewSqlClient.SqlDataAdapter(cmd)'定义sqldataadapter并于sqlcommand连接Dimds=NewDataSet()

SQL Server之指定字段显示固定的长度

  SQLserver之指定字段显示固定的长度,这个平时显示数据的时候经常用到,但是记性不好,经常忘记. 故写于此,以便有用的时候捡起来. 这里举个例子,如有一个Article表,里面有3个字段 展示的时候因为某些原因,标题,内容不能显示过长,这里设置不能超过11个,其余用"..."代替,内容文字不能超过30个,否则用"..."代替: select ArticleTitle= case when len(ArticleTitle)>11 then substr

使用模板执行SQL查询

sql|模板|执行 A.创建包含简单Select语句的模板文件. <?xml version="1.0" encoding="UTF-8"?><root xmlns:sql="urn:schemas-microsoft-com:xml-sql"><sql:query> select top 10 customerid,companyname from customers for xml auto</sql

sql 查询复数据并显示语句

   //方法二    select name,content,imgurl,synops教程is from ( select name,content,imgurl,synopsis ,row_number() over (partition by name order by content) as rn from table1 ) t where t.rn=1 //方法二 if object_id('[tb]') is not null drop table [tb] create tabl

优化-PLsql 执行sql语句查询超时

问题描述 PLsql 执行sql语句查询超时 sql查询语句中字段有几十个,并且有大量的聚合函数,求最大最小值,求和之类的 ,表中数据量非常多,也建了索引,在PLsql 中执行sql语句,一直在执行,强行停止停止不下来, 怎么处理,sql语句怎么优化,数据库是不是有点问题啊 解决方案 ··· 起码把代码发上来给大家看看吧! (/ □ ) 解决方案二: 聚合函数对效率影响应该不是很大,你看看是不是子查询很多,尽量优化一下.如果不是这种情况,可以考虑索引,或者扩展数据库使用的内存大小.希望能帮到你!