[spark]WordCount问题，输出结果总是不对，求帮忙

问题描述

进入spark-shell，进行测试：输入，然后执行：，输出结果总是1，无语，折腾了我好久，已疯，希望大神们帮个忙！！！下面是我的hdfs文件：，从最后一图看，单词数那么多，怎么也不是一个啊

解决方案

解决方案二：
你好，你这样统计的并不是单词的个数，而是rdd的个数，你需要这样做：valwords=readmeFile.flatMap(_.split(""))valwordCounts=words.map(x=>(x,1)).reduceByKey(_+_)wordCounts.print()这样才是统计单词的个数。可以加入spark技术交流群366436387，共同交流学习。
解决方案三：
如图，计算的是行数，不是单词数
解决方案四：
你这个语句就是读取这个文件，文件只有一行textFile就是默认以回车换行符作为默认分割，因此输出值为1valwords=readmeFile.flatMap(_.split(""))valwordCounts=words.map(x=>(x,1)).reduceByKey(_+_)

时间： 2024-10-25 00:16:00

[spark]WordCount问题，输出结果总是不对，求帮忙的相关文章

for-link一个简单的程序，输出结果为什么不对？谢谢

问题描述 link一个简单的程序,输出结果为什么不对?谢谢 public static void Main() { for (int i=1;i<=100;i++) { for(int j=2;j<i;j++) { if (i % j != 0) Console.WriteLine(i); } } } 解决方案 求素数? public static void Main() { for (int i=2;i<=100;i++) { bool bPrime = true; for(int j

算法语言-为什么按照注释覅的那样写，输出的结果不对？？

问题描述 为什么按照注释覅的那样写,输出的结果不对?? void Resolve(LinkList &LALinkList &LBLinkList &LC){ struct LNode *pa*pb*pc; pa=LA->next; LB=new LNode; LC=new LNode;//要生成两个新的头结点!!! //LB=LC=LA;//不能这样写,这样写最后输出的LB和LChi一样的表,居然会一样??为什么?? pb=LB; pc=LC; struct LNode *

对java中递归问题的输出不理解，求大神解答！谢谢

问题描述 对java中递归问题的输出不理解,求大神解答!谢谢 对于这一段代码我能够理解,压栈然后出栈就是6,5,4 package recursion; public class testRecursion { public static void main(String[] args) { int num=3; recursion(num); } private static void recursion(int n){ n++; if(n<7){ recursion(n); System.o

verilog-这段代码是计算两个数相除，不能输出正确结果，求问错在哪里

问题描述 这段代码是计算两个数相除,不能输出正确结果,求问错在哪里 module divide_16bits(op1,op2,result ); input [15:0] op1; input [15:0] op2; output reg [15:0] result; reg error; integer p,q,r; reg [15:0] temp; reg [15:0] add_result; always @(op1 or op2) begin assign error = ~{|{op2

c-关于重复输出的问题，求大神帮我看看

问题描述 关于重复输出的问题,求大神帮我看看 #include<stdio.h>int main(){ for(int i=1;i<=46;i++){ for(int j=i+2;j<=48;j++){ //for(int num1=i;num1<=46;num1++) //为什么这两行写了就会出来很多重复的呢? //for(int num2=j;num2<=48;num2++) int change=0; change=i*(i+1)-i-i-1; change+=j

内存分配-@数据结构大神，链接两个循环链表，第44行为何不对?求解释~

问题描述 @数据结构大神,链接两个循环链表,第44行为何不对?求解释~ include include typedef struct Node { char data; struct Node *next; }Node,*Linklist;//先定义.后使用 int len; Linklist Createlist(int *array,int len) { Linklist head,temp,ptr; int i; head=(Node*)malloc(sizeof(Node)); if(!

application-无warning无error，但不知为何没有输出的代码，求指点~

问题描述 无warning无error,但不知为何没有输出的代码,求指点~ #include HINSTANCE hInst; HINSTANCE hInstance; MSG msg; char lpszClassName[]="window_class"; char* ShowText; //TCHAR *ShowText; //声明函数原型 LRESULT CALLBACK WndProc(HWND,UINT,WPARAM,LPARAM);//窗口函数 void OnLButto

c-循环写法为什么输出值不同，求自然数立方和大于1000000时的值

问题描述 循环写法为什么输出值不同,求自然数立方和大于1000000时的值 1.main() { int i, sum = 0; for (i = 1; sum < 1000000; i++) { sum = sum + i*i*i; } printf("%d",i); system("pause"); } 输出46 2.main() { int i, sum = 0; for (i = 1; ; i++) { sum = sum + i*i*i; if (s

数据库-sap hana创建存储过程之后调用出问题了 说我数据数量或类型参数不对 求大神解答

问题描述 sap hana创建存储过程之后调用出问题了 说我数据数量或类型参数不对 求大神解答 wrong number or types of parameters in call: OUT_ROUTE is not bound: line 1 col 6 (at pos 5)! 不知道这个错误该怎么解决 解决方案 已解决 正确方式如下 CALL "TRAFFIC"."SINGELROUTE" ('安美居','张家口',?) 解决方案二: SAP HANA.BO交

关于java中NullPointerException，求帮忙——来自java菜鸟的呼声

问题描述 关于java中NullPointerException,求帮忙--来自java菜鸟的呼声 package test1; import java.util.HashMap; import java.util.Iterator; import java.util.Map; import java.util.Random; import java.util.Set; public class CountNumber //对数字进行计数并统计出每个数字出现的次数 { public static