b********1 发帖数: 291 | 1 你们都是聪明人,谁能帮忙写个例子。 就算是1对多的join.
a的变量假设是var1, var2,var3
b的变量假设是var4,var5,var6
假设var1,var4是primary key, foreign key的关系。
不管是用scala, python 还是rdd spark.
我打算先看懂哪个就学哪个.
本人编程零基础, 只会写query.
说穿了,我就是想要 create table c as
select a.*, b.var5, b.var6
from a
join b
on a.var1=b.var4
然后把c下载到excel里面看看.
网上看了半天教程, 都是天马行空的东西。
我就奇了怪了, 这么简单的事情,hadoop上怎么就这么难实现? | l*******m 发帖数: 1096 | 2 spark 是可以写sql的
【在 b********1 的大作中提到】 : 你们都是聪明人,谁能帮忙写个例子。 就算是1对多的join. : a的变量假设是var1, var2,var3 : b的变量假设是var4,var5,var6 : 假设var1,var4是primary key, foreign key的关系。 : 不管是用scala, python 还是rdd spark. : 我打算先看懂哪个就学哪个. : 本人编程零基础, 只会写query. : 说穿了,我就是想要 create table c as : select a.*, b.var5, b.var6 : from a
| b********1 发帖数: 291 | 3 谢。 你们成天几个争论这个语言长 那个语言短的 有时间上来比划比划。
我来做个裁判,看看哪个语言简洁漂亮 。
零基础的人能捉摸懂得语言才是好语言 。
【在 l*******m 的大作中提到】 : spark 是可以写sql的
| g*****g 发帖数: 34805 | 4 就写sql就行。
http://spark.apache.org/sql/
【在 b********1 的大作中提到】 : 你们都是聪明人,谁能帮忙写个例子。 就算是1对多的join. : a的变量假设是var1, var2,var3 : b的变量假设是var4,var5,var6 : 假设var1,var4是primary key, foreign key的关系。 : 不管是用scala, python 还是rdd spark. : 我打算先看懂哪个就学哪个. : 本人编程零基础, 只会写query. : 说穿了,我就是想要 create table c as : select a.*, b.var5, b.var6 : from a
| x***4 发帖数: 1815 | 5 你是来问问题还是当裁判的?诚恳一点好不好。
【在 b********1 的大作中提到】 : 谢。 你们成天几个争论这个语言长 那个语言短的 有时间上来比划比划。 : 我来做个裁判,看看哪个语言简洁漂亮 。 : 零基础的人能捉摸懂得语言才是好语言 。
| l******t 发帖数: 55733 | | z****e 发帖数: 54598 | 7 其实对于vert.x的file system来说,这个join很容易实现
就是内存中的io而已,hadoop是google,不搞点东西忽悠你怎么行?
hdfs这些就是ejb
还有一个就是,太简单傻瓜的东西,一般都是收费的
这里面有市场,因为不会写代码的傻瓜太多了
人家也没有义务来伺候傻瓜,除非给钱 | l*******m 发帖数: 1096 | 8 我给你写一个吧
scala> val tableA = sc.parallelize(List((1, 5), (2, 3), (2, 1))).toDF("id", "
value")
tableA: org.apache.spark.sql.DataFrame = [id: int, value: int]
scala> tableA.show()
+--+-----+
|id|value|
+--+-----+
| 1| 5|
| 2| 3|
| 2| 1|
+--+-----+
scala> val tableB = sc.parallelize(List((1, "A"), (2, "B"))).toDF("id", "
name")
tableB: org.apache.spark.sql.DataFrame = [id: int, name: string]
scala> tableB.show
+--+----+
|id|name|
+--+----+
| 1| A|
| 2| B|
+--+----+
scala> tableA.join(tableB, "id").show()
+--+-----+----+
|id|value|name|
+--+-----+----+
| 1| 5| A|
| 2| 3| B|
| 2| 1| B|
+--+-----+----+
【在 b********1 的大作中提到】 : 谢。 你们成天几个争论这个语言长 那个语言短的 有时间上来比划比划。 : 我来做个裁判,看看哪个语言简洁漂亮 。 : 零基础的人能捉摸懂得语言才是好语言 。
|
|