版权声明:本文为博主原创文章,未经博主同意不得转载。 https://blog.csdn.net/zbf8441372/article/details/24726501

关于flare-spork

非常早曾经有个 Pig Spork分支。尝试把Pig迁移到Spark上。可是代码非常久没有更新了。

眼下Pig on Spark应该是在Twitter内部进行着。

SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。
flare-spork是基于Spork对Pig和Spark的衔接。把Spark部分的代码迁移到了Pig 0.12.0上,而且升级了依赖和版本号,升级为Scala 2.10.3,Spark 0.9.1,且兼容Hadoop 2.2.0。
眼下项目在Github上, 地址。打算參考Spork已经做的一些东西。继续Pig on Spark的开发。


Github上的内容已经是merge进Pig 0.12.0的Spork版本号了。能够编译和执行。

很多其它细节的内容能够參考里面的README。有介绍怎样编译。有什么改变,能跑什么样的简单demo。



扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄