Veronica

首先这个项目参考了

• spark sql在喜马拉雅的使用之xql
• StreamingPro
• 还有一个 IQL 的项目使用了类似的语法，可以参考
• 没有使用Scala，而是使用了Python来实现功能，主要基于pyspark2.3.0

主要特点

• 简单优雅的交互方式
• 会支持多种数据源及数据格式
• 支持批处理以及流式计算
• 通过web常驻spark服务，可配合前后端形成一整套大数据体系
• 侧重点会放在ML机器学习上，通过Python与各种MLLib无缝连接

Quick-start

-- 设置一些全局的变量供后续使用
set data_dir = "/home/w4n9/Code/Github/veronica/xql";

-- 加载数据,映射为spark dataframe
load csv.`{data_dir}/test.csv` as temp1;

-- 对数据做一些预处理
select split(_c0," ") as words from temp1 as temp2;

-- 使用word2vec算法训练模型，并保存在目录中
train temp2 as word2vec.`{data_dir}/model` where inputCol="words" and minCount="2";

-- 将模型注册为一个UDF函数
register word2vec.`{data_dir}/model` as w2v_predict;

-- 使用模型开始预测
select words[0] as w, w2v_predict(words[0]) as v from temp2 as result;

-- 将预测结果以json的形式保存起来
save overwrite result as json.`{data_dir}/predict`;

可以看一下结果

项目还处在开发中，整体框架还未完善，暂时只能提供最简单的功能