[dolphinscheduler-task-api] 数据库名前缀通过参数传入前缀多了单引号

[zsl461975543]

dolphinscheduler 版本为：3.1.6
对应的jar #包：dolphinscheduler-task-api-3.1.6.jar

*********** background ******************

1. 公司开发和生产环境只有一套Clickhouse 作为数据仓库，需要兼容多国家版本业务（每个国家的数据库名和表名都是相同的），想通过一个脚本或任务来适配各个国家的数据仓库建模操作（想通过数据库前缀来区分，如：尼日利亚 前缀为ng_数据库名.表名， 肯尼亚 前缀为ke_数据库名.表名）
2. 当执行时：通过参数进行传递“多国家变量”，数据的“开始时间”，数据的“结束时间” ，即：country=ng_, begin_date=2023-06-03,end_date=2023-06-04
3. 期望执行的sql:
   尼日利亚：ALTER TABLE ng_nrt.p_player DELETE WHERE toDate(register_date) >= '2023-06-03' and toDate(register_date) <= '2023-06-04'
   肯尼利亚：ALTER TABLE ke_nrt.p_player DELETE WHERE toDate(register_date) >= '2023-06-03' and toDate(register_date) <= '2023-06-04'
   但实际得到的是：（数据库前缀多了单引号），导致执行出错
   尼日利亚：ALTER TABLE 'ng_'nrt.p_player DELETE WHERE toDate(register_date) >= '2023-06-03' and toDate(register_date) <= '2023-06-04'
   肯尼利亚：ALTER TABLE 'ke_'nrt.p_player DELETE WHERE toDate(register_date) >= '2023-06-03' and toDate(register_date) <= '2023-06-04'
4. 查看源码：
   类 org.apache.dolphinscheduler.plugin.task.api.parser.ParameterUtils
   方法：setInParameter 解析DataType.VARCHAR 的时候，按照字符串进行处理（Property 类的value 为String）
   类 org.apache.dolphinscheduler.plugin.task.sql.SqlTask
   方法：prepareStatementAndBind
   ParameterUtils.setInParameter(entry.getKey(), stmt, prop.getType(), prop.getValue()）

不知道该如何应对这样的场景？

************************ERROR log info **********************
[INFO] 2023-06-13 11:32:11.002 +0000 TaskLogLogger-class org.apache.dolphinscheduler.plugin.task.sql.SqlTask:[123] - [WorkflowInstance-21][TaskInstance-29] - Full sql parameters: SqlParameters{type='CLICKHOUSE', datasource=2, sql='ALTER TABLE ${country}nrt.p_player DELETE WHERE toDate(register_date) >= ${begin_date} and toDate(register_date) <= ${end_date}', sqlType=1, sendEmail=null, displayRows=10, limit=0, segmentSeparator=, udfs='null', showType='null', connParams='null', groupId='0', title='null', preStatements=[], postStatements=[]}
[INFO] 2023-06-13 11:32:11.002 +0000 TaskLogLogger-class org.apache.dolphinscheduler.plugin.task.sql.SqlTask:[124] - [WorkflowInstance-21][TaskInstance-29] - sql type : CLICKHOUSE, datasource : 2, sql : ALTER TABLE ${country}nrt.p_player DELETE WHERE toDate(register_date) >= ${begin_date} and toDate(register_date) <= ${end_date} , localParams : [],udfs : null,showType : null,connParams : null,varPool : [] ,query max result limit 0

[INFO] 2023-06-13 11:32:11.013 +0000 TaskLogLogger-class org.apache.dolphinscheduler.plugin.task.sql.SqlTask:[374] - [WorkflowInstance-21][TaskInstance-29] - prepare statement replace sql : ALTER TABLE ?nrt.p_player DELETE WHERE toDate(register_date) >= ? and toDate(register_date) <= ?, sql parameters : {1=Property{prop='country', direct=IN, type=VARCHAR, value='ng_'}, 2=Property{prop='begin_date', direct=IN, type=VARCHAR, value='2023-06-01'}, 3=Property{prop='end_date', direct=IN, type=VARCHAR, value='2023-06-10'}}

[ERROR] 2023-06-13 11:10:31.026 +0000 TaskLogLogger-class org.apache.dolphinscheduler.plugin.task.sql.SqlTask:[219] - [WorkflowInstance-18][TaskInstance-24] - execute sql error: Code: 62. DB::Exception: Syntax error: failed at position 13 (''ng_''): 'ng_'nrt.p_player DELETE WHERE toDate(register_date) >= '2023-06-01' and toDate(register_date) <= '2023-06-10'. Expected identifier. (SYNTAX_ERROR) (version 22.7.1.1032 (official build))

[fuchanghai]

这个东西，可以修改代码，加个配置参数，来判断是否要加双引号吧。或者学mysql plus 用# 和$区分,你觉得怎么样？cc @ruanwenjun @davidzollo

[davidzollo]

你需要扩展一下 SQL 任务类型，将 数据源实例 变为参数传进来，结合参数传递 + 子工作流使用！

---

You need to extend the SQL task type, pass the data source instance into a parameter, and use it in combination with parameter passing + subworkflow!

[louislu007]

我也遇到类似的问题，3.2.2，平台依然没有；请问楼主是怎么解决的？