hue是一个Apache基金会下的一个开源图形化管理工具，使用python语言开发，使用的框架是Django。而sqoop也是Apache的一个开源工具，是使用Java语言开发，主要用于进行hdfs和传统关系型数据库之间的数据传递。这两天在整合这两个工具的时候，遇到了一个问题，特此记录。

Hue版本是3.9.0，Sqoop版本是1.99.6，也就是最新版的Sqoop2。

把Hue和Sqoop安装好后，修改Hue配置文件，hue-3.9.0/desktop/conf/hue.ini

找到Sqoop的配置项：把sqoop的请求路径改成正式的URL。

# Sqoop server URLserver_url=http://ip:12000/sqoop

启动Hue、Sqoop，在Hue的管理页面中，可以新建、修改Sqoop的链接。但是在新建Sqoop的任务却报了错。

查看Sqoop的日志：sqoop-1.99.6-bin-hadoop200/server/logs/catalina.out

发现报了空指针异常：

java.lang.NullPointerException        at org.apache.sqoop.json.util.ConfigInputSerialization.restoreConfig(ConfigInputSerialization.java:160)        at org.apache.sqoop.json.util.ConfigInputSerialization.restoreConfigList(ConfigInputSerialization.java:129)        at org.apache.sqoop.json.JobBean.restoreJob(JobBean.java:179)        at org.apache.sqoop.json.JobBean.restore(JobBean.java:159)        at org.apache.sqoop.handler.JobRequestHandler.createUpdateJob(JobRequestHandler.java:169)        at org.apache.sqoop.handler.JobRequestHandler.handleEvent(JobRequestHandler.java:106) org.apache.sqoop.server.v1.JobServlet.handlePostRequest(JobServlet.java:91)        at org.apache.sqoop.server.SqoopProtocolServlet.doPost(SqoopProtocolServlet.java:63)        at javax.servlet.http.HttpServlet.service(HttpServlet.java:643)        at javax.servlet.http.HttpServlet.service(HttpServlet.java:723)        at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:290)        at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206)        at org.apache.hadoop.security.authentication.server.Authentication

找来Sqoop的源码，看到：

for (int i = 0; i < inputs.size(); i++) {      JSONObject input = (JSONObject) inputs.get(i);      MInputType type = MInputType.valueOf((String) input.get(ConfigInputConstants.CONFIG_INPUT_TYPE));      // 省略部分代码      .......      switch (type) {      case STRING: {        // 报错位置               long size = (Long) input.get(ConfigInputConstants.CONFIG_INPUT_SIZE);        mInput = new MStringInput(name, sensitive.booleanValue(), editable, overrides, (short) size);        break;      }    // 省略部分代码    ........}

ConfigInputConstants.CONFIG_INPUT_SIZE 是字符串常量“size”，看这个代码是在获取“size”的值的时候为空，null强转为Long类型的时候报错了。再根据报错信息往前看看JobBean类，这是在加载Hue传递过来的json数据，并设置到JobBean类中，下面是获取“from-config-values”的数据，也就是来源链接的相关信息了。

.......static final String FROM_CONFIG_VALUES = "from-config-values";......private MJob restoreJob(Object obj) {//省略部分代码......JSONArray fromConfigJson = (JSONArray) object.get(FROM_CONFIG_VALUES);//省略部分代码......// 报错点List
     
       fromConfig = restoreConfigList(fromConfigJson);//省略部分代码......}
     

　从上面分析看来，是Hue传递过来的from链接配置项，即“from-config-values”项没有“size”字段或者获取到的数据为空造成这个错误的。

而Sqoop关于这个接口的API：https://sqoop.apache.org/docs/1.99.3/RESTAPI.html#v1-job-post-create-job，给出的json格式是要求有“size”字段的。

//省略部分......    from-config-values: [      {        id: 2,        inputs: [          {            id: 2,            name: "fromJobConfig.inputDirectory",            value: "hdfs%3A%2F%2Fvbsqoop-1.ent.cloudera.com%3A8020%2Fuser%2Froot%2Fjob1",            type: "STRING",            size: 255,            sensitive: false          }        ],        name: "fromJobConfig",        type: "JOB"      }    ],//省略部分......

　来分析Hue是怎么使用这个接口的：hue-3.9.0/apps/sqoop/src/sqoop/api/job.py

　

@never_cachedef create_job(request):  # 省略部分代码  ......  d = json.loads(smart_str(request.POST['job']))  job = client.Job.from_dict(d)  try:    c = client.SqoopClient(conf.SERVER_URL.get(), request.user.username, request.LANGUAGE_CODE)    response['job'] = c.create_job(job).to_dict()  except RestException, e:    response.update(handle_rest_exception(e, _('Could not create job.')))  except SqoopException, e:    response['status'] = 100    response['errors'] = e.to_dict()  return JsonResponse(response)

最后看到了Hue对size进行了过滤处理：hue-3.9.0/apps/sqoop/src/sqoop/client/config.py

def to_dict(self):    d = {      'id': self.id,      'type': self.type,      'name': self.name,      'sensitive': self.sensitive,    }    if self.value:      d['value'] = self.value    if self.size != -1:      d['size'] = self.size    if self.values:      d['values'] = ','.join(self.values)    return d

Hue把size=-1的情况全部设置成空，然后Sqoop获取不到size的值，报了一个NullPointerException。

解决方法：修改config.py的to_dict方法，把size的过滤操作去掉就好了，如下：

def to_dict(self):    d = {      'id': self.id,      'type': self.type,      'name': self.name,      'sensitive': self.sensitive,    }    if self.value:      d['value'] = self.value    d['size'] = self.size    if self.values:      d['values'] = ','.join(self.values)    return d

如果这里把size设置成一个常量，那么可能会造成一个org.apache.sqoop.server.common.ServerError错误，其实就是Sqoop根据Hue传递过来的参数获取到的来源链接、目的链接

或者是驱动配置跟Sqoop的不一致造成的。