Я ищу клиентский драйвер jdbc, поддерживающий Spark SQL.
До сих пор я использовал Jupyter для выполнения операторов SQL в Spark (работающий в HDInsight), и я хотел бы иметь возможность подключаться с помощью JDBC, чтобы вместо этого я мог использовать сторонние клиенты SQL (например, SQuirreL, SQL Explorer и т. Д.) интерфейса ноутбука.
Я нашел драйвер ODBC от Microsoft, но это не помогает мне с клиентами SQL на основе Java. Я также попытался загрузить драйвер Hive jdbc из своего кластера, но драйвер Hive JDBC, похоже, не поддерживает более продвинутые функции SQL, чем Spark. Например, драйвер Hive жалуется на то, что не поддерживает операторы соединения, которые не являются равными соединениями, и я знаю, что это поддерживаемая функция Spark, поскольку я успешно выполнил тот же SQL в Jupyter.
/usr/jdk64/jdk1.7.0_67/bin/java -cp $SPARK_HOME/conf/:$SPARK_HOME/lib/spark-assembly-1.6.1-hadoop2.6.0.jar:$SPARK_HOME/lib/datanucleus-api-jdo-3.2.6.jar:$SPARK_HOME/lib/datanucleus-rdbms-3.2.9.jar:$SPARK_HOME/lib/datanucleus-core-3.2.10.jar:/usr/hdp/current/hadoop-client/conf/ -Xms1g -Xmx1g -XX:MaxPermSize=256m org.apache.hive.beeline.BeeLine
может быть, в одной из этих банок есть магия - person lockwobr   schedule 13.06.2016