跳至主要內容
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?

4563博客

全新的繁體中文 WordPress 網站
  • 首頁
  • hive 是否支持从 hdfs 以外的数据源读取数据?
未分類
28 5 月 2020

hive 是否支持从 hdfs 以外的数据源读取数据?

hive 是否支持从 hdfs 以外的数据源读取数据?

資深大佬 : leavan 1

是这样的,我现在有一个需求就是在 hivesql 中把某个 partition_key 列举出来,比如对于表 t

CREATE TABLE t (   num int) PARTITIONED BY (   p1 string,   p2 string); 

我需要把 p1 确定的情况下的 p2 列举出来,比如

select distinct(p2) from t where p1 = 'test'; 

理论上来说,这个查询只涉及到元数据库中的数据,没必要去 hdfs 上把每条数据都读出来,但 hive 确实是这样做了,效率非常低。

所以现在的想法就是我自己来实现这个逻辑,允许 hive 能够直接从自己的元数据库中读取信息,想知道 hive 有没有从 hdfs 以外的数据源读取数据的能力?

大佬有話說 (4)

  • 資深大佬 : MinGo215

    额,分区不多的话直接 show partitions 就好了啊

  • 資深大佬 : 31p7410

    show partitions, 分区多的话 hadoop fs -ls /user/hive/warehouse/database.db/t/p1=test/

  • 資深大佬 : ackoly

    记得支持建立映射表,直读关系型数据库

  • 主 資深大佬 : leavan

    @MinGo215 是想把分区信息作为一个表去读取和处理这些信息,show partitions 只是单纯的列举分区,而且也没法写进 SQL 里吧。

文章導覽

上一篇文章
下一篇文章

AD

其他操作

  • 登入
  • 訂閱網站內容的資訊提供
  • 訂閱留言的資訊提供
  • WordPress.org 台灣繁體中文

51la

4563博客

全新的繁體中文 WordPress 網站
返回頂端
本站採用 WordPress 建置 | 佈景主題採用 GretaThemes 所設計的 Memory
4563博客
  • Hostloc 空間訪問刷分
  • 售賣場
  • 廣告位
  • 賣站?
在這裡新增小工具