大佬们,进来帮帮忙~~HiveOnTez 执行一条语句报错貌似是内存不足?有啥办法吗大佬们
資深大佬 : dtgxx 0
六台机器,每台 64G,在 Hive 执行一条语句 select count(1) from table; 表数据大约 20 亿条。。存储大约 2T,三副本是 6T 。
这一条语句 Hive 直接报错了,看起来是资源不足报的,想问下大佬们有没有解决办法,hive 执行 sql,把数据都放内存吗?我得配 2T 的内存?能不能一批批处理,这也太消耗资源了。。而且只是一个简单的 count(1)。。
报错截图如下
https://i.imgur.com/IytKHjm.png
https://i.imgur.com/vCrafEn.png
大佬有話說 (0)