未分類
5 2 月 2021

Vineyard：开源分布式内存数据管理引擎

Vineyard：开源分布式内存数据管理引擎

資深大佬 : sighingnow 16

我们最新开源了一个分布式内存数据管理引擎 Vineyard，它有这样一些特性：

  1. 分布式不可变数据的内存存储引擎
  2. 通过共享内存对上层应用提供零拷贝数据共享
  3. 对常见的数据结构（如 Tensor 、DataFrame 、Graph 等）提供内建高级 API 支持
  4. 内建的用于 I/O 、Migration 、Checkpoint 的可复用插件
  5. 完善的 C++ 和 Python 支持
  6. 集成 Kubernetes 以及 Helm，拥抱云原生生态，支持大规模的大数据分析应用

欢迎大家关注、试用和向 Vineyard 贡献代码！

  • Github 地址： https://github.com/alibaba/libvineyard （欢迎加
大佬有話說 (7)

  • 資深大佬 : v2webdev

    阿里开源太吊了。

  • 資深大佬 : GM

    先问一下有没有用个代码里写死的特殊 token，就能全权访问所有数据？

  • 資深大佬 : imkerberos

    又来污染环境。

  • 資深大佬 : cholerae

    不敢用阿里的开源

  • 資深大佬 : IDAEngine

    请问代码里面有没有加密的黑名单 白名单，像 fastjson 一样，

    denyHashCodes = new long[]{
    -8720046426850100497L,
    -8165637398350707645L,
    -8109300701639721088L,
    -8083514888460375884L,
    -7966123100503199569L,
    -7921218830998286408L,
    -7768608037458185275L,
    -7766605818834748097L,
    -6835437086156813536L,
    -6179589609550493385L,
    -5194641081268104286L,
    -4837536971810737970L,
    -4401390804044377335L,
    -4082057040235125754L,
    -3935185854875733362L,
    -2753427844400776271L,
    -2364987994247679115L,
    -2262244760619952081L,
    -1872417015366588117L,
    -1650485814983027158L,
    -1589194880214235129L,
    -1251419154176620831L,
    -254670111376247151L,
    -190281065685395680L,
    -9822483067882491L,
    33238344207745342L,
    99147092142056280L,
    313864100207897507L,
    1073634739308289776L,
    1203232727967308606L,
    1459860845934817624L,
    1502845958873959152L,
    3114862868117605599L,
    3547627781654598988L,
    3688179072722109200L,
    3730752432285826863L,
    3794316665763266033L,
    4147696707147271408L,
    4814658433570175913L,
    4904007817188630457L,
    5100336081510080343L,
    5347909877633654828L,
    5450448828334921485L,
    5688200883751798389L,
    5751393439502795295L,
    5944107969236155580L,
    6456855723474196908L,
    6511035576063254270L,
    6742705432718011780L,
    7017492163108594270L,
    7179336928365889465L,
    7442624256860549330L,
    8389032537095247355L,
    8409640769019589119L,
    8537233257283452655L,
    8838294710098435315L,
    8925522461579647174L
    0x86fc2bf9beaf7aefL,
    0x8eadd40cb2a94443L,
    0x8f75f9fa0df03f80L,
    0x8fd1960988bce8b4L,
    0x9172a53f157930afL,
    0x92122d710e364fb8L,
    0x94305c26580f73c5L,
    0x9437792831df7d3fL,
    0xa123a62f93178b20L,
    0xaa3daffdb10c4937L,
    0xb7e8ed757f5d13a2L,
    0xbcdd9dc12766f0ceL,
    0xc2eb1e621f439309L,
    0xc7599ebfe3e72406L,
    0xc963695082fd728eL,
    0xd9c9dbf6bbd27bb1L,
    0xdf2ddff310cdb375L,
    0xe09ae4604842582fL,
    0xe603d6a51fad692bL,
    0xe9184be55b1d962aL,
    0xe9f20bad25f60807L,
    0xeea210e8da2ec6e1L,
    0xfc773ae20c827691L,
    0xfd5bfc610056d720L,
    0xffdd1a80f1ed3405L,
    0x761619136cc13eL,
    0x1603dc147a3e358L,
    0x45b11bc78a3aba3L,
    0xee6511b66fd5ef0L,
    0x10b2bdca849d9b3eL,
    0x144277b467723158L,
    0x14db2e6fead04af0L,
    0x2b3a37467a344cdfL,
    0x313bb4abd8d4554cL,
    0x332f0b5369a18310L,
    0x33c64b921f523f2fL,
    0x34a81ee78429fdf1L,
    0x398f942e01920cf0L,
    0x42d11a560fc9fba9L,
    0x440e89208f445fb9L,
    0x46c808a4b5841f57L,
    0x4a3797b30328202cL,
    0x4ba3e254e758d70dL,
    0x4ef08c90ff16c675L,
    0x4fd10ddc6d13821fL,
    0x527db6b46ce3bcbcL,
    0x599b5c1213a099acL,
    0x5a5bd85c072e5efeL,
    0x5d92e6ddde40ed84L,
    0x616323f12c2ce25eL,
    0x63a220e60a17c7b9L,
    0x6749835432e0f0d2L,
    0x746bd4a53ec195fbL,
    0x74b50bb9260e31ffL,
    0x767a586a5107feefL,
    0x7aa7ee3627a19cf3L,
    0x7bddd363ad3998c6L
    };

  • 主 資深大佬 : sighingnow

    @GM 没有。Vineyard 中 data access permission 取决于 UNIX domain socket 的 permission bits，和 token 无关。

  • 主 資深大佬 : sighingnow

    @IDAEngine 没有。