093 | Dremio:在Drill和Arrow上的大数据公司

该思维导图由 AI 生成，仅供参考

Dremio：从Apache开源项目到创业公司的成长之路 Dremio是一个年轻的公司，其故事涉及了两个Apache开源项目Drill和Arrow，以及Hadoop发行商MapR。MapR公司的核心员工托马尔和雅克在Apache Drill项目上投入了很多年，但由于Drill在处理大规模数据时效率不高，他们决定构建另一个项目：Apache Arrow。Arrow是一个内存数据结构，旨在实现不同数据源之间的快速高效数据交换。 随着MapR公司出现问题，托马尔和雅克离开创立了Dremio公司。Dremio的核心产品是一个连接不同数据源进行数据分析的软件，它使用Apache Arrow格式统一处理数据，从而提高了效率。然而，与Drill相比，Dremio连接的数据源较少，且仅支持输出Apache Arrow格式的数据源。此外，Dremio还进行了预先计算数据以提高查询效率的优化。 尽管Dremio借鉴了Apache Drill的连接思想，并通过Apache Arrow提高了系统效率，但其面临着一些挑战。例如，Dremio在支持一些常见的数据源方面仍存在问题，这可能限制了其在传统企业中的应用。因此，Dremio在开源产品和Hadoop生态圈可能有一席之地，但在传统企业中的通用性仍有待观察。 总的来说，Dremio的发展道路充满挑战，但其折中的方式在技术上具有一定的创新性和前瞻性。然而，要想在竞争激烈的数据分析市场中生存下来，Dremio需要解决如何支持更多常见数据源的问题。