开发工具分享
  • 首页
  • 计算科学
  • 文化旅游
  • 项目和网站
    • OSSEZ 计算技术
    • USRealEstate 社区
    • 地区文化
    • CWIKI.US
    • BUG.OSSEZ.COM
    • RSS.OSSEZ.COM
Computer Science
Computer Science

Druid 从控制台(Druid console)中删除过滤器和运行查询

在 datasource 的树中,单击 __time 然后选择 Remove Filter   单击 Run 来运行这个查询。你应该在返回的对话框中看到 2 列的数据,这个包括有 page name 和 count: 需要注意的是,通过控制台进行查询的返回结果集被限制为默认 100 条记录,这是在 Smart query limit 特性中进行配置的。  这个能够帮助用户避免在运行查询的时候返回大量的数据,有可能会让其系统过载。 让我们对上面的查询语句进行一些编辑来看看在查询构建器中能够提供那些特性,请在查询构建起器中进行下面的一些修改: 第一列的 "page" 后面开始输入一个新列的名字 "countryName"。请注意自动完成菜单将会针对你输入的字符提示 列名,函数,关键字以及其他的内容 选择 “countryName” 和添加新的列到 GROUP BY 语句中,可以通过名字或者位置 2 来完成操作。 为了让我们的 SQL 更加具有可读性,将 Count 列的名字替换为 Edits,这是因为这一列是使用 COUNT() 函数来进行计算的,实际上的目的是返回编辑的次数。 在 ORDER BY 语句中使用同样的名字来进行排序。COUNT() 函数是 Druid 提供的多个可用函数的一个。你可以将你的鼠标移动到函数的名字上面,在随后弹出的自动完成对话框中将会对函数的功能进行一个简要的描述 同时,你可以可以通过 Druid 的文档来了解更多的内容,例如, COUNT() 函数的文档位于 Aggregation functions 页面中。当完成上面的所有操作后,你的 SQL 脚本应该看起来和下面的是一样的了: SELECT "page", "countryName", COUNT(*) AS "Edits" FROM "wikipedia" GROUP BY 1, 2 ORDER BY "Edits" DESC 当你对上面的 SQL 脚本再次运行以后,你会注意到我们会返回一个新的列(dimension)为 countryName,但是这一列的大部分行的值都是空的。 让我们通过修改 SQL 来只显示 countryName 不为空的行。 2. 单击 countryName 这一列,在左侧的面部中选择第一个过滤器(first filtering)的选项。这个过滤器的内容可能并不是我们想要的,我们会在后面对其进行编辑 WHERE 语句将会显示在你的查询中。 修改 WHERE 语句来将 countryName 不为空的列去除掉。 WHERE "countryName" IS NOT NULL 然后再次运行修改后的 SQL 脚本,你应该可以只看到编辑次数最多的国家:   在 Druid 使用 SQL 进行查询的后面,所有的 Druid SQL 查询都可以被转换为基于 JSON 格式的 Druid native query 来在 Druid 的数据节点中进行查询。 你可以通过单击查询运行按钮的后面... 然后选择 Explain SQL Query 来进行查看。 尽管你可以在大部分的情况下使用 Druid SQL,但是如果你能够了解 Druid 原生查询的意义,那么对你在问题解决和有关性能问题的调试上面会更加有效,请参考 Native queries 页面来获得更多信息。     另外一种通过纯文本 JSON 格式查看 SQL 脚本的办法就是在查询脚本前面添加 EXPLAIN PLAN FOR, 如下所示: EXPLAIN PLAN FOR SELECT "page", "countryName", COUNT(*) AS "Edits" FROM "wikipedia" WHERE "countryName" IS NOT NULL GROUP BY 1, 2 ORDER BY "Edits" DESC 这种方式针对在控制台工具上运行查询脚本的时候非常有用。 最后,单击 ... 然后选择 Edit context 来查看你可以添加的其他参数来控制查询的执行。 在这个字段中,可以通过输入基于 JSON 格式的 key-value 对,请参考 Context flags 页面描述的更多内容。 上面就是我们如何通过使用 Druid 控制的查询构建特性来构建的一个简单的数据查询。 在本页面的后续部分提供了更多的一些你可以尝试使用的查询实例。 同时请查看 进行查询的其他方法 部分中的内容来了解如何 在命令行工具或者 HTTP 上运行 Druid SQL 查询。   https://www.ossez.com/t/druid-druid-console/13631

2021年08月03日 0Comments 598Browse 0Like Read more
Computer Science

Druid 从控制台(Druid console)中查询字段

从左侧的面板中打开 wikipedia 数据源,我们将会从这里对数据源中的 page 进行查询。 单击 page 然后从菜单中选项 Show:page : SELECT 查询语句将会在查询编辑器中显示。但是,现在如果你进行查询的话是没有任何返回数据的,这是因为默认的查询时间为最近的一天, 但是我们的数据已经远比这个数据老。  因此我们需要删除这个过滤器(filter)。 需要注意的是,如果你使用的是这种方式查询的字段,那么返回的结果只会是退回 1 天。 同时在每一条记录的后面都会自动添加一个 Count 的字段。     请注意上图中的查询脚本和查询自动为你添加的 Count 字段。   https://www.ossez.com/t/druid-druid-console/13630

2021年08月03日 0Comments 574Browse 0Like Read more
Computer Science

从 Druid 控制台(Druid console)中进行查询

Druid 控制台提供了视图能够让用户更加容易的在 Druid 进行查询测试,并且查看查询返回的结果。 如果你的 Druid 没有启动的话,你需要先行启动 Druid 集群,然后通过你的浏览器访问 Druid 控制台。 单击顶部的 查询(Query) 导航进入查询界面:     你可以在编辑器中直接写查询语句和脚本,同时 Query 查询输入对话框也提供了代码自动完成功能帮助你完成需要使用的查询语句。 可以从顶部的查询导航中直接单击查询。     Druid 的控制台提供了这个功能,你可以直接在上面的对话框中输入 SQL 脚本。 https://www.ossez.com/t/druid-druid-console/13629

2021年08月02日 0Comments 782Browse 1Like Read more
Computer Science

Discourse 图片上传的更新

根据 Discourse 官方的博客说明: Faster (and smaller) uploads in Discourse with Rust, WebAssembly and MozJPEG | Blog Discourse 对图片上传进行了比较大的优化,主要是采取了 HTML5 的图片上传预处理技术。     上面是这次更新的处理逻辑,主要是为了方便用户在上传手机图片的时候进行预压缩。 这是因为手机图片的大小通常都比较大,如果使用原图上传的话,将会导致大量占据存储空间,其实也是没有必要的。 根据官方博客中的内容显示,图片大小被压缩得比较小,但是图片效果却没有大量改变。     根据官方的对比来看,图片上传大小被大量压缩了。     建议所有使用 Discourse 的站点升级到最新的版本,以便于保持更高效的运行。 同时因为图片大小的变化,也会提升站点的传输速度。 压缩算法是在客户端进行的,只要是支持 HTML5 的浏览器都可以使用,因此不会额外增加服务器处理资源。 https://www.ossez.com/t/discourse/13628

2021年08月01日 0Comments 620Browse 0Like Read more
Computer Science

Java 可以自学吗

Java 是可以自学的。 Java 主要问题是 OO(面向对象),面向对象的就导致了基础概念非常多。 同时又因为 Java 封装得比较好,又会牵扯出很多概念在里面。 就好像很多人的教程第一步说的就是类,越学越困惑,还有抽象类,实现,方法,静态方法,封装,设计模式,接口 等等好多概念。 这些基本概念是应该了解的的,没有这些概念,很多东西你可能理解不了。 从实践中进行学习,多在社区提一些问题,也许能够帮你解决不少困惑。 另外很多人学习 Java 的第一步就是 Hello World,如果教学机构或者老师非要你用记事本写的话,你可以大大的鄙视下。 任何语言的开发,很少会在记事本上直接写的,基本上都用 IDE,有钱弄个 IJ,没钱弄个 Eclipse,VSCode 现在都被吹成宇宙第一的,说实在的每个工具都有自己的特点,对 VSCode 没有太多感。 不幸的是 IJ 在 Java 项目中的开发至少目前还是主流。 整个上面的 IDE 不是非常爽? https://www.ossez.com/t/java/13625

2021年07月31日 0Comments 793Browse 0Like Read more
Computer Science

Druid 查询返回引擎版本困惑的地方

Druid 在几年前升级了搜索版本为 V2。 在早期是可以通过设置查询参数来进行设计的,如果你使用的是 Druid 的新版本的话,默认都会使用引擎 V2。 如果使用 JSON 查询的话,那么应该设置的参数是: "groupByStrategy":"v2" 但是在返回的时候显示返回的版本是 V1。     说明 在网上考古了下,发现了多年前有这样一个帖子: 0.9.2 groupBy v2 Strategy problem - Google Groups (read only) - Druid Forum 上面官方的解释是这个 V1 定义的是返回的数据集格式为 V1,和使用的查询引擎无关。 这个返回结果还是有点困惑的,希望提出来供大家参考。 https://www.ossez.com/t/druid/13624

2021年07月31日 0Comments 658Browse 0Like Read more
Computer Science

Confluence 7 如何修改启动内存

和 Java 有关的项目通常和内存都有关。 最近我们的 Confluence 平台经常挂起,通常的原因可能是内存溢出。在对 Confluence 进行调整之前,需要先查看下内存的配置情况。 内存信息 在 Confluence 中,你可以查看当前 Confluence 实例分配了多少内存。 按照下面的顺序进入系统配置: 单击左上角的配置按钮 > General Configuration > System Information 。 单击左侧上面的系统信息(System Information) 这个页面的载入需要花费点时间,请耐心等待。     从上面的图片上,我们可以看到当前的内存使用的是 1024MB,这个内存的分配对 Confluence 有点小。 调整内存 例如现在我们希望将内存调整到使用 16GB。 假设 1 GB 为 1024MB,那么 16 GB 为 16384 MB。 调整的位置为 Confluence 安装路径的 setenv.sh 文件。 如果使用 Confluence 默认安装的话,这个文件位于: /opt/atlassian/confluence/bin/setenv.sh 路径下。 在调整之前,需要先停止 Confluence,停止的命令通常为:service confluence stop 然后 vi 编辑文件 setenv.sh。 找到配置行: CATALINA_OPTS="-Xms1024m -Xmx1024m ${CATALINA_OPTS}" 修改为 CATALINA_OPTS="-Xms16g -Xmx16g ${CATALINA_OPTS}" 在这里是可以使用 G 为参数的。 修改上面的参数后保存并重启 Confluence。     校验内存修改 进入第一步中提示的的路径,检查内存配置是否生效。     如上图显示的,内存配置已经生效了。   https://www.ossez.com/t/confluence-7/13622

2021年07月31日 0Comments 585Browse 0Like Read more
Computer Science

Druid 如何开启查询日志

在默认的情况下,Druid 是不开启查询日志的。 换句话说,在 Druid 进行查询的数据是不会显示在 Druid 的日志中的,这里可能会带来一个麻烦就是没有办法在后台查询到 druid 获得查询。 这篇文章主要是说明如何在日志中显示查询日志。 配置 Druid 的日志使用的 slf4j,因此你需要修改的属性文件为:common.runtime.properties 这个文件位于 Druid 部署路径为: /conf/druid/_common/common.runtime.properties 在上面的配置文件中,添加一个属性: druid.request.logging.type=slf4j     配置 log4j2.xml 在 Druid 部署的同样路径下,会有 log4j2.xml 日志配置文件。 在这里最主要修改的是日志级别,很多时候你可能配置的日志级别是 ERROR,查询日志的输出是在日志级别的 INFO 中的。 因此你需要调整你的 Root 日志级别为 INFO,如果你对日志级别不是非常了解的话,请参考有关 log4j2 相关配置。     在完成上面的配置后,重启你部署的 druid 服务,然后应该就能够看到查询的请求是什么了。     在日志的后面就应该能看到具体的查询 SQL 是什么,在 Druid 中,你也是可以使用 JSON 格式进行查询的。   https://www.ossez.com/t/druid/13619

2021年07月29日 0Comments 706Browse 0Like Read more
Computer Science

安装 Druid 安装的时候提示 JAVA 版本的问题

错误信息如下 yhu@YuCheng-Hu:~/apache-druid-0.21.1/bin$ ./start-nano-quickstart Druid only officially supports Java 8. Any Java version later than 8 is still experimental. Your current version is: 11.0.11. If you believe this check is in error or you still want to proceed with Java version other than 8, you can skip this check using an environment variable: export DRUID_SKIP_JAVA_CHECK=1 Otherwise, install Java 8 and try again. This script searches for Java 8 in 3 locations in the following order * DRUID_JAVA_HOME * JAVA_HOME * java (installed on PATH)     问题和解决 这个其实不是问题,出现上面提示的原因就是 Druid 在安装的时候需要校验 Java 的版本。 因为 Druid 是在 Java 8 上编译的,虽然 11 的版本也能够运行。但是会提示上面的错误。 如果你是运行 JDK 11 的版本的话,请运行命令: export DRUID_SKIP_JAVA_CHECK=1 然后再次尝试运行就可以了。   https://www.ossez.com/t/druid-java/13618

2021年07月29日 0Comments 789Browse 0Like Read more
Computer Science

Druid 安装要求

在本快速开始的内容部分,将向你介绍有关如何开始使用 Apache Druid 和一些相关的基本特性。 当你按照给出的步骤完成操作后,你将能够安装并且运行 Druid 和使用自带的批量数据摄取(ingestion)特性向安装成功的 Druid 实例中导入数据。 当前翻译基于的 Druid 版本为 apache-druid-0.21.1,本页面中的有关下载链接可能会随着版本更新而失效。 请自行根据官方办法的发行进度进行搜索更新和下载。 在开始我们下面的步骤之前,请先阅读 Druid 概述 和 数据摄取(ingestion)概述中的内容。 因为下面使用的步骤将会参照在前面 2 个 页面中提到过的一些概念和定义。 安装要求 你可以按照后续的步骤在一个相对机器性能比较小的计算机上进行安装。例如我们说的笔记本电脑(4 CPU 和 16 GB 的内存)。 针对不同的机器性能和安装条件,Druid 有一系列的安装配置属性。例如, micro-quickstart 配置属性对需要进行 Druid 评估时候的计算机性能进行了配置。 如果你希望对 Druid 的计算性能进行评估或者对计算能力进行调整的话,你可能需要更大和更好性能的计算机并且配置属性(profile)。 Druid 配置属性包括有从 Nano-Quickstart 配置 (1 CPU, 4GB RAM) 到 X-Large 配置(64 CPU, 512GB RAM)。 有关更多的配置信息,请参考 独立服务器部署 页面中的内容 另外,如果你希望对 Druid 进行集群部署的话,请参考 集群服务器部署 页面中的内容来了解更多有关 Druid 集群部署中的配置。 针对运行 Druid 的计算机,你需要完成下面的软件配置: Linux, Mac OS X, 或者其他基于 Unix 的操作系统(不能部署在 Windows 上) Java 8, Update 92 或者后续版本 (8u92+) Druid 官方只支持 Java 8 only。对其他主要的 Java 版本进行支持目前还主要是实验性的。 Druid 通过计算机中的环境变量 JAVA_HOME 或者 DRUID_JAVA_HOME 来找到安装的 Java 版本。如果你的计算机中安装有多个版本的 Java,那么你可以通过 设置环境变量 DRUID_JAVA_HOME 来让你安装的 Druid 实例找到相应的 Java 版本。 可以运行 Druid 程序中的 bin/verify-java 脚本来查看当前运行的 Java 版本。 在将 Druid 安装到生产环境的时候,你需要注意 Druid 实例运行的用户账号是什么。因为 Druid 控制台用户的权限和当前 Druid 实例运行的用户权限是相同的。 例如,如果你使用 Druid 的控制台对文件进行浏览的话,那么操作系统通只显示这个用户能够访问到的文件,或者说有权限进行查看的文件进行显示。     一般来说,我们是不希望 Druid 以 root 用户的权限来运行的。因此针对 Druid 的安装环境,可以考虑针对 Druid 实例,在操作系统中创建一个只供 Druid 运行的用户。   https://www.ossez.com/t/druid/13616

2021年07月28日 0Comments 733Browse 0Like Read more
1…9293949596…237
Archives
  • June 2026
  • May 2026
  • April 2026
  • March 2026
  • February 2026
  • January 2026
  • December 2025
  • November 2025
  • October 2025
  • September 2025
  • August 2025
  • July 2025
  • June 2025
  • May 2025
  • April 2025
  • March 2025
  • February 2025
  • January 2025
  • December 2024
  • November 2024
  • October 2024
  • September 2024
  • August 2024
  • July 2024
  • June 2024
  • May 2024
  • April 2024
  • March 2024
  • February 2024
  • January 2024
  • December 2023
  • November 2023
  • October 2023
  • September 2023
  • August 2023
  • July 2023
  • June 2023
  • May 2023
  • April 2023
  • December 2022
  • November 2022
  • October 2022
  • September 2022
  • August 2022
  • May 2022
  • April 2022
  • March 2022
  • February 2022
  • January 2022
  • December 2021
  • November 2021
  • October 2021
  • September 2021
  • August 2021
  • July 2021
  • June 2021
  • May 2021
  • April 2021
  • March 2021
  • February 2021
  • January 2021
  • December 2020
  • November 2020
  • October 2020
  • September 2020
  • August 2020
  • July 2020
  • June 2020
  • May 2020
  • April 2020
  • March 2020
  • February 2020
  • January 2020
  • December 2019
  • November 2019
  • October 2019
  • September 2019
  • August 2019
  • July 2019
  • June 2019
  • May 2019
  • April 2019
  • March 2019
  • February 2019
  • January 2019
  • December 2018
  • November 2018
  • October 2018
  • September 2018
  • August 2018
  • July 2018
  • June 2018
  • May 2018
  • April 2018
  • March 2018
Categories
  • Computer Science (2,367)
    • Confluence (663)
    • Gradle (12)
  • U.S. (514)
  • 文化旅游 (146)

COPYRIGHT © 2020 CWIKIUS. ALL RIGHTS RESERVED.

THEME KRATOS MADE BY VTROIS

湘ICP备2020018253号-1