Skip to content

陕西景行数科科技有限公司 - 文档库

领域:大数据、Hadoop、Spark、批流一体化、数据融合开发、数据湖、湖仓一体、目标检测、视频集成识别

数据中台、数据融合、数据库、湖仓一体

最新文章

1. Presto环境搭建  

<blockquote> <p>Presto 环境搭建</p> </blockquote> <h2 id="安装前准备" tabindex="-1">安装前准备 <a class="header-anchor" href="#安装前准备" aria-label="Permalink to &quot;安装前准备&quot;">&ZeroWidthSpace;</a></h2> <p>环境:</p> <p>Linux or Mac OS X</p> <p>Java 8, 64-bit</p> <p>Pytho...   阅读全文

2. 电视盒子刷机并安装armbian系统  

<blockquote> <p>本篇主要介绍电视盒子刷机并 root 后,刷入当贝桌面镜像。后又刷入 armbian 系统,并从 U盘启动 armbian,最后刷入 emmc。</p> </blockquote> <p>之前有过了解树莓派,又贵配置又低。在了解电视盒子后,无论是 CPU 主频、核数、内存都香太多。最重要的是便宜、便宜、便宜。</p> <p>各类Amlogic S905 的盒子,支持 ARM 64位架构【arrch64】,刷入 armbian 系统,可以当作一台常开的小服务器使用。并且各类 a...   阅读全文

3. DataFlow 在 Spark、Flink 上提交任务,以及和海豚调度平台集成  

<p>可以理解 DataFlow 本质上是一个 Spark、Flink 解释执行 Flow XML 的执行器。需要在 Spark、Flink 架构之上运行,支持 LOCAL、Standardlone、YARN、K8S 多种运行模式。在客户端主机需要安装大数据 Spark 或 Flink 客户端。任务依赖 jsoup.jar(解析 XML),udf.jar(非必须),包含诸多自定义实现的 udf。Udf 用于实际业务中必要的自定义 UDF 开发等(在默认 UDF 不够使用时)。</p> <h2 id="spr...   阅读全文

4. DataFlow 框架介绍和开发者手册  

<div class="tip custom-block"><p class="custom-block-title">提示</p> <p>DataFlow 是基于 SparkSQL/FlinkSQL 开发的一种基于 XML 配置化的 SQL 数据流转处理模型。该模型简化了 SparkSQL 、Flink Stream 的开发,并且降低开发了难度,适合了解数据业务但无法驾驭大数据以及 Spark、Flink 技术的开发者。</p> </div> <p>DataFlow 开发模型适合作为:</p> <ol> ...   阅读全文

5. Linux Grub 系统启动引导结构梳理  

<h2 id="uefi-grub磁盘挂载结构" tabindex="-1">UEFI-GRUB磁盘挂载结构 <a class="header-anchor" href="#uefi-grub磁盘挂载结构" aria-label="Permalink to &quot;UEFI-GRUB磁盘挂载结构&quot;">&ZeroWidthSpace;</a></h2> <div class="language-log line-numbers-mode"><button title="Copy Code" cl...   阅读全文

6. KVM添加新的磁盘镜像  

<h2 id="kvm添加新的磁盘镜像" tabindex="-1">KVM添加新的磁盘镜像 <a class="header-anchor" href="#kvm添加新的磁盘镜像" aria-label="Permalink to &quot;KVM添加新的磁盘镜像&quot;">&ZeroWidthSpace;</a></h2> <h3 id="创建新磁盘" tabindex="-1">创建新磁盘 <a class="header-anchor" href="#创建新磁盘" aria-label="Pe...   阅读全文

7. Debian KVM 镜像导入安装  

<div class="tip custom-block"><p class="custom-block-title">提示</p> <p>本文主要介绍如果从 Debian 官网下载的镜像 qcow2,导入到 KVM 中,并修改 root 密码, 能从 ssh 登录。</p> </div> <h2 id="debian-镜像下载" tabindex="-1">Debian 镜像下载 <a class="header-anchor" href="#debian-镜像下载" aria-label="Permal...   阅读全文

8. WebSocket 超级网关,转换协议支持  

<blockquote> <p>WebSocket协议转换、转发。用于将 WebSocket 协议转换为其他协议,如 HTTP、TCP、MQTT、AMQP等。对于 TCP 和 MQ 类,将 WebSocket的消息也转发到后端。对于 HTTP 类,将 WebSocket 的消息内容转发到 HTTP 接口上,参数是 websocket的消息内容,采用 POST 请求。</p> </blockquote> <h2 id="websocket-转发协议支持" tabindex="-1">websocket 转发协...   阅读全文

9. Https, ProxyServer 添加SSL支持  

<blockquote> <p>本节支持 ProxyServer 支持 HTTPS,通过自签名证书或 Let's Encrypt 免费证书实现。</p> </blockquote> <h2 id="服务器添加-ssl-证书" tabindex="-1">服务器添加 SSL 证书 <a class="header-anchor" href="#服务器添加-ssl-证书" aria-label="Permalink to &quot;服务器添加 SSL 证书&quot;">&ZeroWidthSpace;</a...   阅读全文

10. RabbitMQ-Linux通用安装  

<h2 id="rabbitmq-下载" tabindex="-1">RabbitMQ 下载 <a class="header-anchor" href="#rabbitmq-下载" aria-label="Permalink to &quot;RabbitMQ 下载&quot;">&ZeroWidthSpace;</a></h2> <p><strong>RabbitMQ 和 Erlang的版本匹配</strong></p> <p><img src="./images/rabbitmq-erlang-req...   阅读全文

11. ProxyServer SpringBoot 项目集成和使用  

<blockquote> <p>SpringBoot 工程集成 ProxyServer 作为内部代理服务器。</p> </blockquote> <p>ProxyServer 支持在应用中打开另一个代理服务器,可以扩展应用的服务能力,支持服务代理第三方服务作为服务网关使用。</p> <p>ProxyServer 支持代理:</p> <ul> <li>HTTP</li> <li>WebSocket</li> </ul> <h2 id="pom-导入依赖" tabindex="-1">pom 导入依赖 <a c...   阅读全文

12. ProxyServer 核心功能介绍  

<p>Proxy 提供三个核心组件</p> <ol> <li>HTTP 超级网关组件</li> <li>ProxyServer:代理服务器</li> <li>VNC-WebServer:浏览器远程桌面</li> </ol> <h2 id="http-超级网关组件" tabindex="-1">HTTP 超级网关组件 <a class="header-anchor" href="#http-超级网关组件" aria-label="Permalink to &quot;HTTP 超级网关组件&quot;">&Z...   阅读全文

13. ProxyServer 安装和使用  

<blockquote> <p>本篇指导 ProxyServer 安装和使用</p> </blockquote> <h2 id="下载" tabindex="-1">下载 <a class="header-anchor" href="#下载" aria-label="Permalink to &quot;下载&quot;">&ZeroWidthSpace;</a></h2> <p>网盘:链接: <a href="https://pan.baidu.com/s/1mUJ9qay9ln6aywMKy8nVeA"...   阅读全文

14. HTTPProxy 安装和使用  

<blockquote> <p>本篇指导 ProxyServer 安装和使用</p> </blockquote> <h2 id="下载" tabindex="-1">下载 <a class="header-anchor" href="#下载" aria-label="Permalink to &quot;下载&quot;">&ZeroWidthSpace;</a></h2> <p>网盘:链接: <a href="https://pan.baidu.com/s/1mUJ9qay9ln6aywMKy8nVeA"...   阅读全文

15. VNC-WebServer 介绍,功能特点  

<blockquote> <p>VNC-WebServer 基于 VNC 的浏览器远程桌面,支持在浏览器中操作系统远程桌面。采用 HTTP、WebSocket 协议。可对系统安装的 VNC 在提供浏览器中远程系统的能力,对操控远程系统提供非常大的便利性。</p> </blockquote> <p>基于Java/SpringBoot开发,很容易集成到系统中。支持内置VNC和动态添加VNC Server。可提供源码,技术指导,直到集成到系统中。</p> <p><a href="https://www.goofi...   阅读全文