flink 配置表

在 Flink 的上下文中，直接提及“配置表”可能不是 Flink 框架本身的一个标准术语。然而，从更广泛的角度来看，Flink 确实需要配置来管理其运行时的行为和资源。这些配置通常存储在配置文件中，如 flink-conf.yaml，它们可以被视为 Flink 的“配置表”，尽管这个表述不是技术上的精确术语。

对于 Flink 的配置，以下是一些关键点：

配置文件

• flink-conf.yaml：这是 Flink 的主要配置文件，包含了许多与 Flink 作业和集群相关的配置项。它应该是一个扁平的 YAML 键值对集合，格式为 key: value。

  常见配置项

  1. 主机和端口：
  • rest.address 和 rest.port：这些配置项用于设置 Flink REST API 的地址和端口，客户端将使用这些设置来连接到 Flink。
  • jobmanager.rpc.address 和 jobmanager.rpc.port：这些配置项用于 TaskManager 连接到 JobManager/ResourceManager。
    1. 内存配置：
    • jobmanager.memory.process.size：JobManager 进程的总内存大小。
    • taskmanager.memory.process.size：TaskManager 进程的总内存大小。
      1. 并行度：
      • parallelism.default：当未在任何地方指定并行度时使用的默认并行度。
        1. 状态后端和检查点：
        • state.backend.type：要使用的状态后端类型，如 filesystem 或 rocksdb。
        • state.checkpoints.dir：写入检查点的目录。
        • state.savepoints.dir：保存点的默认目录。
        • execution.checkpointing.interval：检查点的基本间隔设置。
          1. Web UI：
          • web.submit.enable：是否启用通过 Flink UI 上传和启动作业。
          • web.cancel.enable：是否启用通过 Flink UI 取消作业。
            1. 文件系统配置：
            • Flink 提供了一些对所有文件系统均适用的基本配置，如 fs.default-scheme 用于设置默认的文件系统 scheme 和 authority。
            • 还可以限制文件系统的连接数，如 fs..limit.total、fs..limit.input、fs..limit.output 等。

              注意事项

              • 更改配置文件后，通常需要重新启动 Flink 进程以使更改生效。
              • Flink 的配置选项非常灵活，可以根据具体的需求进行调整。

                总结

                虽然 Flink 本身没有一个名为“配置表”的明确术语，但配置文件 flink-conf.yaml 和其他相关配置文件可以视为 Flink 的配置表，它们包含了 Flink 集群和作业运行所需的各种配置项。这些配置项涵盖了从主机和端口设置到内存管理、并行度调整、状态后端和检查点配置等多个方面。