AWS Glue 4.0 最新镜像（glue_libs_4.0.0_image_01）目前不包含 awsgluedq 模块，导致 ImportError: No module named 'awsgluedq'，根本原因是该模块尚未集成到 Glue 4.x 运行时中，需降级至 Glue 3.x 镜像或手动注入依赖。

AWS Glue 4.0 最新镜像（glue_libs_4.0.0_image_01）目前不包含 awsgluedq 模块，导致 ImportError: No module named 'awsgluedq'。

根本原因是该模块尚未集成到 Glue 4.x 运行时中。因此，需降级至 Glue 3.x 镜像或手动注入依赖。

问题本质

awsgluedq 是 AWS Glue Data Quality（DQ）能力里的核心 Python 包。像 EvaluateDataQuality 这类关键转换器，都要靠它来定义并执行数据质量规则。

这些规则通常包括完整性、唯一性和一致性校验。文档里虽然写着“Glue 3.0 及以上版本支持 Data Quality”，但真正落到运行时，版本表现并不完全一致。

Glue 3.x 运行时（如 glue_libs_3.0.0_image_01）已经内置了 awsgluedq，可 Glue 4.0 镜像（截至 glue_libs_4.0.0_image_01）却仍然没有包含这个模块。

这并不是个别现象，而是已经在 aws-glue-libs GitHub Issue #200 中被明确确认的已知限制。

推荐解决方案

推荐解决方案：切换至 Glue 3.x 兼容镜像

将 Docker 命令中的镜像标签从 glue_libs_4.0.0_image_01-arm64 替换为 Glue 3.x 的稳定版本，例如：

docker run -it 
-v ~/.aws:/home/glue_user/.aws 
-v $WORKSPACE_LOCATION:/home/glue_user/workspace/ 
-e AWS_PROFILE=$PROFILE_NAME 
-e DISABLE_SSL=true 
--rm -p 4040:4040 -p 18080:18080 
--name glue_spark_submit 
amazon/aws-glue-libs:glue_libs_3.0.0_image_01-arm64 
spark-submit /home/glue_user/workspace/src/$SCRIPT_FILE_NAME

注意事项

• Glue 3.x 镜像默认基于 Spark 3.3 + Python 3.9，与 Glue 4.x（Spark 3.3 + Python 3.11）的运行时环境略有差异，请确保您的脚本兼容 Python 3.9；
• 若必须使用 Glue 4.x（例如依赖其新增的 Iceberg 或 Delta Lake 支持），目前无最新支持的 awsgluedq 方案；社区尝试通过 pip install awsgluedq 手动安装通常失败，因其强耦合 Glue 运行时底层类路径与 Spark UDF 注册机制，非白名单依赖无法被 Glue Context 正确加载；
• 生产环境建议以 AWS Glue 托管作业（而非本地 Docker）运行 DQ 任务，可直接选用 Glue 3.0 或 4.0 版本（注意：Glue 控制台中选择 Glue version 3.0 才能启用 Data Quality 节点与 awsgluedq API）。

结论

ModuleNotFoundError: No module named 'awsgluedq' 不是代码写错了，也不是配置出了问题。

根源在于 Glue 4.0 镜像本身暂时缺少这项能力。更稳妥的处理方式，是优先使用 Glue 3.x 运行时来完成数据质量校验。

从长期看，可以持续留意 aws-glue-libs 仓库更新 以及 AWS 的最新公告，等到 awsgluedq 正式支持 Glue 4.x 之后，再考虑升级也不迟。

《夸克》非常好用的免费AI浏览器

下载APP查看