AWS Glue 4.0 最新镜像（如 glue_libs_4.0.0_image_01）尚未包含 awsgluedq 模块，导致 ImportError: No module named 'awsgluedq'，需降级至 Glue 3.x 镜像或手动集成兼容版本。

AWS Glue 4.0 的最新镜像（例如 glue_libs_4.0.0_image_01）目前还没有内置 awsgluedq 模块。

因此，一运行就可能报出 ImportError: No module named 'awsgluedq'。

遇到这种情况，通常只能退回到 Glue 3.x 镜像，或者自行集成可兼容的版本来处理。

awsgluedq 是 AWS Glue Data Quality（DQ）功能的核心 Python 包，用于调用 EvaluateDataQuality 等数据质量评估转换器。

尽管最新文档指出 Glue 3.0+ 支持该模块，实际在 amazon/aws-glue-libs:glue_libs_4.0.0_image_01（含 ARM64/AMD64 版本）中，该包并未预装。

这一问题已在 aws-glue-libs GitHub Issue #200 中被确认为已知缺陷。

推荐解决方案：切换至 Glue 3.x 镜像

当前最可靠、零配置的处理方式，是切换到 Glue 3.x 系列镜像。

Glue 3.x 系列镜像（如 glue_libs_3.0.0_image_01 或 glue_libs_3.0.1_image_01）已稳定集成 awsgluedq。

请将 Docker 命令中的镜像标签替换为兼容版本：

docker run -it 
-v ~/.aws:/home/glue_user/.aws 
-v "$WORKSPACE_LOCATION":/home/glue_user/workspace/ 
-e AWS_PROFILE="$PROFILE_NAME" 
-e DISABLE_SSL=true 
--rm -p 4040:4040 -p 18080:18080 
--name glue_spark_submit 
amazon/aws-glue-libs:glue_libs_3.0.1_image_01 
spark-submit /home/glue_user/workspace/src/$SCRIPT_FILE_NAME

切换前需要注意

Glue 3.x 和 4.x 并不是简单的版本递进。

• Spark 版本不同：3.3.x vs 3.5.x
• Python 运行时不同
• 部分 API 的实际行为存在差别

如果作业已经依赖 Glue 4.x 的新能力，比如 Iceberg 表支持、Delta Lake 3.0+，那就需要提前评估功能取舍。

否则，更稳妥的做法通常是先等待 AWS 的最新修复。

替代方案（高级用户）

若必须使用 Glue 4.0 镜像，可尝试通过 --packages 参数动态加载 DQ 依赖。

但这一方式仍需自行验证兼容性：

spark-submit 
--packages "com.amazonaws:aws-glue-dataquality_2.12:1.0.0" 
--conf "spark.jars.packages=com.amazonaws:aws-glue-dataquality_2.12:1.0.0" 
...

需要注意以下限制：

• 此 JAR 仅提供 Scala/Ja va 接口，Python 绑定 awsgluedq 仍不可用；
• 手动构建 wheel 并 pip install 存在 ABI 兼容风险，不推荐生产环境使用。

验证是否生效

运行成功后，可在脚本中执行以下检查：

try:
from awsgluedq.transforms import EvaluateDataQuality
print(" awsgluedq imported successfully")
except ImportError as e:
print(" Failed to import awsgluedq:", e)

总结

当前阶段，降级至 glue_libs_3.0.1_image_01 是最可靠、零配置的解决方案。

建议关注 aws-glue-libs GitHub Releases，获取 awsgluedq 支持状态更新。

待 AWS 发布含该模块的 Glue 4.x 修正镜像后，再平滑升级会更稳妥。