本文介绍使用 pandas 的 melt() 方法将多个同质 来源列（如 Source1site、Source2site、Source3site）高效合并为一列 MergeSourceSite，同时完整保留 CompanyName、City 等关联字段，并自动去重、清理空值、重排索引。

这段内容主要讲的是：如何借助 pandas 的 melt() 方法，把多个同类型的来源列，比如 Source1site、Source2site、Source3site，快速整理并合并到同一列 MergeSourceSite 中。

在这个过程中，还可以把 CompanyName、City 等相关字段完整保留下来，并顺带完成去重、空值清理和索引重排。

在数据整合场景中，经常会遇到这样的问题：不同渠道提供了多列含义完全一致的数据，比如多个来源的域名。

目标是把这些列纵向展开为单列。 同时，原始记录对应的上下文信息也不能丢失，例如公司名、城市等。

像 fillna() 或 combine_first() 这类方法，解决不了这种“一个来源对应一行”的展开需求。

真正适合处理宽表转长表的核心方法，恰恰是 melt()。

完整实现步骤

以下为完整实现步骤（基于 pandas 2.0+）：

import pandas as pd
import numpy as np

# 示例数据构建（注意：原始 NaN 应为 pd.NA 或 np.nan）
df = pd.DataFrame({
"index": [1, 2, 3, 4, 5, 6, 7],
"CompanyName": ["Comp1", "Comp1", "Comp2", "Comp2", "Comp3", "Comp4", "Comp5"],
"Source1site": ["web1.com", "Web2.com", np.nan, "site2.com", np.nan, np.nan, np.nan],
"Source2site": [np.nan, "web2.com", "site1.com", np.nan, np.nan, "url1.com", "example.com"],
"Source3site": ["web2.com", np.nan, np.nan, np.nan, np.nan, np.nan, np.nan],
"City": ["Paris", np.nan, "Oakland", "London", "Mexico", np.nan, "New York"]
})

# 1. 使用 melt 展开来源列：保留 index/CompanyName/City 为标识变量，合并三个 source 列
merged_sources = df.melt(
id_vars=["index", "CompanyName", "City"],
value_vars=["Source1site", "Source2site", "Source3site"],
var_name="source_origin",# 可选：保留来源标识（本例中可删）
value_name="MergeSourceSite"
)

# 2. 过滤掉空值（仅保留有效域名）
merged_sources = merged_sources.dropna(subset=["MergeSourceSite"])

# 3. 删除冗余列（source_origin），去重并重置索引
merged_sources = (
merged_sources
.drop(columns="source_origin")
.drop_duplicates()
.reset_index(drop=True)
)

# 4. 按原始 index 排序，确保逻辑顺序清晰（可选，增强可读性）
merged_sources = merged_sources.sort_values(by="index").reset_index(drop=True)

print(merged_sources)

处理逻辑说明

• 保留关键字段：通过 id_vars=["index", "CompanyName", "City"]，确保展开来源列时，CompanyName、City 等关联信息不会丢失。
• 合并多个来源列：通过 value_vars=["Source1site", "Source2site", "Source3site"]，把多个来源列统一合并到 MergeSourceSite 中。
• 清理空值：使用 dropna(subset=["MergeSourceSite"])，只保留有效域名。
• 去重与重排索引：使用 drop_duplicates() 和 reset_index(drop=True)，让结果更干净、更易读。
• 排序增强可读性：按原始 index 排序后，逻辑顺序会更清晰。

输出结果

输出结果：

 index CompanyName City MergeSourceSite
01 Comp1Parisweb1.com
11 Comp1Parisweb2.com
22 Comp1NaNWeb2.com
32 Comp1NaNweb2.com
43 Comp2Oakland site1.com
54 Comp2 London site2.com
66 Comp4NaNurl1.com
77 Comp5 New Yorkexample.com

注意事项

• 原始数据中的 "Nan" 字符串需替换为真正的 np.nan 或 pd.NA，否则 dropna() 不生效；建议加载时用 na_values=["Nan", "nan", ""] 显式声明缺失值标识。
• 若需统一域名格式（如小写、去除协议头），可在 dropna() 后添加清洗步骤：

  merged_sources["MergeSourceSite"] = (
  merged_sources["MergeSourceSite"]
  .str.lower()
  .str.replace(r"^https://|www.", "", regex=True)
  )

• drop_duplicates() 防止同一公司同一城市下重复域名被多次保留；若业务允许重复（如记录采集次数），则可省略该步。

方案优势

该方案简洁、可扩展性强。

新增 Source4site 列时，只需将其加入 value_vars 列表即可，无需修改逻辑结构。

《夸克》非常好用的免费AI浏览器

下载APP查看