数据标注基本理论与工具软件

课程目标

• 理解数据标注的定义、重要性及其在人工智能中的作用

• 掌握数据标注的类型、流程和质量控制方法

• 熟悉常见数据标注工具及其使用场景

• 通过简单示例，初步体验标注工具的使用

第29学时：数据标注理论基础

1. 数据标注简介

1.1 什么是数据标注？

• 定义：为数据（如图像、文本、音频）添加标签或元信息，使机器学习模型能够理解和学习。

• 作用：提供高质量的训练数据，是AI模型开发的核心步骤。

• 示例：

  • 图像：为图片标注物体类别（如“猫”）。

  • 文本：为句子标注情感（正面/负面）。

  • 音频：为语音片段标注文本内容。

1.2 数据标注的重要性

• 模型性能：标注质量直接影响模型的准确性。

• 应用场景：

  • 自然语言处理（NLP）：情感分析、命名实体识别。

  • 计算机视觉：物体检测、图像分类。

  • 语音识别：语音转文本。

• 挑战：

  • 时间与成本：手动标注耗时，需大量人力。

  • 一致性：不同标注者可能产生不一致的标签。

  • 隐私与伦理：处理敏感数据需遵守法规（如GDPR）。

1.3 数据标注的典型流程

1. 数据收集：获取原始数据（如图片、文本）。

2. 任务定义：确定标注目标（如分类、边界框）。

3. 标注指南：制定明确的规则和示例。

4. 标注执行：使用工具或手动完成标注。

5. 质量验证：审查和修正标注结果。

6. 数据输出：生成标准格式（如CSV、JSON）。

2. 数据标注类型与流程（30分钟）

2.1 常见数据标注类型

• 分类：为数据分配离散标签。

  • 示例：为图片标注“猫”或“狗”。

• 回归：为数据分配连续值。

  • 示例：为房屋图片标注价格。

• 边界框（Bounding Box）：为图像中的物体绘制矩形框并标注类别。

  • 示例：框选图片中的“人”或“车”。

• 语义分割：为图像的每个像素分配类别。

  • 示例：区分图片中的“天空”和“地面”。

• 序列标注：为序列数据（如文本）的每个元素分配标签。

  • 示例：命名实体识别（NER），标注“人名”“地名”。

2.2 数据标注方法

• 手动标注：人工逐一标注，适合小规模、高精度需求。

• 半自动标注：结合算法预标注+人工校正。

  • 示例：使用预训练模型预测标签，再人工调整。

• 众包标注：通过平台（如Amazon Mechanical Turk）分配任务给多人。

• 自动化标注：使用规则或模型自动生成标签，需后续验证。

2.3 标注流程示例

• 任务：为动物图片标注类别（猫/狗）。

• 步骤：

  1. 收集100张猫狗图片。

  2. 定义标签：cat, dog。

  3. 使用工具（如LabelImg）为每张图片分配标签。

  4. 两人独立标注，比较一致性。

  5. 输出CSV文件：filename, label。

3. 标注质量控制（20分钟）

3.1 为什么需要质量控制？

• 低质量标注导致模型性能下降。

• 主观任务（如情绪标注）容易产生分歧。

3.2 质量控制方法

• 标注指南：提供清晰的规则和示例。

  • 示例：为情绪标注定义“开心”=嘴角上扬、眼睛眯起。

• 多轮审查：多个标注者独立标注，比较结果。

• 一致性评估：使用指标如Cohen’s Kappa系数。

  • Kappa > 0.8：高度一致；< 0.4：一致性较差。

• 随机抽检：定期检查部分标注结果。

• 反馈机制：标注者讨论分歧，统一标准。

3.3 案例讨论

• 任务：为评论标注情感（正面/负面）。

• 问题：评论“还行吧”应标注为正面还是负面？

• 解决：制定指南，明确“中性”类别或统一规则。

4. 练习与讨论（20分钟）

4.1 练习

• 任务1：设计一个标注指南，为动物图片分类（猫/狗）定义规则。

  • 示例：猫=有胡须、尖耳；狗=长鼻、圆耳。

• 任务2：模拟标注一致性评估。

  • 两人标注10张图片（猫/狗），计算一致率（相同标签数/总图片数）。

4.2 讨论

• 哪些任务适合手动标注？哪些适合自动化？

• 如何平衡标注速度与质量？

• 处理敏感数据（如人脸）时需注意哪些伦理问题？

第30学时：数据标注工具软件

1. 常见标注工具介绍（20分钟）

1.1 图像标注工具

• LabelImg：免费，开源，支持边界框和分类标注。

  • 适合：物体检测、简单分类。

• LabelMe：支持边界框、分割、关键点标注。

  • 适合：复杂图像任务。

• VGG Image Annotator (VIA)：基于浏览器，轻量，适合分类。

• Roboflow：在线平台，支持分类、检测、数据集管理。

1.2 文本标注工具

• Doccano：开源，支持文本分类、序列标注。

• Prodigy：商业工具，适合快速标注。

• Brat：基于Web，适合NER和关系抽取。

1.3 其他工具

• Audacity：音频标注，标记时间戳。

• Praat：语音分析和标注。

• Crowdsourcing平台：如Amazon Mechanical Turk、Appen。

1.4 工具选择原则

• 任务类型：图像分类用LabelImg，文本用Doccano。

• 数据规模：小规模用手动工具，大规模用在线平台。

• 预算：开源工具免费，商业工具更高效但需付费。

2. LabelImg与Python脚本实践（30分钟）

2.1 任务：为动物图片进行分类标注

• 目标：使用LabelImg为5张猫狗图片标注类别，生成CSV。

• 准备：

  • 安装LabelImg：pip install labelImg 或从 GitHub 下载。

  • 创建文件夹 animal_images/，放入5张猫狗图片。

  • 创建类别文件 classes.txt：
    

    javascripttypescripthtmlcssshellpythongolangjavacc++c#phprubyswiftkotlinscalarustdartelixirhaskellluaperlrsql

    cat
    dog

2.2 LabelImg操作

1. 启动LabelImg：终端输入 labelimg。

2. 打开 animal_images/ 文件夹。

3. 设置输出格式为Pascal VOC（XML）。

4. 加载 classes.txt。

5. 标注：

   • 选择图片，点击“Create RectBox”（仅为记录类别）。

   • 选择类别（cat/dog），保存XML。

6. 重复，直到所有图片标注完成.

2.3 Python脚本：解析XML生成CSV

import os
import xml.etree.ElementTree as ET
import pandas as pd

# 图片和XML文件夹
image_dir = "animal_images/"
xml_files = [f for f in os.listdir(image_dir) if f.endswith(".xml")]

# 解析XML
data = {"filename": [], "label": []}
for xml_file in xml_files:
    tree = ET.parse(os.path.join(image_dir, xml_file))
    root = tree.getroot()
    filename = root.find("filename").text
    label = root.find("object/name").text
    data["filename"].append(filename)
    data["label"].append(label)

# 保存CSV
df = pd.DataFrame(data)
df.to_csv("animal_labels.csv", index=False)
print("标注结果已保存到 animal_labels.csv")
print(df)

2.4 输出示例

• animal_labels.csv：
  

  javascripttypescripthtmlcssshellpythongolangjavacc++c#phprubyswiftkotlinscalarustdartelixirhaskellluaperlrsql

  filename,label
  image1.jpg,cat
  image2.jpg,dog
  ...

3. 其他工具体验与比较（30分钟）

3.1 任务：使用VIA进行文本分类

• 目标：为5条评论标注情感（正面/负面）。

• 工具：VGG Image Annotator (VIA)，浏览器运行。

• 步骤：

  1. 下载VIA：从 VIA官网 获取。

  2. 打开 via.html，导入CSV格式的评论：
     

     javascripttypescripthtmlcssshellpythongolangjavacc++c#phprubyswiftkotlinscalarustdartelixirhaskellluaperlrsql

     id,text
     1,产品质量很好
     2,物流太慢
     ...

  3. 添加属性“emotion”（选项：positive, negative）。

  4. 逐条标注，导出CSV。

3.2 工具比较

• LabelImg vs. VIA：

  • LabelImg：适合图像边界框，操作简单。

  • VIA：适合轻量分类，跨平台。

• 手动 vs. 在线平台：

  • 手动：免费，灵活，但效率低。

  • 平台（如Roboflow）：支持团队协作，适合大规模。

3.3 练习

• 使用VIA为3条新评论标注情感，导出CSV。

• 比较LabelImg和VIA的操作体验，记录优缺点。

4. 总结与课后任务（10分钟）

4.1 总结

• 数据标注是AI开发的基础，涵盖多种类型和方法。

• 工具选择需根据任务类型和规模决定。

• 质量控制是确保标注效果的关键。

• 下一步：学习特定领域的标注实践（如情绪标注）。

4.2 课后任务

1. 实践：使用LabelImg为5张新图片（任意物体）标注类别，生成CSV。

2. 探索：尝试Doccano为10条文本标注情感（安装：pip install doccano）。

3. 思考：设计一个标注任务（如人脸情绪），列出适合的工具和流程。

参考资源

• Python官方文档：docs.python.org/3/

• LabelImg教程：github.com/tzutalin/...

• VIA文档：www.robots.ox.ac.uk/...

• 数据标注入门：www.supervisely.com/...