加入收藏 | 设为首页 | 关于我们尊敬的先生/女士,您好,欢迎光临学术论文网!
毕业论文

 联系我们

点击这里给我发消息 陈编辑 2591959252 点击这里给我发消息 杨编辑 2490814671
联系电话:17343344559
微信:lunwenpass
 开题报告
软件工程硕士毕业论文开题报告(导师推荐)
发布时间:2019-10-30 点击: 发布:学术论文网

论文题目:SEM广告数据分析系统的设计与实现

1.选题背景及意义

1.1选题背景
搜索引擎是互联网用户每天上网必不可少的,很多用户都是通过搜索引擎来获取相关数据信息,尤其是在中国,搜索引擎市场规模越来越大,未来中国搜索引擎市场仍将以较快的幅度增长,到2018年市场规模预计将达到更高。而本文研究的SEM广告数据分析系统的设计与实现,其推广方式是京东、淘宝、天猫以及其它互联网网站流量的重要来源。各个广告主通过在搜索引擎投放关键词、和关键词创意,在用户搜索到结果后将用户引导到预期的页面,为网站带来点击、购买等行为,从而提升网站的效益。主要体现在以下几个方面:
 首先,竞价排名是搜索引擎最主要的盈利方式,搜索用户通过输入关键词之后,搜索引擎会根据广告主对关键词的出价顺序按照从高到低的原则,将相应的信息显示在搜索结果列表上。排名靠前的搜索结果就会有更高的可能被点击和查看的可能性,这对于SEM广告运营来说,按网站需要购买相应的关键词,同时管理和维护这些关键词是运营工作人员每天必备的工作。
其次,搜索结果会根据实时的出价排名排序,在不同时期和不同需求下的前提下,相同关键词会有不同的出价,投放的关键词数量和关键词的类目也会有变化,特别是在中大型的营销活动期间,各大电商平台对特定品类的关键词竞争,需要实时调整关键词的出价以确保自己的结果显示在有利排名区域。
尤其现在很多大型的自营电商平台,自营式B2C电商市场的占有率为非常高,拥有上亿用户。其中每一个电商平台下拥有家电、服装、图书等数十个类目,每个类目下有多级子类目,都有大量的商品,商品又会涉及大量不同关键词,关键词还会有创意、子链接等多个维度。需要管理的关键词就非常多。对于对营销人员来说,这是一个非常大的挑战,就需要调度分析的SEM综合平台,以提高SEM的投放效率、反应速度、提供精准分析数据。但是,在这个SEM广告运营和管理过程中,就有可能会出现以下几方面的问题:
1.与各家搜索引擎实现数据同步,差异的搜索引擎,需要在海量数据的前前提下所有的数据都与媒体不能保持一致,在限制和规定的时间内,不能实施更新操作
2.不能很好的保证设计好操作存储,上传,调度等多方面的策略等,
3.有可能会出现不同API接口能在平台的操作下实现统一的调度。导致影响各家搜索引擎的稳定性,环境不同需要考虑各种不同的不稳定情况不同,很难更好的确保系统的平稳运行。
这些问题使得SEM广告数据分析系统的设计与实现,可以更好的保证调度分析的SEM综合平台的实现,以提高SEM的投放效率、反应速度、提供精准分析数据。
基于以上背景,有必要建立一个广告数据分析系统,定期汇聚处理海量数据,提供各个维度海量数据的查询,生成各指标,提高操作效率,降低维护成本,使得投放更实时、更迅速、更效率。

1.2选题意义

随着广告行业的逐步发展,广告效益分析已经逐渐成为新兴的数据仓库业务主题,本文将搜索引擎营销作为企业的一种营销战略来研究,通过对搜索引擎营销各种产品的研究,结合企业自身状况,制定科学、合理的搜索引擎营销战略,提高企业的投资回报率、提高企业知名度、挖掘潜在客户,为企业的长远发展提供支持。 首先,本系统主要目的是建立一个SEM投放的高效管理平台,能够获取和同步各家搜索引擎中各个账户的数据,查看各个维度的数据,评估投放效果。能够统一操作各个搜索引擎差异化的投放操作,能够实现账户、分类、分组、关键词等各个维度数据的修改,调价达到高效投放的效果。
其次,本文在建立一个广告数据分析系统的前提下,定期汇聚处理海量数据,系统目标预期能够高效处理海量数据,能够实现系统高度可扩展、高可配置、高健壮性,在新增需求时能够高效便捷地扩展项目代码。能够应对异常情况,对数据延迟、运行环境异常、操作失误等情况下,能够重新获取执行数据。

2.国内外研究现状分析

2.1国外现状
在国外,经过20多年的发展,互联网己经深入到日常生活的方方面面,在网络媒体上投放广告越来越多,对广告效果进行评估和分析变得日益重要。目前,从事广告效果评估分析的国外主要产品有谷歌统计,雅虎统计等。
Lauren Troxclair在研究中提出了搜索引擎广告中的商标侵权问题。通过对Government Employees Insurance Co.以及Playboy Enterprise, Inc两家公司的研究,对Google等搜索引擎提供商对商标的保护提出了建议,并对公司保护商标使用权给出了提示。
谷歌统计是一个全面的网站监测分析解决方案。它的目标是跟踪销售和转化情况,根据广告主定义的阂值来衡量网站的用户参与度。它根据关键字、搜索查询匹配类型等方面的点击后数据来优化广告主的AdWords广告效果。AdSense报告可向广告主表明哪些网站内容产生的收入最高,跟踪EDM(电子邮件营销)广告系列、Banner(横幅)广告和离线广告等等。跟踪带来交易的广告系列和关键字,获取客户忠诚度和等待时间指标,确认最佳收入来源。
 Syvia Wolf其学位论文中以美国某休闲游戏公司位对象,研究该公司的搜索引擎营销战略。并以欧洲多国市场的实际运行数据为基础,跟踪分析搜索引擎
营销战略的效果。在研究总还给出了搜索引擎营销战略的一般步骤及其研究
方法。
2.2国内研究现状
汪潇在研究中分析了关键字广告存在的一些问题,搜索的文件格式单一,结果不准确,不符合个性化趋势;商标侵权;滥卖关键字存在的社会问题等。王玉在研究中也提出了搜索引擎广告市场发展的障碍问题,并提出面对现在付费搜索引擎日益火爆的营销市场,我们还是应该采取冷静的态度,在网络服务提供商、商家和用户之间找到一个合适的平衡点,以谋求网络营销的效用最大化。周荣庭对图书出版社的搜索引擎营销策略做了有益的尝试研究,他从出版社如何开展网络营销入手,引出搜索引擎营销这一利器,通过翔实、具体的例子阐明了出版社应该如何实施搜索引擎营销策略,详细介绍了搜索引擎导向的广告投放策略、搜索引擎导向的网站优化策略、搜索引擎导向的网站推广策略、搜索引擎导向的信息收集策略。季芳在2009年的文章中对中小企业的搜索引擎营销策略做了详细的研究,随着搜索引擎营销本身的特征和搜索引擎运营商商业模式的发展,搜索引擎营销策略已成为企业营销策略的一个组成部分,其不仅仅是购买搜索引擎广告、搜索引擎优化以及网站推广等。有效的搜索引擎营销策略需要专业化经营和管理。把握“以用户体验为中心”这一原则,努力去改善用户的感受,才是正确的思路。

2.3总结

无论国外还是国内的产品目前都有一个明显得缺点,它们不能和具体的运营销售数据相关联,不能很直接的得出通过广告获得的效益,本文所论述的系统正好解决了这一问题。

3.研究目标及内容

3.1 研究目标

分析各家搜索引擎的实时数据,聚合各个维度,产生分析数据,提供各个维度海量数据的查询,生成各指标数据报表。
本文研究的重点是SEM广告数据分析系统的设计与实现的基础上,本系统能为SEM投放人员提供多维度的数据分析,以供其参考,以实际需求改变投放策略,降低投入成本,提升GMV,从而有效提升RIO。统一各家搜索引擎的投放操作差异,提高操作效率,降低维护成本,使得投放更实时、更迅速、更效率。

3.2 研究内容

结合目前为止中国最大的自营电商平台,多种品类、多种商品的SEM投放数据分析的前提下,对SEM广告数据分析系统的设计与实现。
主要内容包括:
1. 介绍了系统的选题背景,相关研究现状,研究内容和意义,关键技术难点及系统解决方案.
2. 介绍了系统所涉及到的相关技术。
3. 需求分析,介绍模块数据库设计,各个模块的需求,了解各个模块的具体含义和功能要求。
4. 系统架构设计,介绍系统整体框架,物理结构,总体性能设计,接口设计。
5. 系统的关键功能详细设计和实现,
6. 系统测试,系统测试计划、系统测试用例的实现。
3.3.研究方法与技术线路

3.3.1研究方法

1. 调查法:对中国最大的自营电商平台,多种品类、多种商品的SEM投放数据进行分析和调查。找出本系统需要研究和解决的问题。
2. 通过论文阅读借鉴他人研究经验,完善文章的理论体系结构;另外,更具国内外一些网络调查公司、机构发布的研究报告,为论文研究提供数据支撑。
3. 通过市场对营销相关数据分析。拟选取搜索引擎广告中的一种广告方式:关键字广告来进行案例研究,采用一些关键词工具分析,得到所需数据,以支持论文观点。
4. 技术路线
 本章详细介绍系统所用到的相关技术,介绍技术的特性,介绍各种技术的总体机构和框架,系统涉及的相关技术包括Hadoop,Hdfs,Oozie,Pig,NodeJs, ElasticSearch。
1) Hadoop
Hadoop是一个支持数据密集型的分布式开源框架,现在正处于Apache开源
组织的管理状态下。它可以被部署在大型服务器上用来实现濒据集群的管理和操作,并且支持MapReduce算法模型,已经在云计算平台上被广泛的应用。Hadoop提供给使用者一套稳定的,可靠的程序接口,技术人员无需了解其中的并行应用开发的细节,减轻了技术人员的工作强度,使得技术人员可以更方便的,更快速的构建一套企业级的应用来进行分布式数据的处理和海量数据的管理等实际工作。
2) HDFS系统
HDFS的全称为Hadoop Distributed File System,是Hadoop的分布式文件系统,它具有高容错性,可以部署在并不昂贵的服务器上,采用流式数据访问模式,
在本文的数据采集系统中起到的作用是存储海量的数据的数据平台,其具有的特
点有:分布式存储管理,高吞吐率和方便部署。HDFS是一个主从结构,其对使用
者开放文件命名空间并且允许使用者以文件的形式存储数据,一个HDFS集群只有一个名字节点,是一个用于调度客户端访问文件和管理文件命名空间的主服务器,并且搭配了许多数据节点,一般采用的机制是一个节点代表二个机器,相应的机器管理相应节点的工作。在HDFS内部,采取的操作是将一个整体文件分成多个小块并存储在一组数据节点中。通过名字节点对文件命名空间的文件和目录进行操作,通过数据节点处理文件系统客户的读写请求。
在本文实现的数据采集系统中,系统采集的数据来源即是搜索引擎通过用户在使用搜索引擎的过程中所进行的行为所构成的数据,这些数据都以文件的形式存储在Hadoop分布式文件系统中,于是本文实现的数据采集系统的第一部分:从数据集群中获取数据的工作,也就是从Hadoop分布式文件系统中来获取数据。
3) Pig平台
Pig是一个基于Hadoop的大数据分析平台,它所使用的语言为Pig Latin o PigLatin是一个高级的过程语言,适合应用在Hadoop和MapReduce平台上,用来查询大型的半结构化数据集。Pig可以通过对分布式数据集进行类似SQL的查询来起到简化Hadoop使用的作用。

4.关键技术难点及系统解决方案

4.1系统需求分析
4.1.1企业现状分析
SEM广告分析系统需求包括后台管理、报表中心和物料管理几个主要功能。后台管理负责管理在各个平台投放广告的账户信息,同时提供文件上传功能将包含广告投放的账户、计划、单元、关键词等方面信息的数据csv文件批量上传,存储到托Hive中以供后续处理。报表中心提供各个维度的报表数据查询和报表数据导出。物料管理可单独操作账户计划、单元、关键词等粒度一条或多条数据数据。京东做为中国最大的自营电商平台,2015年第一季度在中国自营式B2C电商市场的占有率为56.3%,拥有上亿用户。京东电商平台下拥有家电、服装、图书等数十个类目,类目下有多级子类目,类目下有大量的商品,商品又会涉及大量不同关键词,关键词还会有创意、子链接等多个维度。需要管理的关键词多大数十亿。   
4.1.2系统流程分析 
1. 数据查询流程
业务用户最常用的功能包括数据查询,数据查询的一般流程包括,先选择查询条件,接着输入验证,后台查询数据,最后显示数据。
2. 数据分析承担着大数据量用户行为日志的分析工作,首先广告数据进入分布式平台分析,分析结果进入数据库存储,供数据显示。
3. 数据分析流程
数据分析承担着大数据量用户行为日志的分析工作,首先广告数据进入分布式平台分析,分析结果进入数据库存储,供数据显示。
4.1.3功能需求分析
1. 账户管理
账户管理负责统一管理在各个媒体投放广告的账户数据,提供各个账户基本信息的添加导出等操作。   
账户管理模块提供账户基本信息录入,账户信息查看,账户信息全量导出,选中账户信息信息导出,可见账户信息导出几种操作。如图为账户信息管理模块用例图。