平台架构设计_平台架构设计师招聘

平台架构设计_平台架构设计师招聘

       现在，我将着重为大家解答有关平台架构设计的问题，希望我的回答能够给大家带来一些启发。关于平台架构设计的话题，我们开始讨论吧。

1.微服务开发中的数据架构应该怎样设计

2.信息架构的概念与设计方法？

3.到底如何区分什么是架构，框架，模式和平台

4.电子商务网站一般架构有哪些

微服务开发中的数据架构应该怎样设计

       前言

       微服务是当前非常流行的技术框架，通过服务的小型化、原子化以及分布式架构的弹性伸缩和高可用性，可以实现业务之间的松耦合、业务的灵活调整组合以及系统的高可用性。为业务创新和业务持续提供了一个良好的基础平台。本文分享在这种技术架构下的数据架构的设计思想以及设计要点，本文包括下面若干内容。

       微服务技术框架中的多层数据架构设计

       数据架构设计中的要点?

       要点1：数据易用性

       要点2：主、副数据及数据解耦

       要点3：分库分表

       要点4：多源数据适配

       要点5：多源数据缓存

       要点6：数据集市

       为了容易理解，本文用一个简化的销售模型来阐述，如下图。图1显示了客户、卖家、商品、定价、订单的关系（这里省略支付、物流等其他元素）。

       图1 销售模型

       在这个销售模型中，卖家提供商品、制定价格，客户选择产品购买、形成销售订单。根据微服务的理念设计，可以划分为客户服务、卖家服务、商品服务、定价服务、订单服务，以及公共服务（比如认证、权限、通知等），如图2所示。

       图2 微服务功能

       微服务架构中的多层数据架构设计

       分布式架构一般把系统分为 Saas（Software-as-a-Service）、Paas（Platform-as-a-Service）、Iaas（Infrastructure as a Service ）三层。其中 Saas 层负责对外部提供业务服务，Paas 层提供基础应用平台，Iaas 层提供基础设施。微服务垂直嵌入这三层服务之中，相互独立。因此数据架构设计时需要考虑三层服务对数据的关注点，又要考虑微服务的独立性。

       数据架构的分层设计

       图3 微服务技术框架

       如图3所示，Iaas 层提供程序运行的物理基础环境（这边涉及很多硬件·网络内容，在本文中省略）。Pass 层细分为三层，基础服务层，主要负责数据存储处理；事务框架层，主要负责微服务的注册·调度管理、分布式事务处理；应用服务层、主要实现各个微服务的 API，供其它微服务直接调用以及 Saas 层的服务调用。Saas 服务就是公开对外提供的业务服务。

       数据架构自下向上相应的分为 Raw Data 层、Logic Data（inner）层和 Logic Data（outer）层（Iaas 中主要以基础硬件环境为主，在本文中省略）。Raw Data 层是基于数据库、文件或者其他形式数据内容。Logic Data（inner）层是微服务 API 使用的逻辑数据，比如客户数据、订单数据等等。Logic Data（outer）层是对外服务提供数据，比如客户订单数据。因此，我们的数据架构的分层结果如图4所示。

       图4 数据分层架构

       除此之外，很多情报会以画面或报表的形式展现出来。因此在 Logic Data(outer) 之上，可以构建 Information Block（常用的信息块）、通过 View type（显示模式）的设定后，最终 View 展现出来。

       如图4所示，越靠近对外服务层，客户对设计者的影响度越大，越需要从使用性、易用性、适用性等考虑。反之，越远离对外服务层，设计上更关心数据的存储。

       数据三层架构的好处是实现数据从系统实现到业务实现的逐层过渡，实现业务数据和系统数据间的松耦合。同时实现业务的灵活扩展和系统的灵活扩展。

       数据架构设计中的要点

       上面讲述了数据架构的分层设计，下面讲述数据架构设计中的要点。

       要点1：数据易用性

       数据无论用什么方式实现，其最终目的都是为业务（或者是客户）使用的。因此，在对外提供服务的时候，数据的易用性非常关键。

       图5 数据易用性

       如图5所示，客户信息在 Logic Data（inner） 层中为了数据的柔软性和非冗余，把人员信息拆成若干子表来存储。比如，人员地址表可以无限多的存储客户地址信息。这样的好处在于每次人员地址更新时，不用直接更新人员地址，而是生成一个新的地址数据，原有的地址信息作为历史数据得到保存，易于数据快速恢复和历史信息追踪。但在 Logic Data（outer）层提供外部数据的时候，首先考虑的是一次性能提供足够用的信息（毕竟查询的操作大大高于修改的操作），减少业务场景中不需要的信息。比如对一般客户只提供三个常用地址的时候，数据设计中地址1、地址2和地址3放在一张表中。

       要点2：主、副数据及数据解耦

       每个微服务 API 的数据完全独立是不太现实的，比如订单中需要有商品、客户（包括收货者）、卖家以及价格等数据。如果这些数据都在订单服务 API 中管理，那么客户情报的变更、价格调整等信息都要同步给订单 API 中数据，数据的耦合度就会变得非常高。在数据设计的时候，需要考虑降低数据间的相互依赖性。因此，首先需要确定每个微服务 API 的主数据和副数据。主数据指微服务 API 的核心数据，这种数据的增删改主要集中在某个微服务 API 中，比如订单服务 API 中的订单数据。副数据指参照或者映射其他微服务 API 的数据，比如订单服务 API 中的商品数据、价格数据等。其次，为了降低数据之间的耦合度，用数据关联表来表征数据间的关系。如果想去掉数据间的关联关系，直接去掉关联表即可，对数据本身的没有任何影响。具体如图6所示。

       图6 主、副数据及数据解耦

       要点3：分库分表

       随着业务数据量不断增加，单一数据库或单一数据表中会积累大量的数据，比如订单数据，随着时间推移和客户数量的增加，产生的订单数据也会越来越多。当数据累积到一定程度后，数据操作的性能会大幅下降，也就是我们常说的数据库“带不动了”。所以，在数据架构设计阶段就应该考虑数据的分库分表。

       如图7所示，分库，即我们把订单数据分为当前数据应用库、历史数据库、历史归档数据库。当前数据应用库用来支持新订单的生成以及执行中订单的增删改查。历史数据库（这里举例分为最近3个月和最近1年）当客户想看过往订单的时候才使用。历史归档数据（按年间归档）原则上不直接对客户公开，用于备查、统计分析。对于当前数据应用库，可以继续再分库，按客户号范围来分库。这样每个数据库的大小都能得到有效控制。分表，即把一条信息分别存储在两张或多张表中。比如把订单信息按基本信息和详细信息分表，就可以适用于订单的基本信息查询和订单详细信息查询。总之，分库分表的核心就是控制单一数据库的负荷（数据量和数据信息量），通过多表多库来应对业务数据量的增长。

       图7 分表分库

       要点4：多源数据适配

       传统的关系型数据库之外，有多种多样的数据源，比如图像、声音、视频等多媒体数据文件或数据流，CSV、TXT、Doc、Excle、PDF、XML 等各种异构数。这些数据都需要做相应的处理，转换成可管理的数据信息。因此在数据架构设计的时候，需要给不同性质的数据源配置相对应的读写适配器，同时也需要有统一调度的地方，如图8所示。

       图8 多源数据适配

       要点5：多源数据缓存

       数据处理的性能除了处理逻辑的复杂度以外，还有很大一部分是目标数据的操作时长（含对硬件磁盘设备的读写以及网络的传输）。网络速度特别是光纤的使用后已经大幅度提高，但机器磁盘的读写效率并没有显著提高，因此减少磁盘读写是提高效率的一个重要途径。数据缓存就是把常用的数据（不会经常更改的数据）、最近使用数据放到内存中。这样就可以大幅降低系统对硬件磁盘设备的操作开销，提高整个数据系统的性能，如图9所示。

       图9 数据缓存

       要点6：数据集市

       数据集市是一个很大的话题。当现有的数据不能简单地通过几个表数据关联以及简单加工后就可以供业务使用的时候，就需要考虑构建数据集市。数据集市以数据运用的观点来分析加工数据，通过多源数据的导入、清洗、加工、视图做成等一系列的数据操作后，为业务提供可用的、稳定的数据源。例如，对销售分析中、什么样的客户喜欢什么样的商品、价格对销售金额的影响、销售金额跟地区日期的关联关系等多维度分析，就要用数据集市的概念，如图10所示。

       图10 数据集市

       数据承载着信息，好的数据架构设计会使业务系统变得更加流畅、更加容易理解和维护。本文只是总结一些在实际工程中的体会，供大家分享。如果有不足之处、也请大家补充、赐教。

       （此文转载至GitChat技术杂谈）

信息架构的概念与设计方法？

       定义：

       一个软件随着功能越来越多，整个软件系统逐渐碎片化，如果不采取有效措施，软件系统就会越来越无序，最终无法维护和扩展。

       所以说软件在一段时间的生长后，就需要及时干预，避免越来越无序，架构的本质就是对软件系统进行有序化重构，使软件系统不断进化。

扩展资料：

       系统构架是对已确定的需求的技术实现构架、作好规划，运用成套、完整的工具，在规划的步骤下去完成任务。

       抽象来说，它是计算机系统结构，或称计算机体系结构，是一个系统在其所处环境中最高层次的概念；它确定一台计算机硬件和软件之间的衔接。

       具体地说计算机体系结构指的是计算机系统设计的观念与架构，描述计算机在实做的设计原则。

       它确定一个计算机设计的部件功能 ，部件间接口 并且计算机体系结构着重于“负责了计算机架构的中心功能：计算”的中央处理器内部的运行动作与存储器的访问。

参考资料：

百度百科：系统构架

到底如何区分什么是架构，框架，模式和平台

       关于信息架构的方法和技巧我们在前几期的文章中给大家说过不少次了，今天我们就针对信息架构的概念以及设计方法来做一个简单的介绍，下面电脑培训就开始今天的主要内容吧。

       一、信息架构的概念

       一个饭店需要有哪些设施，如果你是饭店的老板如何合理的排布这些设施，可以让客户感觉很舒服的用餐，这个过程就是一个信息架构的过程。他可以让客户对你的饭店产生好感，从而下次用餐的时候还会想到来你这里吃饭。

       在排布饭店设施的过程中我们要遵循一些规范，比如用户的习惯或者施工规范等，正是因为需要遵循这些规范，所以我们需要一个信息架构来体现这些。

       比较官方的信息架构解释是这样的：信息架构设计是对信息进行结构、组织以及归类的设计，好让使用者与用户容易使用与理解的一项艺术与科学。

       简单来说，信息架构设计就是让用户可以容易地理解你的产品是怎样的。让他们在使用你产品的时候可以更顺利更自然。就像一进入饭店就会有一种感觉，门口是等餐的地方，进去就应该吃饭，如果找洗手间一定不会往门口走，而会往深处走。这就是信息架构的好处：他让用户使用同类产品时更容易上手和理解，让产品更容易被接受。

       二、如何设计信息架构

       1.了解用户，场景，习惯

       你的产品是给到用户用，你当然要了解你的用户，我们先来看下一个概念：「心智模型」。

       心智模型是经由经验及学习，脑海中对某些事物发展的过程，所写下的剧本。人类在经历或学习某些事件之后，会对事物的发展及变化，归纳出一些结论，然后像是写剧本一样，把这些经验浓缩成一本一本的剧本，等到重复或类似的事情再度发生，我们便不自觉的应用这些先前写好的剧本，来预测事物的发展变化。心智模型是你对事物运行发展的预测。再说得清楚一点，你「希望」事物将如何发展，并不是心智模型，但你「认为」事物将如何发展，就是你的心智模型了。

       假设你从没见过iPad，而我刚递给你一台并告诉你可以用它来看书。在你打开iPad使用它之前，你头脑里会有一个在iPad上如何阅读的模型。你会假想书在iPad屏幕上是怎样的，你可以做什么事情，比如翻页或使用书签，以及这些事情的大致做法。即使你以前从没有使用过iPad，你也有一个用iPad看书的「心智模型」。你头脑里的心智模型的样式和运作方式取决于很多因素。

电子商务网站一般架构有哪些

       1、设计模式

       为什么要先说设计模式？因为设计模式在这些概念中是最基本的，而且也比较简单。那么什么是设计模式呢？说的直白点，设计模式就是告诉你针对特定问题如何组织类、对象和接口之间的关系，是前人总结的经验。比如我要在代码中实现一个全局唯一的配置类，那么就使用Singleton模式。设计模式在实际编码工作和设计框架时会被使用到，而更高层的架构和平台则不会太关注它。

       2、框架

       做WEB开发接触到最多的框架可数ORM框架，ORM框架只是所有数据关系映射框架的统称，具体的如NHibernate、ActiveRecord等，框架是为了解决特定问题而存在的，其它诸如模板框架、缓存框架，框架不能直接使用，需要二次开发。

       3、架构

       从大的层面来说，比如针对公司业务的B2C网站系统架构，里面可能会用到多种解决各方面问题的框架，关注的是技术整合、扩展、可维护性。换个角度，在框架中也会涉及到架构问题，比如开发NHibernate框架，也需要考虑如何进行设计。

       4、平台

       平台的概念类似框架，但又结合的架构的考虑，它是更高层面上的“框架”，准确说是一种应用。它是针对企业用户，为解决企业业务需要而形成的产品。

       大型电子商务网站架构，摘抄 7.同一个网站的多语言该如何处理是好,使用配置文件然后cookie或url来判别?===客户是自己公司，使用标准方法即可

       8.电子商务网站最多的就是 商品的打折方式和积分的赠送了,这里要怎么设计才好(工厂模式)?===采购成熟的规则引擎

       9.如果同一时间并发大量订单的话,如果确保一个订单的有效提交呢?

       ==电子商务一般要使用MQ，推荐IBM MQ；使用MSMQ也可

       第一点是数据库要设计好，要达到什么级别，你可能需要考虑哪些表需要拆分，哪些表的核心数据需要冗余，如果是mysql，还要考虑其他的问题，比如存储引擎。

       新闻肯定是要生成纯静态页，对数据库压力就小很多，不过静态页也有管理上的不方便，更新删除添加都要对磁盘文件进行操作

       做一个自定义缓存层，对缓存逻辑进行控制，可以采用第三方缓存模块，如果使用.net来做，可以层层缓存，页面缓存，数据缓存（memcache，不过在win下效率不高）

       电子商务网站特点就是对事务的严格，需要数据库设计的时候要求高性能，也需要合适的索引，支持高并发，经常对产品表用户表等进行索引检查，是否有很多索引扫描和表扫描（即使是局部的，也要将逗局部地控制到最小范围）

       mssql语句对不需要事务的查询要附带上with(nolock),以利于并发更新。

       有些功能模块不能按照想当然的方式开发，比如产品访问次数，切不可将这些更新非常频繁的字段置于核心表内，明确的做法是将其剥离开来 还有就是切不可经常性将字段设计成bool类型，这样会给以后的扩展留出路，即使是男女这种字段，也建议采用tiny类型

       其他还有就是在产品设计的时候充分考虑seo，网站目录结构清晰可读，而不是带着一串串的查询参数。

       对安全要有整体的把握，最好全都是用存储过程，在项目上线前将数据库存储过程全部导出再查找貌似exec的语句，查找是否需要替换成sp_executesql。

       另外，如果采用mssql，全文搜索直接用mssql fte就可以，速度和精确度都还是可以的，最重要的是维护和管理开发很简单。

       打折的处理可以按照电信的一次，二次批价功能，如果你做过电信方面的系统。

       当然也可以设计得更简单的一些。 静态的页面建议使用CDN加速，以解决网通和电信之间访问速度的问题；

       数据的缓存方面建议考虑用memcache，另外也可以分别在表现层和数据层利用.net中的现存缓存机制作业可；

       简单执行的sql可以不用存储过程，存储过程会占用数据库服务器的处理时间，造成死锁；

       mvc建议还是做些CMS的项目上应用，电子商城不是很适合，个人观点。url上可以做转义，使url显示更友好；

       数据库建议建立分布数据库，这样可以转移查询和大访问量对数据库带来压力；

       可以考虑单独放在一台服务器上；1.三层架构

       2.使用手写sql,手写entity(生成也可),缓存反射绑定(不是缓存数据哦,缓存映射关系),要考虑网站的长期发展还是手写吧 灵活 性能也好

       3.没有这种问题,商业驱动的,纯购物就好了,千万别搞什么圈子,wiki

       4.纯.net的mvc不建议,webform不搞viewstate,不搞服务端控件(除repeater)再加点mvc的思想已足够用了

       5.不需要缓存数据(除搜索产品部分),要考虑多台服务器的程序快速部署,config文件会很多,config要序列化缓存

       6.当然是先生成好了,参照jd吧,按业务每张对应几个不同大小的图

       7.据经验,电子商务网站仅靠中英双语来达到多语言是不靠谱的(文化 用户习惯不是简单的语言切换),如果想真正运营英语的就要重新开发一个版本

       8.不搞模式

       9.负载均衡(web,db)+ssb异步处理数据

       10.你是业务类型的日志还是异常日志? 前台订单流程上异常日志不需要了,找个工具录个脚本不停的跑 保证随时发现问题发邮件就可以了

       11.找第三方搜索组件 类似endeca的

       12.负载均衡挺简单的,初期靠软件就可以,一切找第三方放cdn,前台网站用到ajax的地方很少,如果用的话jquery 1，一个电子商务网站用户99.5%的行为时Find

       2、对于商品检索部分，能不用数据库就不用数据库（网上切词等相关的开源平台很多）

       3、分布式缓存（Memcached 、Volecity），个人测试volecity 3还是不错的

       4、系统设计时必须要考虑可运营。从这个角度去设计系统

       5、对于电子商务网站改动很频繁，必须考虑架构设计如何适应频繁的版本更新

       6、必须设计一个好的单点登录系统。

       7、建议能不用sqlserver就不用它。

       8、对于大型电子商务网站来说，系统的I/O是起决定因素而不是CPU和内存。1.项目划分是否会有问题,图中分别是 实体层,数据访问接口层,数据访问层,业务逻辑接口层,业务逻辑,网站A,B,C

       项目划分其实不重要，重要的的是你在写代码的时候是否能把代码合理的分到对应的项目里。

       2.数据访问层是要开发效率(NBear,Linq,Nh等),还是访问效率(直接使用sql等)?是否可以先使用开发效率高的,等日后访问量大了,再重写并替换数据访问层?

       开发效率优先，访问量大了以后，我相信是有钱投到硬件上的，在你程序写的不是很烂的情况下，升级硬件远比优化程序节省成本。

       3.网站被切割成了多个子网站,有一些控件(如header,footer)是要共享的,如何跨网站项目共享这些控件呢?

       那就做成自定义控件啦。

       4.ms的mvc 1.0也出来不少时间了,是否已经够成熟运用到项目中?或者是网站后台使用webform的,前台使用mvc?

       推荐使用使用webform的,前台使用mvc，对于前台来说使用mvc能更好的提升性能，更方便的更换页面表现形式。后台界面相对稳定，用webform可以提高开发效率。

       5.网站数据的缓存是自己开发一个hashtable什么的来维护呢,还是使用Memcached ?

       初期建议用hashtable，因为简单，将来升级到Memcached 。

       6.缩略图的处理,我看有的网站是在上传的时候直接生成,有的是在自带的资源文件的方式实现，当前语言保存在cookie里面。

       8.电子商务网站最多的就是 商品的打折方式和积分的赠送了,这里要怎么设计才好(工厂模式)?

       规则引擎

       9.如果同一时间并发大量订单的话,如果确保一个订单的有效提交呢?

       使用MQ队列

       10.日志方面,log4net?

       log4net只能记录程序运行日志，主要目的是用来调试程序的，系统业务操作日志还你是得自己建一个表来保存。

       11.电子商务的全文检索,这也是个头疼的问题

       lucene，微软索引服务，sqlserver全文检索，方案很多的。

       12.负载均衡方面,有什么好的文章推荐码?

       可以看windows 2003 集群方面的文章 1.项目划分是否会有问题,图中分别是 实体层,数据访问接口层,数据访问层,业务逻辑接口层,业务逻辑,网站A,B,C

       目前我也是这样分的,不过当数据表结构有修改时,会带动其它层的联级修改,非常不方便，所以开发之前最好将数据库设计地完善一点。另外，当网站分成多个以后，其它项目生成的DLL文件要部署到每个网站的bin文件夹里，更新一次都要重新部署，这也是个挺烦人的事，当然可以将DLL部署到GAC里来解决这个问题，不过这样的话本地调试起来就不太方便了，因为项目一有改动，就要将生成的DLL重新拷贝到GAC里才能看到效果。

       2.数据访问层是要开发效率(NBear,Linq,Nh等),还是访问效率(直接使用sql等)?是否可以先使用开发效率高的,等日后访问量大了,再重写并替换数据访问层?

       这个我也在考虑。目前我还没有采用ORM框架，都是在DAL里直接访问DB的。

       3.网站被切割成了多个子网站,有一些控件(如header,footer)是要共享的,如何跨网站项目共享这些控件呢?

       自定义控件。

       4.ms的mvc 1.0也出来不少时间了,是否已经够成熟运用到项目中?或者是网站后台使用webform的,前台使用mvc?

       正在学习这一块。

       5.网站数据的缓存是自己开发一个hashtable什么的来维护呢,还是使用Memcached ?

       现在我用的比较多的是.net自带的数据缓存。

       6.缩略图的处理,我看有的网站是在上传的时候直接生成,有的是在?

       目前我是自已写代码存在库里的。

       11.电子商务的全文检索,这也是个头疼的问题

       用lucene.net分词建索引，再直接从索引库里搜索，又快又准。

       12.负载均衡方面,有什么好的文章推荐码?

       不清楚了。 这样的设计要达到新蛋的效果肯定不可能的，新蛋少说几百台服务器，不同数据库之间的发布订阅链路都有几千条。有复杂的缓存，负载均衡机制。新蛋所有的通讯都是基于WCF的。另外对于这么大型的网站来说，数据库一刻都不停止，所以读写分离也很重要，因为你也不可能让数据库停下来进行备份。总归要做到新蛋这样的大型电子商务网站，靠你上面画的这点好像远远不够。

       不过关于公共的header,footer,我不建议做成自定义控件，这个维护起来不方便，稍有变动就要发布dll，麻烦的。

       如果你的header和footer不是很大的话，建议采用js+css的方式。然后加上压缩和cdn缓存，应该效率上能接受。

       今天关于“平台架构设计”的探讨就到这里了。希望大家能够更深入地了解“平台架构设计”，并从我的答案中找到一些灵感。