其实学习 Java 学到什么程度算是精通,这个其实没有盖棺定论的,也不是说你拿个年薪几十万的 offer 就可以自诩精通了。另外,每当面试的时候简历上填个精通 offer 的家伙我就觉得很搞笑,没有几个熬得过开出门左拐的命运。但是我认为,如果市面上这些资料、书籍你都啃的差不多,你能在所有的 Java 程序员中跻身前 ;
上面的配置只是指定了 nginx 需要转发的服务端列表,并没有指定分配策略。
默认情况下采用的是轮询策略,将所有客户端请求轮询分配给服务端。这种策略是可以正常工作的,但是如果其中某一台服务器压力太大,出现延迟,会影响所有分配在这台服务器下的用户。
# 快速关闭Nginx,可能不保存相关信息,并迅速终止web服务
# 平稳关闭Nginx,保存相关信息,有安排的结束web服务
# 因改变了Nginx相关配置,需要重新加载配置而重载
# 为 Nginx 指定一个配置文件,来代替缺省的
# 不运行,而仅仅测试配置文件。nginx 将检查配置文件的语法的正确性,并尝试打开配置文件中所引用到的文件
# 显示 nginx 的版本,编译器版本和配置参数
上面只是一些 Nginx 的基础知识,如果想要了解更多的 Nginx 内容,你可以参考
学习 Nginx ,跟着陶辉老师就够了,这本书首先通过介绍官方 Nginx 的基本用法和配置规则,帮助读者了解一般 Nginx 模块的用法,然后重点介绍了如何开发 HTTP 模块(含 HTTP 过滤模块)来得到定制化的 Nginx,其中包括开发—个功能复杂的模块所需要了解的各种知识,并对内存池的实现细节及 TCP 协议进行了详细介绍;接着,综合 Nginx 框架代码分析了 Nginx
架构的设计理念和技巧,此外,还新增了如何在模块中支持 HTTP变量,以及与 slab 共享内存等相关的内容,相信通过完善,可进一步帮助读者更好地开发出功能丰富、性能—流的 Nginx 模块。
如果大家有兴趣,陶辉老哥在极客时间开了一门关于 Nginx 的课程,大家可以详细了解下。
Nginx 是需要你在工作中逐渐掌握的,它涉及内容如下
等,都利用其强大的对于网络抽象的核心代码。
这一本书循序渐进的为你介绍了 Netty 各个方面内容,本书共分为4个部分:第一部分详细地介绍Netty 的相关概念以及核心组件,第二部分介绍自定义协议经常用到的编解码器,第三部分介绍Netty 对于应用层高级协议的支持,会覆盖常见的协议及其在实践中的应用,第四部分是几个案例研究。此外,附录部分还会简单地介绍 Maven,以及如何通过使用 Maven编译和运行本书中的示例。
ES 的全称是 Elasticsearch,这个名字挺难拼写的,关于 ES 是干啥的以及 ES 入门汇总,你可以参考这一篇
更多关于 ES 的内容,你可以看这本书
全书共分两个部分,第一部分解释了核心特性,内容主要涉及 Elasticsearch 的介绍,数据的索引、更新和删除,数据的搜索,数据的分析,使用相关性进行搜索,使用聚集来探索数据,文档间的关系等;第二部分介绍每个特性工作的更多细节及其对性能和可扩展性的影响,以便对核心功能进行产品化,内容主要涉及水平扩展和性能提升等。
《Elasticsearch源码解析与优化实战》介绍了Elasticsearch的系统原理,旨在帮助读者了解其内部原理、设计思想,以及在生产环境中如何正确地部署、优化系统。系统原理分两方面介绍,一方面详细介绍主要流程,例如启动流程、选主流程、恢复流程;另一方面介绍各重要模块的实现,以及模块之间的关系,例如 gateway 模块、allocation
模块等。本书的最后一部分介绍如何优化写入速度、搜索速度等大家关心的实际问题,并提供了一些诊断问题的方法和工具供读者参考。
我刚开始学 ES 的时候,竟然不知道 ELK 是什么。。。。。。那么 ELK 是啥,为啥要搞 ELK ?
一般我们需要进行日志分析场景:直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理,所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统,将所有节点上的日志统一收集,管理,访问。
一般大型系统是一个分布式部署的架构,不同的服务模块部署在不同的服务器上,问题出现时,大部分情况需要根据问题暴露的关键信息,定位到具体的服务器和服务模块,构建一套集中式日志系统,可以提高定位问题的效率。
一个完整的集中式日志系统,需要包含以下几个主要特点:
- 收集-能够采集多种来源的日志数据
- 传输-能够稳定的把日志数据传输到中央系统
- 存储-如何存储日志数据
- 分析-可以支持 UI 分析
- 警告-能够提供错误报告,监控机制
ELK提供了一整套解决方案,并且都是开源软件,之间互相配合使用,完美衔接,高效的满足了很多场合的应用。目前主流的一种日志系统。
ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用资源少,适合于在各个服务器上搜集日志后传输给Logstash,官方也推荐此工具。
Elasticsearch是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
Logstash 主要是用来日志的搜集、分析、过滤日志的工具,支持大量的数据获取方式。一般工作方式为c/s架构,client端安装在需要收集日志的主机上,server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。
Kibana 也是一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助汇总、分析和搜索重要数据日志。
- Topbeat(搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据)
这是最简单的一种ELK架构方式。优点是搭建简单,易于上手。缺点是Logstash耗资源较大,运行占用CPU和内存高。另外没有消息队列缓存,存在数据丢失隐患。
此架构由Logstash分布于各个节点上搜集相关日志、数据,并经过分析、过滤后发送给远端服务器上的Elasticsearch进行存储。Elasticsearch将数据以分片的形式压缩存储并提供多种API供用户查询,操作。用户亦可以更直观的通过配置Kibana Web方便的对日志查询,并根据数据生成报表。
此种架构引入了消息队列机制,位于各个节点上的Logstash Agent先将数据/日志传递给Kafka(或者Redis),并将队列中消息或数据间接传递给Logstash,Logstash过滤、分析后将数据传递给Elasticsearch存储。最后由Kibana将日志和数据呈现给用户。因为引入了Kafka(或者Redis),所以即使远端Logstash
server因故障停止运行,数据将会先被存储下来,从而避免数据丢失。
此种架构将收集端logstash替换为beats,更灵活,消耗资源更少,扩展性更强。同时可配置Logstash 和Elasticsearch 集群用于支持大集群系统的运维日志数据监控和查询。
Filebeat由两个主要组件组成:prospectors 和 harvesters。这两个组件协同工作将文件变动发送到指定的输出中。
Harvester(收割机):负责读取单个文件内容。每个文件会启动一个Harvester,每个Harvester会逐行读取各个文件,并将文件内容发送到制定输出中。Harvester负责打开和关闭文件,意味在Harvester运行的时候,文件描述符处于打开状态,如果文件在收集中被重命名或者被删除,Filebeat会继续读取此文件。所以在Harvester关闭之前,磁盘不会被释放。默认情况filebeat会保持文件打开的状态,直到达到close_inactive
(如果此选项开启,filebeat会在指定时间内将不再更新的文件句柄关闭,时间从harvester读取最后一行的时间开始计时。若文件句柄被关闭后,文件发生变化,则会启动一个新的harvester。关闭文件句柄的时间不取决于文件的修改时间,若此参数配置不当,则可能发生日志不实时的情况,由scan_frequency参数决定,默认10s。Harvester使用内部时间戳来记录文件最后被收集的时间。例如:设置5m,则在Harvester读取文件的最后一行之后,开始倒计时5分钟,若5分钟内文件无变化,则关闭文件句柄。默认5m)。
Filebeat如何记录文件状态:
将文件状态记录在文件中(默认在/var/lib/filebeat/registry)。此状态可以记住Harvester收集文件的偏移量。若连接不上输出设备,如ES等,filebeat会记录发送前的最后一行,并再可以连接的时候继续发送。Filebeat在运行的时候,Prospector状态会被记录在内存中。Filebeat重启的时候,利用registry记录的状态来进行重建,用来还原到重启之前的状态。每个Prospector会为每个找到的文件记录一个状态,对于每个文件,Filebeat存储唯一标识符以检测文件是否先前被收集。
Filebeat如何保证事件至少被输出一次:
Filebeat之所以能保证事件至少被传递到配置的输出一次,没有数据丢失,是因为filebeat将每个事件的传递状态保存在文件中。在未得到输出方确认时,filebeat会尝试一直发送,直到得到回应。若filebeat在传输过程中被关闭,则不会再关闭之前确认所有时事件。任何在filebeat关闭之前为确认的时间,都会在filebeat重启之后重新发送。这可确保至少发送一次,但有可能会重复。可通过设置shutdown_timeout
参数来设置关闭之前的等待事件回应的时间(默认禁用)。
Logstash事件处理有三个阶段:inputs → filters → outputs。是一个接收,处理,转发日志的工具。支持系统日志,webserver日志,错误日志,应用日志,总之包括所有可以抛出来的日志类型。
Filters:数据中间处理,对数据进行操作。
grok:解析任意文本数据,Grok 是 Logstash 最重要的插件。它的主要作用就是将文本格式的字符串,转换成为具体的结构化的数据,配合正则表达式使用。内置120多个解析语法。
官方提供的grok表达式:
mutate:对字段进行转换。例如对字段进行删除、替换、修改、重命名等。
drop:丢弃一部分events不进行处理。
clone:拷贝 event,这个过程中也可以添加或移除字段。
geoip:添加地理信息(为前台kibana图形化展示使用)
Outputs:outputs是logstash处理管道的最末端组件。一个event可以在处理过程中经过多重输出,但是一旦所有的outputs都执行结束,这个event也就完成生命周期。
elasticsearch:可以高效的保存数据,并且能够方便和简单的进行查询。
file:将event数据保存到文件中。
graphite:将event数据发送到图形化组件中,一个很流行的开源存储图形化展示的组件。
Codecs:codecs 是基于数据流的过滤器,它可以作为input,output的一部分配置。Codecs可以帮助你轻松的分割发送过来已经被序列化的数据。
json:使用json格式对数据进行编码/解码。
multiline:将汇多个事件中数据汇总为一个单一的行。比如:java异常信息和堆栈信息。
关于 ELK 看官网文档就行了,市面上没有什么好的可以借鉴的书籍。
是一款优秀的分布式版本控制平台,代码协作通常用于团队或者多人共同开发一个项目的情况,刚开始接触代码协作可能无法理解,就是说你和你的同事共同开发一个项目的话,你们的代码也要放在一起,你提交的代码对方能够看到,对方提交的代码你也能够看到。不用在说什么我改了代码我发给你,一方面你知道你改过内容可能会有遗漏,有一些人说那记录好改了哪些文件不就行了吗?但是你这样工作量多大?而且假如你和你同事改的是同一个文件呢?还要记住同一个文件中有多少内容是改没改过的嘛?这太麻烦而且低效了,所以
Git 就是用于解决这种情况的,Git 目前是大多数企业的选择,但是仍旧还有一些传统的软件公司使用 SVN,SVN 也是代码协作平台,下面具体介绍一下 Git
Git 是分布式的,SVN 是集中式的
Git是分布式的,SVN是集中式的
这是 Git 和 SVN 最大的区别。若能掌握这个概念,两者区别基本搞懂大半。因为 Git 是分布式的,所以 Git 支持离线工作,在本地可以进行很多操作,包括接下来将要重磅推出的分支功能。而 SVN 必须联网才能正常工作。
Git 复杂概念多,SVN 简单易上手
所有同时掌握 Git 和 SVN 的开发者都必须承认,Git
在易用性这方面,SVN 会好得多,简单易上手,对新手很友好。但是从另外一方面看,Git 命令多意味着功能多,若我们能掌握大部分 Git 的功能,体会到其中的奥妙,会发现再也回不去 SVN 的时代了。
Git 分支廉价,SVN 分支昂贵
在版本管理里,分支是很常使用的功能。在发布版本前,需要发布分支,进行大需求开发,需要 feature 分支,大团队还会有开发分支,稳定分支等。在大团队开发过程中,常常存在创建分支,切换分支的需求。
Git 分支是指针指向某次提交,而 SVN 分支是拷贝的目录。这个特性使 Git 的分支切换非常迅速,且创建成本非常低。
而且 Git 有本地分支,SVN 无本地分支。在实际开发过程中,经常会遇到有些代码没写完,但是需紧急处理其他问题,若我们使用 Git,便可以创建本地分支存储没写完的代码,待问题处理完后,再回到本地分支继续完成代码。
学习 Git 的方式有很多种,但是最主要的还是你动手实践,不管是看书也好还是根据教程进行实操,你都需要实践一遍,那么 Git 的使用你就差不多了。
Git 也有一些书籍,我推荐给你。
编写而成。这本书可以说是最早期,也是现今知名度最高的 Git 入门教程了。
通过该教程你可以快速了解到 Git 与 GitHub 的基础使用,内容覆盖面广,一些知识点也都讲得较为通透,所以也有不少人拿该这本书当 Git 的使用手册,遇到不懂的问题还会跑回来查阅。
同时该书还配套了 供读者观看。
O'Reilly 的一贯风格,清晰明了,特点是讲授了 GIT 的内部原理,而不是简单列举命令操作。使用很多例子和示意图,一目了然。
Git 的资料有很多,这里给大家推荐几个口碑非常好的
廖雪峰的 Git 教程可以说是做到简单清晰明了了,可以说是最好的 Git 入门指南
Git 工作流程(阮一峰):
菜鸟教程-Git简明教程:
上面这些内容,如果你能够真正掌握,我觉得你已经可以吊打 95% 以上的程序员了,上面这些内容你真正掌握可能会花 5 - 10 年的时间,不同层次的程序员掌握框架的层次不同,比如对于 Kafka 这个消息中间件来说,初级程序员可能知道 Kafka 是用来干什么的,知道 Kafka 有哪些组件,会安装搭建就可以了,对于中级程序员来说,你可能需要懂一些 Kafka 的配置和参数,知道
Kafka 的架构,Kafka 和其他消息中间件的区别等。如果你是高级程序员,可能要求你会监控 Kafka,Kafka 调优,有没有研究过 Kafka
的源码,某个细节点的内部实现原理等。如果你认真研究某个领域五年以上,那么你可以称之为领域内的专家了,我说的是研究,而不是你知道了某个框架五年以上就是专家了,这个概念是完全不一样的,研究是真正去一行一行看其内部实现源码,了解它的设计思想和痛点。
上面的这些内容可以说是针对非科班的程序员的,因为非科班程序员和科班程序员的侧重点不同,非科班程序员侧重点就是能上手干活,解决问题,科班程序员侧重点在于思路,算法等,因为他们在大学期间会仔细研究,认真打磨计算机基础。这也不是说非科班程序员不用学习计算机基础了,你在能上手干活的同时也要打牢基础,这样你才能够和科班的去竞争,去内卷,去弥补差距。
计算机基础是内功,内功在任何时期和阶段都是需要修炼的。
计算机基础都包括哪些呢?
计算机组成原理、操作系统、计算机网络、数据结构与算法。
先说计算机组成原理,这部分内容主要涉及
这些内容可以在 MOOC 大学上找到
大家也可以看一下这本书
虽然国内教授/专家写的书不及国外,但是在国内来说已经算是不错的了,而且这本书还是颇为具有指导意义的。
这本书看的人比较少,但是不失为一本好书,计算机组成原理,了解汇编层的代码运行。计算机是如何执行二进制命令的。本书基于 arm 指令集架构。
关于操作系统,我写了一篇如何学习的文章
关于计算机网络,我也写了一篇关于如何学习的文章,你可以参考
算法书籍推荐:市面上有很多关于算法的书籍,最近非常火的《labuladong 的算法小抄》,通俗易懂的《小灰的算法之旅》等等,不过我这里只说两本最经典的算法书:《算法导论》和《算法第四版》
关于算法如何学习,可以参考下这个回答
关于学习的意见和建议,可以参考
这篇回答会持续完善下,欢迎读者追更,点赞喜欢关注就是对我的爱。
这是第一版内容,部分技术栈和知识点整理的不是很全面,这个我承认,不过如果这篇文章能够对你产生帮助,就是他的价值。
我把这篇文章汇总成为了 PDF 版本,链接如下。