How IBM Watson does really works

IBM’s Watson is at the forefront of a new era of computing called cognitive computing. It’s a radically new type of computing, very different from the programmable systems that preceded it, as different as those systems were from the tabulating machines of over a century ago. Conventional computing systems based on mathematical principles that emanate from the 1940s are programmed based on rules and logic intended to derive mathematically precise answers often following a rigid type approach. But with today’s era of big data and the need for more complex evidence based decisions, this rigid approach often breaks or fails to keep up with available information. Cognitive computing enables people to create a new kind of value finding answers and insights locked away in volumes of data. Whether we consider a doctor diagnosing a patient, a wealth manager advising a client on their retirement portfolio or even a chef creating a new recipe, they need new approaches to put into context the volume of information they deal with on a daily basis in order to derive value from it. This type of computing serves to enhance human expertise.
Watson and it’s cognitive capabilities mirror some of the key cognitive elements of human expertise, systems that reason about problems like a human does. When we as humans seek to understand something and make a decision we go through 4 key steps.
OBSERVE
We observe visible phenomena and bodies of evidence
INTERPRET
We draw on what we know to interpret what we are seeing to hypothesize about what it means
EVALUATE
We hypothesize which values are right or wrong
DECIDE
Finally we decide choosing the action that seems best and acting accordingly
Just like humans act in this way, cognitive systems like Watson behave in the same manner but do this at massive speed and scale. So how does Watson work ?
Watson can go many steps further than us humans when it comes to unstructured data which makes up 80% of data today, I’m talking about data such as articles, literature, research reports, blogs, tweets to name a few. While structured data is well defined and governed containing specified information, Watson relies on natural language which is governed by rules of grammar context and culture. It’s implicit, ambiguous and complex and a challenge to process. When it comes to text, Watson interprets it much like a person would. It does this by breaking down a sentence grammatically, relationally and structurally discerning meaning from the semantics of the material. Watson tries to understand the real intent of the users language and uses this understanding to extract logical responses and draw inferences to potential answers.
So how does Watson learn ?
When Watson goes to work in a particular area, it learns the language, the jargon and the mode of thought for that particular domain.  If we look at cancer for instance each type has different symptoms and treatments. However those symptoms can be signs of other types of disease outside cancer. Treatments can have different side effects for different people. Watson can evaluate different care practices and thousands of pages of literature that capture the best sciences in the field and can offer the best therapies the doctor can use in the treatment
With the help of humans Watson can collect the relevant body of literature (what is termed the corpus of knowledge) required to have literacy in a particular domain. Building the corpus requires human intervention to cull information that is out of date, poorly regarded or immaterial to the domain. We refer to this as curating the content. Next the data is pre-processed by Watson building indices and other metadata that make working with that data more efficient. This is known as ingestion. At this time Watson may create a knowledge graph to help in answering more precise questions. Now that Watson has ingested the corpus it needs to be trained by a human expert to interpret the information, to put together the best possible responses and patterns Watson partners with experts who train it in using an approach called machine learning. An expert will upload training data to Watson in the form of question/answer pairs. This doesn’t give Watson explicit answers for every question it will receive but teaches it the linguistic patterns of meaning in the domain. Once Watson has been trained in QA pairs it continues to learn by ongoing interaction. These interactions are then periodically reviewed by experts and fed back into the system to help Watson better interpret the information. Likewise as new information is published, Watson is updated so it is constantly adapting to shifts in knowledge and the linguistic interpretations in any given field. Watson is now ready to respond to any questions about any complex situation, quickly provide a range of potential responses and recommendations that are backed by evidence. Its also ready to identify new patterns locked away in information.
How does Watson build and enhance expertise ?
Humans are using Watson to uncover new possibilities in data and make better evidence based decisions. Across all of these applications there is a common approach that Watson always follows. After identifying parts of speech in a question or enquiry, it generates hypotheses. Watson then looks for evidence to support or refute the hypotheses. It scores each passage based on statistical modeling for each piece of evidence known as weighted evidence scores. Watson estimates its confidence based on how high the response is rated during evidence scoring and ranking. In essence Watson is able to run analytics against a body of data to gain insights which Watson can turn into inspirations allowing human experts to make better informed decisions. Today Watson is revolutionizing the way we share data in areas as diverse as law, medicine, climate and even cooking. Watson is discovering and offering patterns we hadn’t known existed faster than any person or group of people ever could. Most importantly Watson learns, adapts and keeps getting smarter and gains more value with age by learning from its interactions with us and from its own successes and failures just like we do. 
Now that you know how it works how do these ideas inspire how you work ? How can Watson make you a better expert ? What will you do with Watson ? To discuss how Watson may be applied to your business get in touch today and uncover how Watson can give you business insights you never knew existed.